Monitoreo de Modelos y Data Drift
Detectar cuándo un modelo en producción deja de ser confiable porque el mundo cambió.
ÁreaMLOps y Modelos en Producción
DificultadAvanzado
Tiempo de aprendizaje4-5 semanas
¿Qué puedes lograr dominando este tema?
- Detectar cuándo la distribución de los datos de entrada cambió respecto al entrenamiento (data drift)
- Identificar degradación silenciosa del desempeño de un modelo antes de que cause daño
- Diseñar alertas y disparadores para reentrenar un modelo a tiempo
Descripción
Un modelo entrenado con datos de hace un año puede volverse progresivamente menos preciso a medida que el comportamiento real cambia (data drift, concept drift). El monitoreo compara continuamente las predicciones y los datos de entrada en producción contra lo observado durante el entrenamiento para detectar esta degradación.
Casos de uso
- Detección temprana de degradación de modelos de fraude o riesgo crediticio
- Auditoría continua de modelos en dominios regulados
- Disparadores automáticos de reentrenamiento cuando el drift supera un umbral
- Trazabilidad y explicación de por qué un modelo cambió su comportamiento
Ejemplo práctico
from scipy.stats import ks_2samp
stat, p_value = ks_2samp(distribucion_entrenamiento, distribucion_produccion)
if p_value < 0.05:
print("Posible data drift detectado")Ventajas y limitaciones
Ventajas
- Previene que un modelo degradado siga tomando decisiones silenciosamente
- Cada vez más exigido por regulaciones en sectores como banca y salud
- Se integra con pipelines de reentrenamiento automatizado
Limitaciones
- Requiere infraestructura adicional dedicada de monitoreo y alertas
- Distinguir drift real de ruido normal en los datos no siempre es trivial
Herramientas relacionadas
Librerías y plataformas más comunes para practicar este tema.
- Evidently AI
- MLflow
- Prometheus + Grafana