Monitoreo de Modelos y Data Drift

Detectar cuándo un modelo en producción deja de ser confiable porque el mundo cambió.

ÁreaMLOps y Modelos en Producción
DificultadAvanzado
Tiempo de aprendizaje4-5 semanas

¿Qué puedes lograr dominando este tema?

  • Detectar cuándo la distribución de los datos de entrada cambió respecto al entrenamiento (data drift)
  • Identificar degradación silenciosa del desempeño de un modelo antes de que cause daño
  • Diseñar alertas y disparadores para reentrenar un modelo a tiempo

Descripción

Un modelo entrenado con datos de hace un año puede volverse progresivamente menos preciso a medida que el comportamiento real cambia (data drift, concept drift). El monitoreo compara continuamente las predicciones y los datos de entrada en producción contra lo observado durante el entrenamiento para detectar esta degradación.

Casos de uso

  • Detección temprana de degradación de modelos de fraude o riesgo crediticio
  • Auditoría continua de modelos en dominios regulados
  • Disparadores automáticos de reentrenamiento cuando el drift supera un umbral
  • Trazabilidad y explicación de por qué un modelo cambió su comportamiento

Ejemplo práctico

Ejemplo prácticopython
from scipy.stats import ks_2samp

stat, p_value = ks_2samp(distribucion_entrenamiento, distribucion_produccion)
if p_value < 0.05:
    print("Posible data drift detectado")

Ventajas y limitaciones

Ventajas

  • Previene que un modelo degradado siga tomando decisiones silenciosamente
  • Cada vez más exigido por regulaciones en sectores como banca y salud
  • Se integra con pipelines de reentrenamiento automatizado

Limitaciones

  • Requiere infraestructura adicional dedicada de monitoreo y alertas
  • Distinguir drift real de ruido normal en los datos no siempre es trivial

Herramientas relacionadas

Librerías y plataformas más comunes para practicar este tema.

  • Evidently AI
  • MLflow
  • Prometheus + Grafana

Temas relacionados

Fichas de herramientas