Detección y Tratamiento de Outliers
Identificar valores atípicos y decidir si son ruido, errores o la señal más importante del dataset.
ÁreaPreparación y Limpieza de Datos
DificultadIntermedio
Tiempo de aprendizaje2 semanas
¿Qué puedes lograr dominando este tema?
- Detectar valores atípicos con métodos estadísticos y basados en modelos
- Distinguir entre un outlier que es error de captura y uno que es señal real (fraude, falla)
- Decidir de forma justificada si winsorizar, transformar o conservar un outlier
Descripción
Los outliers pueden ser errores de captura que distorsionan un análisis, o pueden ser la señal más valiosa del dataset (una transacción fraudulenta, una falla de equipo). Detectarlos con métodos como el rango intercuartílico, z-score o Isolation Forest, y decidir cómo tratarlos, es una habilidad crítica y contextual.
Casos de uso
- Detección de fraude y transacciones anómalas
- Control de calidad en procesos de manufactura
- Limpieza previa antes de entrenar modelos sensibles a outliers (regresión lineal)
- Identificación de fallas incipientes en sensores de IoT
Ejemplo práctico
import numpy as np
datos = np.array([12, 14, 13, 15, 300, 14, 13])
q1, q3 = np.percentile(datos, [25, 75])
iqr = q3 - q1
outliers = datos[(datos < q1 - 1.5*iqr) | (datos > q3 + 1.5*iqr)]
print(outliers)Ventajas y limitaciones
Ventajas
- Protege a los modelos sensibles a valores extremos (como la regresión lineal)
- En muchos dominios, el outlier ES la información de negocio más valiosa
- Existen métodos estadísticos y de ML bien establecidos para detectarlos
Limitaciones
- Eliminar outliers sin justificación puede ocultar información crítica
- La definición de 'atípico' depende fuertemente del contexto y dominio
Herramientas relacionadas
Librerías y plataformas más comunes para practicar este tema.
- scikit-learn
- PyOD
- Pandas