Detección y Tratamiento de Outliers

Identificar valores atípicos y decidir si son ruido, errores o la señal más importante del dataset.

ÁreaPreparación y Limpieza de Datos
DificultadIntermedio
Tiempo de aprendizaje2 semanas

¿Qué puedes lograr dominando este tema?

  • Detectar valores atípicos con métodos estadísticos y basados en modelos
  • Distinguir entre un outlier que es error de captura y uno que es señal real (fraude, falla)
  • Decidir de forma justificada si winsorizar, transformar o conservar un outlier

Descripción

Los outliers pueden ser errores de captura que distorsionan un análisis, o pueden ser la señal más valiosa del dataset (una transacción fraudulenta, una falla de equipo). Detectarlos con métodos como el rango intercuartílico, z-score o Isolation Forest, y decidir cómo tratarlos, es una habilidad crítica y contextual.

Casos de uso

  • Detección de fraude y transacciones anómalas
  • Control de calidad en procesos de manufactura
  • Limpieza previa antes de entrenar modelos sensibles a outliers (regresión lineal)
  • Identificación de fallas incipientes en sensores de IoT

Ejemplo práctico

Ejemplo prácticopython
import numpy as np

datos = np.array([12, 14, 13, 15, 300, 14, 13])
q1, q3 = np.percentile(datos, [25, 75])
iqr = q3 - q1
outliers = datos[(datos < q1 - 1.5*iqr) | (datos > q3 + 1.5*iqr)]
print(outliers)

Ventajas y limitaciones

Ventajas

  • Protege a los modelos sensibles a valores extremos (como la regresión lineal)
  • En muchos dominios, el outlier ES la información de negocio más valiosa
  • Existen métodos estadísticos y de ML bien establecidos para detectarlos

Limitaciones

  • Eliminar outliers sin justificación puede ocultar información crítica
  • La definición de 'atípico' depende fuertemente del contexto y dominio

Herramientas relacionadas

Librerías y plataformas más comunes para practicar este tema.

  • scikit-learn
  • PyOD
  • Pandas

Temas relacionados

Fichas de herramientas