Métodos de Ensamble (Bagging y Boosting)

Combinar muchos modelos débiles para construir un modelo colectivamente mucho más preciso.

ÁreaAprendizaje Supervisado
DificultadIntermedio
Tiempo de aprendizaje3-4 semanas

¿Qué puedes lograr dominando este tema?

  • Entender por qué Random Forest y XGBoost suelen superar a un solo árbol de decisión
  • Reducir varianza (bagging) o sesgo (boosting) según el problema
  • Ajustar los hiperparámetros clave que controlan el sobreajuste en ensambles

Descripción

Los métodos de ensamble combinan las predicciones de muchos modelos individuales (típicamente árboles) para obtener un resultado más preciso y estable que cualquier modelo por separado. Bagging (Random Forest) reduce varianza promediando modelos independientes; boosting (XGBoost, LightGBM) reduce sesgo corrigiendo errores secuencialmente.

Casos de uso

  • Modelos de referencia (baseline fuerte) en casi cualquier problema tabular
  • Competencias de machine learning (Kaggle)
  • Modelos de scoring y riesgo en banca y seguros
  • Cualquier problema donde la precisión importa más que la interpretabilidad simple

Ejemplo práctico

Ejemplo prácticopython
from sklearn.ensemble import RandomForestClassifier

model = RandomForestClassifier(n_estimators=300, max_depth=8)
model.fit(X_train, y_train)
print(model.feature_importances_)

Ventajas y limitaciones

Ventajas

  • Suele ofrecer la mejor precisión disponible en datos tabulares
  • Random Forest es robusto y requiere poco tuning para resultados decentes
  • Boosting (XGBoost/LightGBM) es el estándar de facto en competencias

Limitaciones

  • Menos interpretable que un modelo lineal o un solo árbol
  • Boosting puede sobreajustar si no se regula cuidadosamente

Herramientas relacionadas

Librerías y plataformas más comunes para practicar este tema.

  • XGBoost
  • LightGBM
  • scikit-learn

Temas relacionados

Fichas de herramientas