Métodos de Ensamble (Bagging y Boosting)
Combinar muchos modelos débiles para construir un modelo colectivamente mucho más preciso.
ÁreaAprendizaje Supervisado
DificultadIntermedio
Tiempo de aprendizaje3-4 semanas
¿Qué puedes lograr dominando este tema?
- Entender por qué Random Forest y XGBoost suelen superar a un solo árbol de decisión
- Reducir varianza (bagging) o sesgo (boosting) según el problema
- Ajustar los hiperparámetros clave que controlan el sobreajuste en ensambles
Descripción
Los métodos de ensamble combinan las predicciones de muchos modelos individuales (típicamente árboles) para obtener un resultado más preciso y estable que cualquier modelo por separado. Bagging (Random Forest) reduce varianza promediando modelos independientes; boosting (XGBoost, LightGBM) reduce sesgo corrigiendo errores secuencialmente.
Casos de uso
- Modelos de referencia (baseline fuerte) en casi cualquier problema tabular
- Competencias de machine learning (Kaggle)
- Modelos de scoring y riesgo en banca y seguros
- Cualquier problema donde la precisión importa más que la interpretabilidad simple
Ejemplo práctico
from sklearn.ensemble import RandomForestClassifier
model = RandomForestClassifier(n_estimators=300, max_depth=8)
model.fit(X_train, y_train)
print(model.feature_importances_)Ventajas y limitaciones
Ventajas
- Suele ofrecer la mejor precisión disponible en datos tabulares
- Random Forest es robusto y requiere poco tuning para resultados decentes
- Boosting (XGBoost/LightGBM) es el estándar de facto en competencias
Limitaciones
- Menos interpretable que un modelo lineal o un solo árbol
- Boosting puede sobreajustar si no se regula cuidadosamente
Herramientas relacionadas
Librerías y plataformas más comunes para practicar este tema.
- XGBoost
- LightGBM
- scikit-learn