Apache Airflow
Orquestador de workflows para programar y monitorear pipelines de datos.
CategoríaMLOps
DificultadAvanzado
Tiempo de aprendizaje4-6 semanas
¿Qué puedes lograr con esta herramienta?
Los resultados prácticos que desbloquea.
- Definir pipelines de datos complejos como código (DAGs) en Python
- Programar, reintentar y monitorear tareas automáticamente
- Orquestar dependencias entre extracción, transformación y entrenamiento de modelos
Descripción
Airflow es el orquestador de workflows más usado en ingeniería de datos: permite definir pipelines como grafos dirigidos acíclicos (DAGs) en código Python, con programación, reintentos y monitoreo integrados.
Casos de uso
- Orquestación de pipelines ETL/ELT
- Programación de reentrenamientos periódicos de modelos
- Coordinación de dependencias entre múltiples tareas de datos
- Monitoreo y alertas de fallos en pipelines
Instalación
pip install apache-airflowEjemplo básico
from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime
with DAG("pipeline_diario", start_date=datetime(2026, 1, 1),
schedule="@daily") as dag:
tarea = PythonOperator(task_id="extraer",
python_callable=lambda: print("Extrayendo datos"))Ventajas y limitaciones
Ventajas
- Pipelines definidos como código, versionables en Git
- Reintentos, alertas y monitoreo integrados
- Estándar de facto en orquestación de datos
Limitaciones
- Configuración y despliegue del propio Airflow requieren esfuerzo
- No está pensado para streaming en tiempo real