Apache Airflow

Orquestador de workflows para programar y monitorear pipelines de datos.

CategoríaMLOps
DificultadAvanzado
Tiempo de aprendizaje4-6 semanas
Official documentation

¿Qué puedes lograr con esta herramienta?

Los resultados prácticos que desbloquea.

  • Definir pipelines de datos complejos como código (DAGs) en Python
  • Programar, reintentar y monitorear tareas automáticamente
  • Orquestar dependencias entre extracción, transformación y entrenamiento de modelos

Descripción

Airflow es el orquestador de workflows más usado en ingeniería de datos: permite definir pipelines como grafos dirigidos acíclicos (DAGs) en código Python, con programación, reintentos y monitoreo integrados.

Casos de uso

  • Orquestación de pipelines ETL/ELT
  • Programación de reentrenamientos periódicos de modelos
  • Coordinación de dependencias entre múltiples tareas de datos
  • Monitoreo y alertas de fallos en pipelines

Instalación

Instalarbash
pip install apache-airflow

Ejemplo básico

Ejemplo básicopython
from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime

with DAG("pipeline_diario", start_date=datetime(2026, 1, 1),
         schedule="@daily") as dag:
    tarea = PythonOperator(task_id="extraer",
                            python_callable=lambda: print("Extrayendo datos"))

Ventajas y limitaciones

Ventajas

  • Pipelines definidos como código, versionables en Git
  • Reintentos, alertas y monitoreo integrados
  • Estándar de facto en orquestación de datos

Limitaciones

  • Configuración y despliegue del propio Airflow requieren esfuerzo
  • No está pensado para streaming en tiempo real