Data Engineer
Construir y mantener la infraestructura que mueve, transforma y almacena los datos que todos los demás roles consumen.
ÁreaIngeniería de Datos e Infraestructura
EnfoqueIndustria
Nivel de entradaNivel de entrada a intermedio
Tiempo estimado8-12 meses
Ruta paso a paso
Fases ordenadas con duración orientativa; los tiempos varían según tu experiencia previa y dedicación semanal.
Programación y SQL avanzado
6-8 semanas- Python intermedio-avanzado (scripting, POO básica)
- SQL avanzado: optimización de queries, índices, particionamiento
- Fundamentos de Linux y línea de comandos
Bases de datos y modelado
6-8 semanas- Bases de datos relacionales (PostgreSQL/MySQL) y NoSQL (MongoDB)
- Modelado dimensional para data warehouses
- Fundamentos de arquitecturas de datos (warehouse, lake, lakehouse)
Pipelines ETL/ELT y orquestación
8-10 semanas- Construcción de pipelines con dbt y Apache Airflow
- Procesamiento distribuido con Apache Spark
- Streaming de datos con Kafka (fundamentos)
Cloud y contenedores
6-8 semanas- Un proveedor cloud (AWS, GCP o Azure) a nivel de servicios de datos
- Docker y fundamentos de Kubernetes
- Infraestructura como código (Terraform, opcional)
Portafolio de proyectos de infraestructura
4-6 semanas- 2-3 pipelines de datos completos y documentados en GitHub
Preparación para el mercado laboral
2-3 semanas- Práctica de diseño de sistemas de datos (system design)
Tecnologías que debes dominar
- Python
- SQL avanzado
- Apache Airflow
- dbt
- Apache Spark
- Docker y Kubernetes
- Un proveedor cloud (AWS/GCP/Azure)
Conceptos que debes poder aplicar
- Arquitecturas de datos (warehouse, lake, lakehouse)
- Diseño de pipelines ETL/ELT idempotentes y confiables
- Modelado dimensional
- Particionamiento y optimización de consultas a escala
- Consistencia, disponibilidad y trade-offs distribuidos
- Calidad y observabilidad de datos
Ejemplo de proyecto (Industria)
Pipeline de Datos End-To-End para Analítica de Eventos de una App Móvil
Un Data Engineer diseña el pipeline que captura eventos de usuario de una app móvil (clics, sesiones, compras) en tiempo casi real, los transforma y los deja disponibles en un data warehouse para que analistas y data scientists los consuman de forma confiable y con baja latencia.
Entregables típicos
- Pipeline de ingesta de eventos (streaming o batch, según el caso)
- Transformaciones documentadas y versionadas con dbt
- Modelo de datos dimensional en el warehouse
- Pruebas de calidad de datos automatizadas y alertas