Apache Kafka
Plataforma de streaming de eventos distribuida, base de arquitecturas de datos en tiempo real.
CategoríaBig Data
DificultadAvanzado
Tiempo de aprendizaje4-6 semanas
¿Qué puedes lograr con esta herramienta?
Los resultados prácticos que desbloquea.
- Mover millones de eventos por segundo entre sistemas de forma confiable
- Desacoplar productores y consumidores de datos en tiempo real
- Alimentar pipelines de features y modelos de ML con datos frescos
Descripción
Kafka es la plataforma de streaming de eventos distribuida más usada, actuando como un sistema nervioso que conecta productores y consumidores de datos en tiempo real. Es fundamental cuando un data scientist necesita features o predicciones en streaming, no solo en batch.
Casos de uso
- Pipelines de datos en tiempo real
- Alimentación de features online para modelos de ML
- Integración de eventos entre microservicios
- Detección de anomalías en streaming
Instalación
curl -O https://downloads.apache.org/kafka/3.7.0/kafka_2.13-3.7.0.tgz
tar -xzf kafka_2.13-3.7.0.tgzEjemplo básico
from kafka import KafkaProducer
producer = KafkaProducer(bootstrap_servers="localhost:9092")
producer.send("trips", b'{"fare": 12.5, "borough": "Manhattan"}')Ventajas y limitaciones
Ventajas
- Maneja streaming de eventos a escala masiva con baja latencia
- Desacopla sistemas productores y consumidores
- Estándar de facto para arquitecturas de datos en tiempo real
Limitaciones
- Operar y escalar un clúster de Kafka requiere experiencia dedicada
- Curva de aprendizaje pronunciada para casos de uso simples
Alternativas
Herramientas que resuelven un problema parecido de otra forma.