Apache Kafka

Plataforma de streaming de eventos distribuida, base de arquitecturas de datos en tiempo real.

CategoríaBig Data
DificultadAvanzado
Tiempo de aprendizaje4-6 semanas
Official documentation

¿Qué puedes lograr con esta herramienta?

Los resultados prácticos que desbloquea.

  • Mover millones de eventos por segundo entre sistemas de forma confiable
  • Desacoplar productores y consumidores de datos en tiempo real
  • Alimentar pipelines de features y modelos de ML con datos frescos

Descripción

Kafka es la plataforma de streaming de eventos distribuida más usada, actuando como un sistema nervioso que conecta productores y consumidores de datos en tiempo real. Es fundamental cuando un data scientist necesita features o predicciones en streaming, no solo en batch.

Casos de uso

  • Pipelines de datos en tiempo real
  • Alimentación de features online para modelos de ML
  • Integración de eventos entre microservicios
  • Detección de anomalías en streaming

Instalación

Instalarbash
curl -O https://downloads.apache.org/kafka/3.7.0/kafka_2.13-3.7.0.tgz
tar -xzf kafka_2.13-3.7.0.tgz

Ejemplo básico

Ejemplo básicopython
from kafka import KafkaProducer

producer = KafkaProducer(bootstrap_servers="localhost:9092")
producer.send("trips", b'{"fare": 12.5, "borough": "Manhattan"}')

Ventajas y limitaciones

Ventajas

  • Maneja streaming de eventos a escala masiva con baja latencia
  • Desacopla sistemas productores y consumidores
  • Estándar de facto para arquitecturas de datos en tiempo real

Limitaciones

  • Operar y escalar un clúster de Kafka requiere experiencia dedicada
  • Curva de aprendizaje pronunciada para casos de uso simples

Alternativas

Herramientas que resuelven un problema parecido de otra forma.