Apache Spark (PySpark)
Motor de cómputo distribuido para procesar datos a escala de petabytes.
CategoríaDatos
DificultadAvanzado
Tiempo de aprendizaje6-10 semanas
¿Qué puedes lograr con esta herramienta?
Los resultados prácticos que desbloquea.
- Procesar terabytes de datos distribuidos en un clúster
- Ejecutar SQL, streaming y ML sobre el mismo motor
- Integrarse con data lakes (S3, HDFS, Delta Lake)
Descripción
Apache Spark es el motor de cómputo distribuido dominante para big data. Su API en Python, PySpark, permite escribir transformaciones que se ejecutan en paralelo sobre un clúster, cubriendo SQL, streaming y machine learning bajo una misma plataforma.
Casos de uso
- ETL distribuido sobre data lakes
- Procesamiento de streaming en tiempo casi real
- Entrenamiento de modelos de ML a gran escala (MLlib)
- Consultas SQL sobre datasets masivos
Instalación
pip install pysparkEjemplo básico
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("demo").getOrCreate()
df = spark.read.parquet("s3://bucket/trips/")
df.groupBy("borough").avg("fare").show()Ventajas y limitaciones
Ventajas
- Escala horizontalmente a clústeres de cientos de nodos
- Un solo motor para SQL, streaming, ML y grafos
- Estándar de la industria para big data
Limitaciones
- Configuración y tuning del clúster requieren experiencia
- Overhead notable en datasets que caben en memoria de una máquina
Alternativas
Herramientas que resuelven un problema parecido de otra forma.