Dask
Pandas y NumPy paralelizados y distribuidos para datasets que no caben en memoria.
CategoríaDatos
DificultadIntermedio
Tiempo de aprendizaje2-3 semanas
¿Qué puedes lograr con esta herramienta?
Los resultados prácticos que desbloquea.
- Escalar código pandas/NumPy existente a múltiples núcleos o máquinas con cambios mínimos
- Procesar datasets más grandes que la RAM disponible
- Paralelizar pipelines de ML con scikit-learn
Descripción
Dask extiende las APIs de pandas, NumPy y scikit-learn para ejecutarse en paralelo, ya sea en varios núcleos de una máquina o en un clúster distribuido, manteniendo una interfaz casi idéntica a la que ya conocen los data scientists de Python.
Casos de uso
- Procesar datasets más grandes que la memoria RAM
- Paralelizar pipelines existentes de pandas/scikit-learn
- Cómputo distribuido en clústeres
- Machine learning distribuido
Instalación
pip install "dask[complete]"Ejemplo básico
import dask.dataframe as dd
df = dd.read_csv("big_sales_*.csv")
result = df.groupby("region")["revenue"].sum().compute()
print(result)Ventajas y limitaciones
Ventajas
- API casi idéntica a pandas/NumPy, curva de aprendizaje baja
- Escala de una laptop a un clúster sin reescribir el código
- Se integra con scikit-learn y XGBoost
Limitaciones
- Overhead de paralelización en datasets pequeños
- Depurar grafos de tareas distribuidos puede ser complejo
Alternativas
Herramientas que resuelven un problema parecido de otra forma.