Dask

Pandas y NumPy paralelizados y distribuidos para datasets que no caben en memoria.

CategoríaDatos
DificultadIntermedio
Tiempo de aprendizaje2-3 semanas
Official documentation

¿Qué puedes lograr con esta herramienta?

Los resultados prácticos que desbloquea.

  • Escalar código pandas/NumPy existente a múltiples núcleos o máquinas con cambios mínimos
  • Procesar datasets más grandes que la RAM disponible
  • Paralelizar pipelines de ML con scikit-learn

Descripción

Dask extiende las APIs de pandas, NumPy y scikit-learn para ejecutarse en paralelo, ya sea en varios núcleos de una máquina o en un clúster distribuido, manteniendo una interfaz casi idéntica a la que ya conocen los data scientists de Python.

Casos de uso

  • Procesar datasets más grandes que la memoria RAM
  • Paralelizar pipelines existentes de pandas/scikit-learn
  • Cómputo distribuido en clústeres
  • Machine learning distribuido

Instalación

Instalarbash
pip install "dask[complete]"

Ejemplo básico

Ejemplo básicopython
import dask.dataframe as dd

df = dd.read_csv("big_sales_*.csv")
result = df.groupby("region")["revenue"].sum().compute()
print(result)

Ventajas y limitaciones

Ventajas

  • API casi idéntica a pandas/NumPy, curva de aprendizaje baja
  • Escala de una laptop a un clúster sin reescribir el código
  • Se integra con scikit-learn y XGBoost

Limitaciones

  • Overhead de paralelización en datasets pequeños
  • Depurar grafos de tareas distribuidos puede ser complejo

Alternativas

Herramientas que resuelven un problema parecido de otra forma.