Ray
Framework de Python para cómputo distribuido y escalado de cargas de ML.
CategoríaBig Data
DificultadIntermedio
Tiempo de aprendizaje3-4 semanas
¿Qué puedes lograr con esta herramienta?
Los resultados prácticos que desbloquea.
- Paralelizar código Python existente agregando unos pocos decoradores
- Escalar entrenamiento de hiperparámetros y reinforcement learning a un clúster
- Servir modelos de ML distribuidos con Ray Serve
Descripción
Ray es un framework de cómputo distribuido diseñado específicamente para cargas de trabajo de machine learning: búsqueda de hiperparámetros (Tune), entrenamiento distribuido (Train), reinforcement learning (RLlib) y serving de modelos (Serve), todo con una API de Python simple.
Casos de uso
- Búsqueda distribuida de hiperparámetros
- Entrenamiento distribuido de modelos de deep learning
- Reinforcement learning a escala
- Serving de modelos de ML en producción
Instalación
pip install "ray[default]"Ejemplo básico
import ray
ray.init()
@ray.remote
def cuadrado(x):
return x * x
resultados = ray.get([cuadrado.remote(i) for i in range(10)])
print(resultados)Ventajas y limitaciones
Ventajas
- API de Python muy simple para paralelizar código
- Ecosistema completo orientado a ML (Tune, Train, Serve, RLlib)
- Escala de una laptop a un clúster con el mismo código
Limitaciones
- Comunidad más pequeña que Spark para big data tradicional
- Depurar fallos distribuidos sigue siendo complejo
Alternativas
Herramientas que resuelven un problema parecido de otra forma.