Ray

Framework de Python para cómputo distribuido y escalado de cargas de ML.

CategoríaBig Data
DificultadIntermedio
Tiempo de aprendizaje3-4 semanas
Official documentation

¿Qué puedes lograr con esta herramienta?

Los resultados prácticos que desbloquea.

  • Paralelizar código Python existente agregando unos pocos decoradores
  • Escalar entrenamiento de hiperparámetros y reinforcement learning a un clúster
  • Servir modelos de ML distribuidos con Ray Serve

Descripción

Ray es un framework de cómputo distribuido diseñado específicamente para cargas de trabajo de machine learning: búsqueda de hiperparámetros (Tune), entrenamiento distribuido (Train), reinforcement learning (RLlib) y serving de modelos (Serve), todo con una API de Python simple.

Casos de uso

  • Búsqueda distribuida de hiperparámetros
  • Entrenamiento distribuido de modelos de deep learning
  • Reinforcement learning a escala
  • Serving de modelos de ML en producción

Instalación

Instalarbash
pip install "ray[default]"

Ejemplo básico

Ejemplo básicopython
import ray

ray.init()

@ray.remote
def cuadrado(x):
    return x * x

resultados = ray.get([cuadrado.remote(i) for i in range(10)])
print(resultados)

Ventajas y limitaciones

Ventajas

  • API de Python muy simple para paralelizar código
  • Ecosistema completo orientado a ML (Tune, Train, Serve, RLlib)
  • Escala de una laptop a un clúster con el mismo código

Limitaciones

  • Comunidad más pequeña que Spark para big data tradicional
  • Depurar fallos distribuidos sigue siendo complejo

Alternativas

Herramientas que resuelven un problema parecido de otra forma.