Aprendizaje por Refuerzo (Reinforcement Learning)

Entrenar un agente que aprende a tomar decisiones mediante prueba, error y recompensas.

ÁreaParadigmas de Aprendizaje Avanzados
DificultadAvanzado
Tiempo de aprendizaje8-10 semanas

¿Qué puedes lograr dominando este tema?

  • Formular un problema de decisión secuencial como un proceso de decisión de Markov
  • Entrenar un agente que mejora su política de decisión a partir de recompensas
  • Balancear exploración (probar cosas nuevas) contra explotación (usar lo que ya funciona)

Descripción

A diferencia del aprendizaje supervisado, en el aprendizaje por refuerzo un agente no recibe la respuesta correcta directamente: aprende a través de prueba y error, recibiendo recompensas o penalizaciones por sus acciones, y ajustando su estrategia (política) para maximizar la recompensa acumulada a largo plazo.

Casos de uso

  • Sistemas de juego y agentes que superan a humanos (ajedrez, Go, videojuegos)
  • Optimización de sistemas de recomendación con retroalimentación en tiempo real
  • Robótica y control de sistemas físicos
  • Optimización de decisiones secuenciales (trading, logística)

Ejemplo práctico

Ejemplo prácticopython
import gymnasium as gym

entorno = gym.make("CartPole-v1")
observacion, info = entorno.reset()
for _ in range(100):
    accion = entorno.action_space.sample()
    observacion, recompensa, terminado, truncado, info = entorno.step(accion)

Ventajas y limitaciones

Ventajas

  • Único paradigma natural para problemas de decisión secuencial pura
  • Ha producido resultados sorprendentes en juegos y control
  • Aplicable a problemas donde no existe un dataset etiquetado de 'respuestas correctas'

Limitaciones

  • Requiere muchísimos datos/simulaciones de entrenamiento para converger
  • Notoriamente difícil de depurar y estabilizar el entrenamiento

Herramientas relacionadas

Librerías y plataformas más comunes para practicar este tema.

  • Gymnasium (OpenAI Gym)
  • Ray RLlib
  • PyTorch

Temas relacionados

Fichas de herramientas