Aprendizaje por Refuerzo (Reinforcement Learning)
Entrenar un agente que aprende a tomar decisiones mediante prueba, error y recompensas.
ÁreaParadigmas de Aprendizaje Avanzados
DificultadAvanzado
Tiempo de aprendizaje8-10 semanas
¿Qué puedes lograr dominando este tema?
- Formular un problema de decisión secuencial como un proceso de decisión de Markov
- Entrenar un agente que mejora su política de decisión a partir de recompensas
- Balancear exploración (probar cosas nuevas) contra explotación (usar lo que ya funciona)
Descripción
A diferencia del aprendizaje supervisado, en el aprendizaje por refuerzo un agente no recibe la respuesta correcta directamente: aprende a través de prueba y error, recibiendo recompensas o penalizaciones por sus acciones, y ajustando su estrategia (política) para maximizar la recompensa acumulada a largo plazo.
Casos de uso
- Sistemas de juego y agentes que superan a humanos (ajedrez, Go, videojuegos)
- Optimización de sistemas de recomendación con retroalimentación en tiempo real
- Robótica y control de sistemas físicos
- Optimización de decisiones secuenciales (trading, logística)
Ejemplo práctico
import gymnasium as gym
entorno = gym.make("CartPole-v1")
observacion, info = entorno.reset()
for _ in range(100):
accion = entorno.action_space.sample()
observacion, recompensa, terminado, truncado, info = entorno.step(accion)Ventajas y limitaciones
Ventajas
- Único paradigma natural para problemas de decisión secuencial pura
- Ha producido resultados sorprendentes en juegos y control
- Aplicable a problemas donde no existe un dataset etiquetado de 'respuestas correctas'
Limitaciones
- Requiere muchísimos datos/simulaciones de entrenamiento para converger
- Notoriamente difícil de depurar y estabilizar el entrenamiento
Herramientas relacionadas
Librerías y plataformas más comunes para practicar este tema.
- Gymnasium (OpenAI Gym)
- Ray RLlib
- PyTorch