Reinforcement Learning: An Introduction
El libro de texto fundacional y definitivo sobre aprendizaje por refuerzo, escrito por dos de sus pioneros.
ÁreaAprendizaje por Refuerzo y Temas Avanzados
TemaAprendizaje por Refuerzo
NivelAvanzado
Publicación1998 (2ª ED. 2018)
Autor(es): Richard S. Sutton, Andrew G. Barto
Versión gratuita disponible¿Qué puedes lograr leyendo este libro?
- Entender formalmente los procesos de decisión de Markov y cómo un agente aprende a partir de recompensas
- Implementar los algoritmos fundamentales de RL (Q-learning, SARSA, métodos de diferencias temporales) desde los principios
- Leer investigación moderna de aprendizaje por refuerzo (incluido deep RL) con una base sólida
Descripción
Sutton y Barto, dos de los investigadores que definieron el campo del aprendizaje por refuerzo moderno, ofrecen el texto introductorio (pero riguroso) definitivo: desde los fundamentos de procesos de decisión de Markov hasta los algoritmos clásicos que siguen siendo la base de todo avance posterior en deep RL.
Para quién es ideal
- Quien quiere entender aprendizaje por refuerzo desde los fundamentos formales, no solo aplicarlo
- Estudiantes de posgrado o investigadores orientándose hacia RL o deep RL
- Base teórica sólida antes de implementar RL con librerías modernas
- Referencia definitiva citada en prácticamente todo paper de RL posterior
Contenido destacado
- Procesos de decisión de Markov y el problema del aprendizaje por refuerzo
- Métodos de programación dinámica y Monte Carlo
- Métodos de diferencias temporales (Q-learning, SARSA)
- Aproximación de funciones y RL con gran escala de estados
- Métodos de gradiente de política y actor-crítico
Ventajas y limitaciones
Ventajas
- Disponible gratis y legalmente en PDF desde la web de uno de los autores
- Escrito por los propios fundadores del campo, con autoridad definitiva
- Base teórica de prácticamente toda la investigación posterior en RL, incluido deep RL
Limitaciones
- La segunda edición cubre RL clásico con más profundidad que deep RL moderno
- Requiere bases sólidas de probabilidad y programación dinámica
Libros relacionados
Dive into Deep Learning
Deep LearningUn libro de deep learning vivo: código ejecutable, actualizado activamente, y completamente gratuito.
Probabilistic Machine Learning
Machine Learning ProbabilísticoUn tratado moderno y exhaustivo que conecta el machine learning clásico con la perspectiva probabilística actual.