Reinforcement Learning: An Introduction

El libro de texto fundacional y definitivo sobre aprendizaje por refuerzo, escrito por dos de sus pioneros.

ÁreaAprendizaje por Refuerzo y Temas Avanzados
TemaAprendizaje por Refuerzo
NivelAvanzado
Publicación1998 (2ª ED. 2018)

Autor(es): Richard S. Sutton, Andrew G. Barto

Versión gratuita disponible

¿Qué puedes lograr leyendo este libro?

  • Entender formalmente los procesos de decisión de Markov y cómo un agente aprende a partir de recompensas
  • Implementar los algoritmos fundamentales de RL (Q-learning, SARSA, métodos de diferencias temporales) desde los principios
  • Leer investigación moderna de aprendizaje por refuerzo (incluido deep RL) con una base sólida

Descripción

Sutton y Barto, dos de los investigadores que definieron el campo del aprendizaje por refuerzo moderno, ofrecen el texto introductorio (pero riguroso) definitivo: desde los fundamentos de procesos de decisión de Markov hasta los algoritmos clásicos que siguen siendo la base de todo avance posterior en deep RL.

Para quién es ideal

  • Quien quiere entender aprendizaje por refuerzo desde los fundamentos formales, no solo aplicarlo
  • Estudiantes de posgrado o investigadores orientándose hacia RL o deep RL
  • Base teórica sólida antes de implementar RL con librerías modernas
  • Referencia definitiva citada en prácticamente todo paper de RL posterior

Contenido destacado

  • Procesos de decisión de Markov y el problema del aprendizaje por refuerzo
  • Métodos de programación dinámica y Monte Carlo
  • Métodos de diferencias temporales (Q-learning, SARSA)
  • Aproximación de funciones y RL con gran escala de estados
  • Métodos de gradiente de política y actor-crítico

Ventajas y limitaciones

Ventajas

  • Disponible gratis y legalmente en PDF desde la web de uno de los autores
  • Escrito por los propios fundadores del campo, con autoridad definitiva
  • Base teórica de prácticamente toda la investigación posterior en RL, incluido deep RL

Limitaciones

  • La segunda edición cubre RL clásico con más profundidad que deep RL moderno
  • Requiere bases sólidas de probabilidad y programación dinámica

Libros relacionados