SQuAD (Stanford Question Answering Dataset)
Más de 100,000 preguntas y respuestas sobre artículos de Wikipedia, el benchmark clásico de comprensión de lectura.
ÁreaNLP y Modelos de Lenguaje
DominioNlp
DificultadIntermedio
Tamaño~100,000-150,000 pares pregunta-respuesta, según versión
¿Qué puedes lograr con este dataset?
- Entrenar o evaluar modelos de comprensión de lectura (question answering)
- Practicar el manejo de datos de NLP con anotaciones de spans de texto
- Comparar arquitecturas, desde modelos clásicos hasta Transformers, en un benchmark estándar
Descripción
SQuAD contiene preguntas formuladas por humanos sobre párrafos de artículos de Wikipedia, donde la respuesta es siempre un fragmento (span) extraído directamente del texto. La versión 2.0 añade preguntas sin respuesta, obligando a los modelos a reconocer cuándo no hay suficiente información.
Casos de uso
- Entrenamiento de sistemas de question answering extractivo
- Benchmarking de modelos de comprensión de lectura (BERT y sucesores)
- Investigación en NLP sobre cuándo un modelo debe abstenerse de responder
- Enseñanza de tareas de NLP más allá de la clasificación de texto
Cómo cargarlo
from datasets import load_dataset
dataset = load_dataset("squad")
print(dataset["train"][0]["question"], dataset["train"][0]["answers"])Ventajas y limitaciones
Ventajas
- Benchmark académico de referencia con métricas y leaderboard bien establecidos
- Disponible directamente vía Hugging Face Datasets
- La versión 2.0 añade un reto realista (preguntas sin respuesta)
Limitaciones
- Modelos modernos ya superan el desempeño humano en la versión 1.1, limitando su valor como reto de investigación
- Limitado al inglés y al dominio de Wikipedia