GLUE Benchmark
Una colección de nueve tareas de comprensión del lenguaje, el estándar para comparar modelos de NLP.
ÁreaNLP y Modelos de Lenguaje
DominioNlp
DificultadIntermedio
Tamaño9 tareas distintas, cada una con su propio dataset
¿Qué puedes lograr con este dataset?
- Evaluar un modelo de lenguaje de forma comparable frente a la literatura publicada
- Practicar fine-tuning de un mismo modelo base en múltiples tareas distintas
- Entender las distintas facetas de la comprensión del lenguaje (inferencia, similitud, sentimiento)
Descripción
GLUE (General Language Understanding Evaluation) reúne nueve tareas diversas de comprensión del lenguaje natural (inferencia textual, similitud de oraciones, análisis de sentimiento, entre otras) bajo un mismo estándar de evaluación, convirtiéndose en el benchmark de referencia para comparar modelos de lenguaje entre sí.
Casos de uso
- Evaluación estandarizada de nuevos modelos de lenguaje
- Fine-tuning multi-tarea de modelos preentrenados
- Investigación comparativa entre arquitecturas de NLP
- Enseñanza de la diversidad de tareas dentro del NLP
Cómo cargarlo
from datasets import load_dataset
sst2 = load_dataset("glue", "sst2")
print(sst2["train"][0])Ventajas y limitaciones
Ventajas
- Cubre múltiples facetas de la comprensión del lenguaje bajo un mismo estándar
- Ampliamente adoptado, facilitando comparación directa con la literatura
- Fácil de cargar tarea por tarea vía Hugging Face Datasets
Limitaciones
- Los modelos modernos ya saturan varias tareas de GLUE, por lo que SuperGLUE lo sucedió como reto más difícil
- Limitado al inglés
Datasets relacionados
SQuAD (Stanford Question Answering Dataset)
NlpMás de 100,000 preguntas y respuestas sobre artículos de Wikipedia, el benchmark clásico de comprensión de lectura.
Common Crawl
Nlp / WebPetabytes de texto de la web abierta, la materia prima con la que se entrenan la mayoría de los grandes modelos de lenguaje.