Wikipedia Dumps
El texto completo de Wikipedia en todos los idiomas, actualizado periódicamente y de libre acceso.
ÁreaNLP y Modelos de Lenguaje
DominioNlp
DificultadIntermedio
TamañoDecenas de GB comprimido, según idioma
¿Qué puedes lograr con este dataset?
- Construir un corpus de texto limpio y estructurado para preentrenamiento o fine-tuning
- Practicar el procesamiento de grandes volúmenes de texto en formato XML/wikitext
- Extraer conocimiento estructurado (infoboxes, categorías) además del texto plano
Descripción
La Fundación Wikimedia publica volcados completos y periódicos de todo el contenido de Wikipedia en cada idioma, en formato XML con el markup original (wikitext), siendo una de las fuentes de texto de alta calidad más usadas para preentrenar y evaluar modelos de lenguaje.
Casos de uso
- Preentrenamiento o fine-tuning de modelos de lenguaje con texto enciclopédico
- Construcción de bases de conocimiento y sistemas de pregunta-respuesta
- Investigación en extracción de información estructurada
- Corpus base para tareas de resumen automático
Cómo cargarlo
from datasets import load_dataset
dataset = load_dataset("wikimedia/wikipedia", "20231101.es")
print(dataset["train"][0]["text"][:300])Ventajas y limitaciones
Ventajas
- Texto de alta calidad, editado y revisado por una comunidad global
- Disponible en prácticamente todos los idiomas, no solo inglés
- Actualizaciones periódicas que permiten trabajar con contenido reciente
Limitaciones
- El formato wikitext crudo requiere limpieza considerable antes de usarse como texto plano
- El volumen para idiomas grandes (inglés) exige infraestructura de procesamiento significativa
Datasets relacionados
Common Crawl
Nlp / WebPetabytes de texto de la web abierta, la materia prima con la que se entrenan la mayoría de los grandes modelos de lenguaje.
SQuAD (Stanford Question Answering Dataset)
NlpMás de 100,000 preguntas y respuestas sobre artículos de Wikipedia, el benchmark clásico de comprensión de lectura.