Wikipedia Dumps

El texto completo de Wikipedia en todos los idiomas, actualizado periódicamente y de libre acceso.

ÁreaNLP y Modelos de Lenguaje
DominioNlp
DificultadIntermedio
TamañoDecenas de GB comprimido, según idioma
Fuente oficial

¿Qué puedes lograr con este dataset?

  • Construir un corpus de texto limpio y estructurado para preentrenamiento o fine-tuning
  • Practicar el procesamiento de grandes volúmenes de texto en formato XML/wikitext
  • Extraer conocimiento estructurado (infoboxes, categorías) además del texto plano

Descripción

La Fundación Wikimedia publica volcados completos y periódicos de todo el contenido de Wikipedia en cada idioma, en formato XML con el markup original (wikitext), siendo una de las fuentes de texto de alta calidad más usadas para preentrenar y evaluar modelos de lenguaje.

Casos de uso

  • Preentrenamiento o fine-tuning de modelos de lenguaje con texto enciclopédico
  • Construcción de bases de conocimiento y sistemas de pregunta-respuesta
  • Investigación en extracción de información estructurada
  • Corpus base para tareas de resumen automático

Cómo cargarlo

Cómo cargarlopython
from datasets import load_dataset

dataset = load_dataset("wikimedia/wikipedia", "20231101.es")
print(dataset["train"][0]["text"][:300])

Ventajas y limitaciones

Ventajas

  • Texto de alta calidad, editado y revisado por una comunidad global
  • Disponible en prácticamente todos los idiomas, no solo inglés
  • Actualizaciones periódicas que permiten trabajar con contenido reciente

Limitaciones

  • El formato wikitext crudo requiere limpieza considerable antes de usarse como texto plano
  • El volumen para idiomas grandes (inglés) exige infraestructura de procesamiento significativa

Datasets relacionados