Common Crawl
Petabytes de texto de la web abierta, la materia prima con la que se entrenan la mayoría de los grandes modelos de lenguaje.
ÁreaRedes Sociales y Texto
DominioNlp / Web
DificultadAvanzado
TamañoPetabytes · Miles de millones de páginas, actualizado mensualmente
¿Qué puedes lograr con este dataset?
- Trabajar con datos web a escala masiva usando cómputo distribuido
- Practicar la construcción de corpus de preentrenamiento para modelos de lenguaje
- Filtrar y limpiar texto web ruidoso a gran escala
Descripción
Common Crawl es una organización sin fines de lucro que rastrea la web abierta mensualmente y publica los datos crudos (HTML, texto extraído, metadatos) de forma gratuita en AWS S3. Es la fuente de datos base detrás del preentrenamiento de la mayoría de los grandes modelos de lenguaje actuales.
Casos de uso
- Preentrenamiento o continuación de entrenamiento de modelos de lenguaje
- Investigación en lingüística computacional a gran escala
- Construcción de corpus especializados filtrando por dominio o idioma
- Análisis de la evolución del contenido web a lo largo del tiempo
Cómo cargarlo
import requests
url = "https://data.commoncrawl.org/crawl-data/CC-MAIN-2024-10/warc.paths.gz"
respuesta = requests.get(url)
print(respuesta.content[:200])Ventajas y limitaciones
Ventajas
- Volumen y diversidad de texto sin comparación entre datasets abiertos
- Completamente gratuito, alojado en AWS con acceso público
- Actualizado mensualmente, permitiendo estudios longitudinales de la web
Limitaciones
- Requiere infraestructura de cómputo distribuido (Spark, etc.) para procesarlo a escala
- Contiene mucho ruido, spam y contenido duplicado que exige filtrado exhaustivo