Aprendizaje Auto-supervisado y Semi-supervisado

Aprovechar datos sin etiquetar (o con pocas etiquetas) para entrenar modelos de todas formas.

ÁreaParadigmas de Aprendizaje Avanzados
DificultadAvanzado
Tiempo de aprendizaje6-8 semanas

¿Qué puedes lograr dominando este tema?

  • Entrenar modelos útiles cuando etiquetar datos es costoso o inviable a escala
  • Entender cómo se preentrenan los grandes modelos de lenguaje e imagen antes del fine-tuning
  • Combinar una pequeña cantidad de datos etiquetados con grandes volúmenes de datos sin etiquetar

Descripción

Etiquetar datos manualmente es caro y lento. El aprendizaje auto-supervisado genera etiquetas automáticamente a partir de la estructura de los propios datos (por ejemplo, predecir la siguiente palabra de un texto), mientras que el semi-supervisado combina una pequeña porción de datos etiquetados con una gran cantidad sin etiquetar. Es la técnica detrás del preentrenamiento de casi todo LLM moderno.

Casos de uso

  • Preentrenamiento de grandes modelos de lenguaje e imagen
  • Dominios donde etiquetar es costoso (imágenes médicas, documentos legales)
  • Aprovechamiento de datos no etiquetados abundantes en la organización
  • Mejora de modelos supervisados con datos adicionales sin etiquetar

Ejemplo práctico

Ejemplo prácticopython
# Tarea auto-supervisada simple: predecir la palabra enmascarada
from transformers import pipeline

fill_mask = pipeline("fill-mask", model="bert-base-multilingual-cased")
print(fill_mask("El cielo es de color [MASK]."))

Ventajas y limitaciones

Ventajas

  • Reduce drásticamente la dependencia de datos etiquetados manualmente
  • Es la técnica que hizo posible el auge actual de los grandes modelos de lenguaje
  • Aprovecha datos sin etiquetar que de otro modo quedarían sin usar

Limitaciones

  • Requiere grandes volúmenes de datos y cómputo para el preentrenamiento
  • Las tareas 'pretexto' auto-supervisadas deben diseñarse con cuidado para ser útiles

Herramientas relacionadas

Librerías y plataformas más comunes para practicar este tema.

  • Hugging Face Transformers
  • PyTorch
  • SimCLR

Temas relacionados

Fichas de herramientas