Aprendizaje Auto-supervisado y Semi-supervisado
Aprovechar datos sin etiquetar (o con pocas etiquetas) para entrenar modelos de todas formas.
ÁreaParadigmas de Aprendizaje Avanzados
DificultadAvanzado
Tiempo de aprendizaje6-8 semanas
¿Qué puedes lograr dominando este tema?
- Entrenar modelos útiles cuando etiquetar datos es costoso o inviable a escala
- Entender cómo se preentrenan los grandes modelos de lenguaje e imagen antes del fine-tuning
- Combinar una pequeña cantidad de datos etiquetados con grandes volúmenes de datos sin etiquetar
Descripción
Etiquetar datos manualmente es caro y lento. El aprendizaje auto-supervisado genera etiquetas automáticamente a partir de la estructura de los propios datos (por ejemplo, predecir la siguiente palabra de un texto), mientras que el semi-supervisado combina una pequeña porción de datos etiquetados con una gran cantidad sin etiquetar. Es la técnica detrás del preentrenamiento de casi todo LLM moderno.
Casos de uso
- Preentrenamiento de grandes modelos de lenguaje e imagen
- Dominios donde etiquetar es costoso (imágenes médicas, documentos legales)
- Aprovechamiento de datos no etiquetados abundantes en la organización
- Mejora de modelos supervisados con datos adicionales sin etiquetar
Ejemplo práctico
# Tarea auto-supervisada simple: predecir la palabra enmascarada
from transformers import pipeline
fill_mask = pipeline("fill-mask", model="bert-base-multilingual-cased")
print(fill_mask("El cielo es de color [MASK]."))Ventajas y limitaciones
Ventajas
- Reduce drásticamente la dependencia de datos etiquetados manualmente
- Es la técnica que hizo posible el auge actual de los grandes modelos de lenguaje
- Aprovecha datos sin etiquetar que de otro modo quedarían sin usar
Limitaciones
- Requiere grandes volúmenes de datos y cómputo para el preentrenamiento
- Las tareas 'pretexto' auto-supervisadas deben diseñarse con cuidado para ser útiles
Herramientas relacionadas
Librerías y plataformas más comunes para practicar este tema.
- Hugging Face Transformers
- PyTorch
- SimCLR