Transfer Learning y Fine-Tuning
Reutilizar el conocimiento de un modelo ya entrenado en vez de empezar desde cero.
¿Qué puedes lograr dominando este tema?
- Obtener buenos resultados de deep learning con una fracción de los datos que requeriría entrenar desde cero
- Adaptar modelos preentrenados (visión o lenguaje) a un dominio específico
- Decidir cuándo congelar capas y cuándo reentrenar el modelo completo
Descripción
En vez de entrenar una red neuronal desde cero (lo cual requiere datos y cómputo masivos), el transfer learning parte de un modelo ya entrenado en una tarea relacionada y lo adapta (fine-tuning) al problema específico, típicamente con muchos menos datos y tiempo de entrenamiento.
Casos de uso
- Clasificación de imágenes con datasets pequeños o medianos
- Adaptación de un LLM genérico a un dominio específico (legal, médico)
- Detección de objetos especializados a partir de modelos preentrenados en ImageNet
- Prototipado rápido de modelos de visión o NLP
Ejemplo práctico
from transformers import AutoModelForSequenceClassification
modelo = AutoModelForSequenceClassification.from_pretrained(
"distilbert-base-uncased", num_labels=2
)
# Solo se reentrenan las últimas capas sobre el dataset propioVentajas y limitaciones
Ventajas
- Reduce drásticamente los datos y el cómputo necesarios
- Democratiza el acceso a deep learning de alto desempeño
- Acorta significativamente el tiempo de desarrollo de un modelo
Limitaciones
- El modelo hereda cualquier sesgo presente en los datos de preentrenamiento
- Elegir qué capas congelar y cuáles reentrenar requiere experimentación
Herramientas relacionadas
Librerías y plataformas más comunes para practicar este tema.
- Hugging Face Transformers
- PyTorch
- TensorFlow
Temas relacionados
Redes Neuronales Convolucionales (CNN)
Deep LearningArquitecturas especializadas en reconocer patrones espaciales, el estándar para trabajar con imágenes.
Aprendizaje Auto-supervisado y Semi-supervisado
Aprendizaje AvanzadoAprovechar datos sin etiquetar (o con pocas etiquetas) para entrenar modelos de todas formas.
Fichas de herramientas
Hugging Face Transformers
deep learningLa librería estándar para usar y afinar modelos de lenguaje preentrenados.
PyTorch
deep learningEl framework de deep learning dominante en investigación y cada vez más en producción.
TensorFlow / Keras
deep learningFramework de deep learning de Google con Keras como API de alto nivel.