Transfer Learning y Fine-Tuning

Reutilizar el conocimiento de un modelo ya entrenado en vez de empezar desde cero.

ÁreaDeep Learning
DificultadIntermedio
Tiempo de aprendizaje3-4 semanas

¿Qué puedes lograr dominando este tema?

  • Obtener buenos resultados de deep learning con una fracción de los datos que requeriría entrenar desde cero
  • Adaptar modelos preentrenados (visión o lenguaje) a un dominio específico
  • Decidir cuándo congelar capas y cuándo reentrenar el modelo completo

Descripción

En vez de entrenar una red neuronal desde cero (lo cual requiere datos y cómputo masivos), el transfer learning parte de un modelo ya entrenado en una tarea relacionada y lo adapta (fine-tuning) al problema específico, típicamente con muchos menos datos y tiempo de entrenamiento.

Casos de uso

  • Clasificación de imágenes con datasets pequeños o medianos
  • Adaptación de un LLM genérico a un dominio específico (legal, médico)
  • Detección de objetos especializados a partir de modelos preentrenados en ImageNet
  • Prototipado rápido de modelos de visión o NLP

Ejemplo práctico

Ejemplo prácticopython
from transformers import AutoModelForSequenceClassification

modelo = AutoModelForSequenceClassification.from_pretrained(
    "distilbert-base-uncased", num_labels=2
)
# Solo se reentrenan las últimas capas sobre el dataset propio

Ventajas y limitaciones

Ventajas

  • Reduce drásticamente los datos y el cómputo necesarios
  • Democratiza el acceso a deep learning de alto desempeño
  • Acorta significativamente el tiempo de desarrollo de un modelo

Limitaciones

  • El modelo hereda cualquier sesgo presente en los datos de preentrenamiento
  • Elegir qué capas congelar y cuáles reentrenar requiere experimentación

Herramientas relacionadas

Librerías y plataformas más comunes para practicar este tema.

  • Hugging Face Transformers
  • PyTorch
  • TensorFlow

Temas relacionados

Fichas de herramientas