Transferencia del aprendizaje es un enfoque de Deep Learning que utiliza un modelo entrenado para una tarea como punto de partida para otro modelo que realiza una tarea similar. Actualizar y volver a entrenar una red con Transferencia del aprendizaje es más fácil y rápido que entrenarla desde cero. Transferencia del aprendizaje se utiliza para clasificación de imágenes, detección de objetos, reconocimiento de voz, y otras aplicaciones.
Importancia de Transferencia del aprendizaje
Transferencia del aprendizaje permite aprovechar la experiencia de la comunidad de usuarios de Deep Learning. Modelos populares previamente entrenados ofrecen una arquitectura sólida y evitan la necesidad de empezar desde cero. Transferencia del aprendizaje es una técnica común de aprendizaje supervisado, ya que:
- Permite entrenar modelos con menos datos etiquetados reutilizando modelos populares ya entrenados con conjuntos de datos de gran tamaño.
- Ayuda a reducir el tiempo de entrenamiento y los recursos informáticos. Con Transferencia del aprendizaje, los pesos de la red neuronal no se aprenden desde cero, dado que el modelo previamente entrenado ya los ha aprendido con los aprendizajes anteriores.
- Puede utilizar arquitecturas de modelos desarrolladas por la comunidad de investigadores de Deep Learning, incluidas arquitecturas populares tales como GoogLeNet y YOLO.
Transferencia de conocimiento de un modelo previamente entrenado a otro modelo que se puede entrenar con menos datos etiquetados.
¿Entrenamiento desde cero o Transferencia del aprendizaje?
Para crear un modelo de Deep Learning, puede entrenar un modelo desde cero o realizar Transferencia del aprendizaje con un modelo previamente entrenado.
Desarrollar y entrenar un modelo desde cero funciona mejor para tareas muy específicas donde no se puedan utilizar modelos preexistentes. La desventaja de este enfoque es que generalmente requiere una gran cantidad de datos para obtener resultados precisos. Crear un modelo desde cero también funciona bien en casos donde redes más pequeñas pueden lograr la precisión deseada. Por ejemplo, las redes neuronales recurrentes (RNN) y las redes de memoria a corto-largo plazo (LSTM) son particularmente efectivas con datos secuenciales que varían en longitud, y resuelven problemas tales como clasificación de señales y predicción de series temporales.
Transferencia del aprendizaje es útil en tareas para las que existen diversos modelos previamente entrenados. Por ejemplo, muchas redes neuronales convolucionales (CNN) populares se entrenan previamente con el conjunto de datos ImageNet, que contiene más de 14 millones de imágenes y mil clases de imágenes. Si necesita clasificar imágenes de flores (o cualquier imagen no incluida en el conjunto de datos ImageNet) y tiene un número limitado de imágenes de flores, puede transferir las capas y pesos de una red SqueezeNet, reemplazar las capas finales y volver a entrenar el modelo con las imágenes que tiene.
Este enfoque de Transferencia del aprendizaje ayuda a lograr mayor precisión en menos tiempo.
Comparación del rendimiento de una red (precisión) con entrenamiento desde cero y con transferencia del aprendizaje.
Aplicaciones de Transferencia del aprendizaje
Transferencia del aprendizaje es popular en muchas aplicaciones de Deep Learning, tales como:
Visión artificial
Las aplicaciones de visión artificial incluyen reconocimiento de imágenes, detección de objetos, segmentación de imágenes y procesamiento de nubes de puntos de LiDAR. Consulte el ejemplo de MATLAB Clasificación de tumores en imágenes multirresolución divididas en bloques con Transferencia del aprendizaje.
Procesamiento de voz y audio
Consulte el ejemplo de MATLAB Transferencia del aprendizaje con redes de audio previamente entrenadas en Deep Network Designer.
Análisis de texto
Consulte el ejemplo de MATLAB en GitHub Fine Tune BERT Model for Japanese Text.
Modelos previamente entrenados para Transferencia del aprendizaje
Transferencia del aprendizaje se centra en un modelo de Deep Learning previamente entrenado, creado por profesionales de investigación de Deep Learning y entrenado con miles o millones de puntos de datos de muestra.
Existen muchos modelos previamente entrenados, cada uno con sus ventajas y desventajas:
- Velocidad de predicción: ¿Con qué rapidez puede el modelo predecir nuevos datos de entrada? Aunque la velocidad de predicción puede variar en función de otros factores, tales como hardware y tamaño de lote, también depende de la arquitectura y tamaño del modelo.
- Tamaño: ¿Qué superficie de memoria se desea para el modelo? La importancia del tamaño del modelo varía en función de dónde y cómo desea desplegarlo. ¿Se va a ejecutar en hardware integrado o en un equipo de escritorio? El tamaño de la red es importante cuando el despliegue se realiza en objetivos con recursos limitados.
- Precisión: ¿Qué rendimiento tiene el modelo antes de volver a entrenarlo? Un modelo que funciona bien con el conjunto de datos ImageNet probablemente funcionará bien con tareas nuevas similares. No obstante, una baja puntuación de precisión en ImageNet no significa necesariamente que el modelo funcionará mal en todas las tareas.
Comparación de tamaño, velocidad de predicción y precisión de modelos de redes previamente entrenadas populares.
¿Qué modelo es mejor para un flujo de trabajo de Transferencia del aprendizaje?
Puesto que existen muchos modelos de Transferencia del aprendizaje entre los que seleccionar, es importante tener presentes los tradeoffs y los objetivos generales de cada proyecto. Una buena forma de enfocarlo es probar varios modelos para encontrar el que mejor se adapte a la aplicación.
Modelos sencillos para comenzar, tales como GoogLeNet, VGG-16 y VGG-19, permiten realizar iteraciones rápidamente y experimentar con diferentes pasos de preprocesamiento de datos y opciones de entrenamiento. Una vez que descubra las configuraciones que funcionan bien, puede probar una red más precisa para comprobar si mejoran los resultados.
Modelos ligeros y computacionalmente eficientes, tales como SqueezeNet, MobileNet-v2 y ShuffleNet, son buenas opciones cuando el entorno de despliegue limita el tamaño del modelo.
¿Cómo obtener modelos previamente entrenados en MATLAB?
Puede explorar MATLAB Deep Learning Model Hub en GitHub para acceder a los modelos más recientes por categoría y obtener sugerencias sobre cómo seleccionar modelos. Puede cargar la mayoría de los modelos con una sola función de MATLAB, como darknet19.
También puede obtener redes previamente entrenadas desde plataformas externas. Puede convertir un modelo de TensorFlow™, PyTorch® u ONNX™ en un modelo de MATLAB utilizando una función de importación, como importNetworkFromTensorFlow.
Obtenga modelos de Deep Learning previamente entrenados directamente desde MATLAB o plataformas externas de Deep Learning (PyTorch, TensorFlow y ONNX).
Aplicación de Transferencia del aprendizaje al diseño de sensores virtuales
Descubra cómo Poclain Hydraulics aprovechó redes previamente entrenadas en MATLAB para acelerar el diseño de sensores virtuales.
“Identificamos dos redes neuronales ya implementadas en MATLAB que nos ayudaron a integrar los códigos en hardware para efectuar predicciones de temperatura en tiempo real”.
Transferencia del aprendizaje con MATLAB
Utilizar MATLAB con Deep Learning Toolbox™ permite acceder a cientos de modelos previamente entrenados y realizar Transferencia del aprendizaje con funciones integradas o apps interactivas. Para diferentes aplicaciones de Transferencia del aprendizaje, es posible que también necesite utilizar otras toolboxes, tales como Computer Vision Toolbox™, Audio Toolbox™, Lidar Toolbox™ o Text Analytics Toolbox™.
Flujo de trabajo de Transferencia del aprendizaje
Diagrama de pasos del flujo de trabajo de Transferencia del aprendizaje.
Aunque existe una gran variedad de arquitecturas y aplicaciones de Transferencia del aprendizaje, la mayoría de los flujos de trabajo incluyen los mismos pasos. La siguiente ilustración muestra el flujo de trabajo de Transferencia del aprendizaje para clasificación de imágenes. Se realiza Transferencia del aprendizaje en un modelo previamente entrenado de GoogLeNet, una red popular con 22 capas de profundidad entrenada para clasificar en 1000 categorías de objetos.
- Seleccione un modelo previamente entrenado. Al principio, puede resultar útil seleccionar un modelo sencillo.
Arquitectura del modelo de GoogLeNet, una red con 22 capas de profundidad, entrenada para clasificar 1000 categorías de objetos.
- Reemplace las capas finales. Para volver a entrenar la red para clasificar un nuevo conjunto de imágenes y clases, debe reemplazar la última capa entrenable y la capa de clasificación final del modelo de GoogLeNet. La capa final totalmente conectada (última capa entrenable) se modifica para que contenga la misma cantidad de nodos y de clases nuevas. La nueva capa de clasificación generará un resultado en función de las probabilidades calculadas por la capa softmax.
Reemplace la última capa entrenable y la capa de clasificación de un modelo de CNN antes de volver a entrenarlo.
Después de modificar las capas, la capa final totalmente conectada indicará el nuevo número de clases que aprenderá la red, y la capa de clasificación determinará los resultados de las nuevas categorías de salida disponibles. Por ejemplo, GoogLeNet se entrenó originalmente con 1000 categorías, pero si reemplaza las capas finales podrá volver a entrenarla para que clasifique solo las cinco (o cualquier otro número) categorías de objetos de su interés.
- Congele los pesos (opcional). Puede congelar los pesos de las capas anteriores de la red fijando sus tasas de aprendizaje en cero. Durante el entrenamiento, los parámetros de las capas congeladas no se actualizan, lo que puede acelerar significativamente el entrenamiento de la red. Si el nuevo conjunto de datos es pequeño, congelar los pesos también puede ayudar a evitar el sobreajuste de la red con respecto al nuevo conjunto de datos.
- Vuelva a entrenar el modelo. Realizar un nuevo entrenamiento actualizará la red para que aprenda e identifique características relacionadas con las nuevas imágenes y categorías. En la mayoría de los casos, para realizar un nuevo entrenamiento se necesitan menos datos que para entrenar un modelo desde cero.
- Efectúe predicciones y evalúe la precisión de la red. Después de volver a entrenar el modelo, puede clasificar nuevas imágenes y evaluar lo bien que funciona la red.
Método de Transferencia del aprendizaje interactivo
Con la app Deep Network Designer puede completar todo el flujo de trabajo de Transferencia del aprendizaje de manera interactiva, que incluye seleccionar o importar un modelo previamente entrenado (desde MATLAB, TensorFlow o PyTorch), modificar las últimas capas y volver a entrenar la red con nuevos datos, con muy pocas líneas de código.
Más información sobre Transferencia del aprendizaje
Vea estos vídeos para aprender a utilizar Transferencia del aprendizaje desde la línea de comandos o con Deep Network Designer.
Temas relacionados
La Transferencia del aprendizaje es un enfoque de Deep Learning en el que un modelo entrenado para una tarea se utiliza como punto de partida para un modelo que realiza una tarea similar, lo que hace que el proceso sea más rápido y sencillo que entrenar una red desde cero.
La Transferencia del aprendizaje permite entrenar modelos con menos datos etiquetados, reduce el tiempo de entrenamiento y los recursos de cálculo necesarios, y permite aprovechar arquitecturas de modelos desarrolladas por la comunidad de investigación en Deep Learning, como GoogLeNet y YOLO.
La Transferencia del aprendizaje se utiliza ampliamente en Visión artificial (reconocimiento de imágenes, detección de objetos y segmentación de imágenes), así como en el procesamiento de voz y audio y en aplicaciones de análisis de texto.
Considere tres factores clave: velocidad de predicción, tamaño del modelo (huella de memoria) y exactitud. Un buen enfoque consiste en probar varios modelos para encontrar el que mejor se adapte a la aplicación, comenzando por modelos más simples como GoogLeNet o VGG-16 para iterar rápidamente.
El flujo de trabajo incluye: seleccionar un modelo previamente entrenado; reemplazar las capas finales para adaptarlas a las nuevas clases; congelar opcionalmente los pesos de las capas anteriores; volver a entrenar el modelo con sus datos; realizar predicciones y evaluar la precisión de la red.
Puede acceder a los modelos a través de MATLAB Deep Learning Model Hub mediante una única llamada de función o importar modelos desde plataformas externas como TensorFlow, PyTorch u ONNX utilizando funciones de importación.
Sí. La aplicación Deep Network Designer permite completar de forma interactiva todo el flujo de trabajo de Transferencia del aprendizaje, incluida la selección o importación de un modelo previamente entrenado, la modificación de capas y el reentrenamiento, con poco o ningún código.
Congelar los pesos de las capas anteriores estableciendo sus tasas de aprendizaje en cero puede acelerar significativamente el entrenamiento y prevenir el Sobreajuste, especialmente cuando el nuevo conjunto de datos es pequeño.
