Capítulo 4

Aplicación del aprendizaje supervisado

Cuándo utilizar aprendizaje supervisado

Un algoritmo de aprendizaje supervisado toma un conjunto conocido de datos de entrada (el conjunto de entrenamiento) y respuestas conocidas sobre esos datos (salidas), y entrena un modelo para generar predicciones razonables como respuesta a datos de entrada nuevos. Utilice aprendizaje supervisado si dispone de datos existentes para la salida que desea predecir.

Todas las técnicas de aprendizaje supervisado son básicamente una forma de clasificación o regresión.

Las técnicas de clasificación predicen respuestas discretas; por ejemplo, si un email es genuino o spam, o si un tumor es pequeño, mediano o grande. Los modelos de clasificación se entrenan para clasificar datos en categorías. Entre sus aplicaciones se incluyen captura de imágenes médicas, reconocimiento del habla y puntuación crediticia.

Las técnicas de regresión predicen respuestas continuas; por ejemplo, cambios de temperatura o fluctuaciones en el consumo de electricidad. Entre sus aplicaciones se incluyen predicción de cotización de acciones, reconocimiento de escritura manuscrita y procesamiento de señales acústicas.

Cómo seleccionar el algoritmo adecuado

Como vimos en el capítulo 1, seleccionar un algoritmo de Machine Learning es un proceso de ensayo y error. Además, es un tradeoff entre características específicas de los algoritmos, tales como:

  • Rapidez del entrenamiento
  • Uso de memoria
  • Precisión predictiva con datos nuevos
  • Transparencia o interpretabilidad (con qué facilidad se pueden comprender los motivos por los que un algoritmo efectúa predicciones)

Algoritmos de clasificación comunes

  • Regresión logística

    CÓMO FUNCIONA
    Ajusta un modelo que puede predecir la probabilidad de que una respuesta binaria pertenezca a una clase u otra. Debido a su simplicidad, la regresión logística se utiliza comúnmente como punto de partida para problemas de clasificación binaria.

    USO RECOMENDADO

    • Cuando los datos se pueden separar claramente con un solo límite lineal
    • Como base de referencia para evaluar métodos de clasificación más complejos
    Gráfica genérica de una regresión logística

  • k vecinos más cercanos (kNN)

    CÓMO FUNCIONA
    kNN categoriza los objetos en función de las clases de sus vecinos más cercanos en el conjunto de datos. Las predicciones de kNN presuponen que los objetos cercanos entre sí son similares. Para hallar el vecino más cercano, se utilizan las métricas de distancia euclidiana, distancia Manhattan, distancia del coseno y distancia de Chebychev.

    USO RECOMENDADO

    • Cuando se necesita un algoritmo sencillo para establecer reglas de aprendizaje de referencia
    • Cuando el uso de memoria del modelo entrenado es de menor preocupación
    • Cuando la rapidez de predicción del modelo entrenado es de menor preocupación
    Gráfica genérica de k vecinos más cercanos

  • Máquina de vectores de soporte (SVM)

    CÓMO FUNCIONA
    Clasifica los datos buscando el límite de decisión lineal (hiperplano) que separa todos los puntos de datos de una clase de los de la otra clase. El mejor hiperplano para una SVM es aquel que tiene el margen más amplio entre las dos clases, cuando los datos se pueden separar linealmente. Si los datos no se pueden separar linealmente, se utiliza una función de pérdida para penalizar puntos situados en el lado incorrecto del hiperplano. A veces, las SVM emplean una transformación de kernel para convertir datos no linealmente separables en dimensiones superiores donde se puede encontrar un límite de decisión lineal.

    USO RECOMENDADO

    • Para datos que tengan exactamente dos clases (también se puede utilizar para clasificación multiclase con una técnica denominada códigos de salida de corrección de errores)
    • Para datos de alta dimensionalidad, no linealmente separables
    • Cuando se necesita un clasificador sencillo, fácil de interpretar y preciso
    Gráfica genérica de una máquina de vectores de soporte

  • Red neuronal

    CÓMO FUNCIONA
    Inspirada en el cerebro humano, una red neuronal consta de redes de neuronas altamente conectadas que relacionan las entradas con las salidas deseadas. La red se entrena modificando de manera iterativa los pesos de las conexiones para que las entradas proporcionadas se correspondan con la respuesta correcta.

    USO RECOMENDADO

    • Para modelar sistemas altamente no lineales
    • Cuando los datos están disponibles gradualmente y se desea actualizar el modelo constantemente
    • Cuando podría haber cambios inesperados en los datos de entrada
    • Cuando la interpretabilidad del modelo no es una preocupación principal
    Gráfica genérica de una red neuronal

  • Naive Bayes

    CÓMO FUNCIONA
    Un clasificador Naive Bayes presupone que la presencia de una determinada característica en una clase no está relacionada con la presencia de otra característica. Clasifica datos nuevos en base a la mayor probabilidad de que pertenezcan a una determinada clase.

    USO RECOMENDADO

    • Para un conjunto de datos pequeño que contenga muchos parámetros
    • Cuando se necesita un clasificador fácil de interpretar
    • Cuando el modelo se encontrará con escenarios que no forman parte de los datos de entrenamiento, como es el caso de muchas aplicaciones financieras y médicas
    Gráfica genérica de un modelo Naive Bayes

  • Análisis discriminante

    CÓMO FUNCIONA
    El análisis discriminante clasifica los datos buscando combinaciones lineales de características. El análisis discriminante presupone que diferentes clases generan datos basados en distribuciones gaussianas. Entrenar un modelo de análisis discriminante implica hallar los parámetros de una distribución gaussiana para cada clase. Los parámetros de distribución se utilizan para calcular límites, que pueden ser funciones lineales o cuadráticas. Estos límites se emplean para determinar la clase de los datos nuevos.

    USO RECOMENDADO

    • Cuando se necesita un modelo sencillo fácil de interpretar
    • Cuando el uso de memoria durante el entrenamiento es motivo de preocupación
    • Cuando se necesita un modelo que realice predicciones rápidamente
    Gráfica genérica de un modelo de análisis discriminante

  • Árbol de decisión

    CÓMO FUNCIONA
    Un árbol de decisión permite predecir las respuestas a datos siguiendo las decisiones en el árbol desde la raíz (inicio) hasta un nodo hoja. Un árbol consta de condiciones de ramificación en las que el valor de una variable de predicción se compara con un peso entrenado. El número de ramas y los valores de los pesos se determinan en el proceso de entrenamiento. Se puede realizar una modificación adicional, o poda, para simplificar el modelo.

    USO RECOMENDADO

    • Cuando se necesita un algoritmo fácil de interpretar y rápido de ajustar
    • Para reducir el uso de memoria
    • Cuando no se requiere una alta precisión predictiva
    Gráfica genérica de un árbol de decisión

  • Árboles de decisión bagged y boosted

    CÓMO FUNCIONA
    En estos métodos de ensemble, varios árboles de decisión “débiles” se combinan en un conjunto más “fuerte”.

    Un árbol de decisión bagged consta de árboles que se entrenan de manera independiente con datos que se extraen de los datos de entrada mediante bootstrapping.

    Por su parte, el método boosted implica crear un learner fuerte agregando de manera iterativa learners “débiles” y ajustando el peso de cada learner débil para centrarse en ejemplos mal clasificados.

    USO RECOMENDADO

    • Cuando los predictores son categóricos (discretos) o se comportan de manera no lineal
    • Cuando el tiempo necesario para entrenar un modelo es de menor preocupación
    Gráfica genérica de árboles de decisión bagged y boosted

Algoritmos de regresión comunes

  • Regresión lineal

    CÓMO FUNCIONA
    La regresión lineal es una técnica de modelado estadístico que se emplea para describir una variable de respuesta continua como función lineal de una o varias variables de predicción. Dado que los modelos de regresión lineal son sencillos de interpretar y fáciles de entrenar, suelen ser el primer modelo que se ajusta a un conjunto de datos nuevo.

    USO RECOMENDADO

    • Cuando se necesita un algoritmo fácil de interpretar y rápido de ajustar
    • Como base de referencia para evaluar otros modelos de regresión más complejos
    Gráfica genérica de una regresión lineal

  • Regresión no lineal

    CÓMO FUNCIONA
    La regresión no lineal es una técnica de modelado estadístico que ayuda a describir relaciones no lineales entre datos experimentales. Los modelos de regresión no lineal se suelen considerar paramétricos, es decir, que se describen como ecuaciones no lineales.

    “No lineal” hace referencia a una función de ajuste que es una función no lineal de los parámetros. Por ejemplo, si los parámetros de ajuste son b0, b1 y b2, la ecuación y = b0+b1x+b2x2 es una función lineal de los parámetros de ajuste, mientras que y = (b0xb1)/(x+b2) es una función no lineal de los parámetros de ajuste.

    USO RECOMENDADO

    • Cuando los datos tienen tendencias no lineales fuertes y no se pueden transformar fácilmente en un espacio lineal
    • Para ajustar modelos personalizados a datos
    Gráfica genérica de una regresión no lineal

  • Modelo de regresión con proceso gaussiano

    CÓMO FUNCIONA
    Los modelos de regresión con proceso gaussiano (GPR) son modelos no paramétricos que se utilizan para predecir el valor de una variable de respuesta continua. Su uso está muy extendido en el campo del análisis espacial para interpolación en presencia de incertidumbre. El método GPR también se conoce como kriging.

    USO RECOMENDADO

    • Para interpolar datos espaciales, tales como datos hidrogeológicos para la distribución de aguas subterráneas
    • Como modelo sustituto para facilitar la optimización de diseños complejos tales como motores de automoción
    Gráfica genérica de un modelo de regresión con proceso gaussiano

  • Regresión SVM

    CÓMO FUNCIONA
    Los algoritmos de regresión SVM funcionan como los algoritmos de clasificación SVM, pero se modifican para predecir una respuesta continua. En lugar de buscar un hiperplano que separe los datos, los algoritmos de regresión SVM buscan un modelo que se desvíe de los datos medidos por un valor no superior a una pequeña cantidad, con valores de parámetros lo más pequeños posible (para reducir la sensibilidad al error).

    USO RECOMENDADO

    • Para datos de alta dimensionalidad (donde habrá un gran número de variables de predicción)
    Gráfica genérica de una regresión S V M

  • Modelo lineal genérico

    CÓMO FUNCIONA
    Un modelo lineal genérico es un caso especial de modelo no lineal que emplea métodos lineales. Implica ajustar una combinación lineal de las entradas a una función no lineal (la función de enlace) de las salidas.

    USO RECOMENDADO

    • Cuando las variables de respuesta tienen distribuciones no normales, tales como una variable de respuesta que se espera que sea siempre positiva
    Gráfica genérica de un modelo lineal generalizado

  • Árbol de regresión

    CÓMO FUNCIONA
    Los árboles de decisión para regresión son similares a los árboles de decisión para clasificación, pero se modifican para predecir respuestas continuas.

    USO RECOMENDADO

    • Cuando los predictores son categóricos (discretos) o se comportan de manera no lineal
    Gráfica genérica de un árbol de regresión