Glosario de redes neuronales superficiales

A B C D E F G H I J K L M N O P Q R S T U V W X Y Z É

ADALINE: El acrónimo inglés para una neurona lineal: ADAptive LINear Element (elemento lineal adaptativo).
Adaptación: Un método de entrenamiento que procede a través de la secuencia de entradas especificadas calculando los ajustes de salida, error y red de cada uno de los vectores de entrada de la secuencia a medida que se presentan las entradas.
Filtro adaptativo: Una red que contiene retardos y cuyos pesos se ajustan cada vez que se presenta un nuevo vector de entrada. La red se adapta a los cambios en las propiedades de las señales de entrada si estos se producen. Este tipo de filtro se usa en líneas telefónicas de larga distancia para suprimir ecos.
Tasa de aprendizaje adaptativo: La tasa de aprendizaje, ajustada de acuerdo con un algoritmo durante el entrenamiento para minimizar el tiempo de entrenamiento.
Arquitectura: La descripción del número de capas de una red neuronal, cada una de las funciones de transferencia de las capas, el número de neuronas por capa y las conexiones entre las capas.
Regla de aprendizaje de retropropagación: Una regla de aprendizaje en la que los pesos y los sesgos se ajustan mediante vectores de derivadas del error (delta) retropropagados a través de la red. La retropropagación suele aplicarse a las redes prealimentadas. En ocasiones, esta regla recibe el nombre de regla delta generalizada.
Búsqueda de retroceso: Una rutina de búsqueda lineal que comienza con un paso multiplicador de 1 y después retrocede hasta obtener una reducción aceptable del rendimiento.
Lote: Una matriz de vectores de entrada (u objetivo) aplicada a la red de forma simultánea. Los cambios en los pesos y los sesgos de la red se realizan solo una vez para todo el conjunto de vectores de la matriz de entrada. (El término "lote" está siendo sustituido por una expresión más descriptiva, "vectores concurrentes").
Procesamiento por lotes: El proceso de presentación de un conjunto de vectores de entrada para el cálculo simultáneo de una matriz de vectores de salida o de nuevos pesos y sesgos.
Marco bayesiano: Asume que los pesos y los sesgos de la red son variables aleatorias con distribuciones especificadas.
Algoritmo BFGS quasi-Newton: Una variante del algoritmo de optimización de Newton en la que se obtiene una aproximación de la matriz hessiana a partir de los gradientes calculados en cada una de las iteraciones del algoritmo.
Sesgo: Un parámetro neuronal que se suma con las entradas ponderadas de la neurona y se pasa a través de la función de transferencia de la neurona para generar la salida de la neurona.
Vector de sesgo: El vector columna de valores de sesgo de una capa de neuronas.
Búsqueda de Brent: Una búsqueda lineal que es un híbrido entre la búsqueda de la sección áurea y una interpolación cuadrática.
Red prealimentada en cascada: Una red en capas en la que cada capa solo recibe entradas de las capas anteriores.
Búsqueda de Charalambous: Una búsqueda lineal híbrida que usa una interpolación cúbica con un tipo de seccionamiento.
Clasificación: La asociación de un vector de entrada con un vector objetivo concreto.
Capa competitiva: Una capa de neuronas en la que solo la salida de la neurona con la entrada combinada máxima es 1 y la salida del resto de las neuronas es 0. Las neuronas compiten entre sí por el derecho a responder a un vector de entrada dado.
Aprendizaje competitivo: El aprendizaje no supervisado de una capa competitiva con la regla de Instar o regla de Kohonen. Las neuronas individuales aprenden a convertirse en detectores de características. Después del entrenamiento, la capa categoriza los vectores de entrada entre las neuronas.
Función de transferencia competitiva: Acepta un vector de entrada combinado para una capa y devuelve salidas neuronales de 0 para todas las neuronas salvo para la ganadora, que es la neurona asociada con el elemento más positivo de la entrada combinada n.
Vectores de entrada concurrentes: El nombre dado a una matriz de vectores de entrada que van a presentarse a una red de forma simultánea. Se utilizan todos los vectores de la matriz para hacer un único conjunto de cambios en los pesos y los sesgos.
Algoritmo de gradiente conjugado: En los algoritmos de gradiente conjugado se realiza una búsqueda a lo largo de las direcciones conjugadas que suele producir una convergencia más rápida que las búsquedas a lo largo de las direcciones de descenso más pronunciado.
Conexión: Un enlace unidireccional entre las neuronas de una red.
Intensidad de la conexión: La intensidad de un enlace entre dos neuronas de una red. La intensidad, a la que se suele denominar "peso", determina el efecto de una neurona sobre otra.
Ciclo: Una presentación única de un vector de entrada, el cálculo de salida y nuevos pesos y sesgos.
Neurona muerta: Una neurona de una capa competitiva que nunca ha ganado ninguna competición durante el entrenamiento y, por lo tanto, no se ha convertido en un detector de características útil. Las neuronas muertas no responden a ninguno de los vectores de entrenamiento.
Límite de decisión: La línea, determinada por los vectores de peso y sesgo, para la que la entrada combinada n es igual a cero.
Regla delta: Consulte la regla de aprendizaje de Widrow-Hoff.
Vector delta: El vector delta de una capa es la derivada del error de salida de una red en relación con el vector de entrada combinado de esa capa.
Distancia: La distancia entre neuronas, calculada a partir de sus posiciones con una función de distancia.
Función de distancia: Una forma determinada de calcular la distancia, como la distancia euclidiana entre dos vectores.
Detección temprana: Una técnica basada en la división de los datos en tres subconjuntos. El primer subconjunto es el conjunto de entrenamiento y se usa para calcular el gradiente y actualizar los pesos y los sesgos de la red. El segundo subconjunto es el conjunto de validación. Cuando el error de validación de un número de iteraciones especificado aumenta, el entrenamiento se detiene y se devuelven los pesos y los sesgos del mínimo del error de validación. El tercer subconjunto es el conjunto de pruebas. Se utiliza para verificar el diseño de la red.
Época: La presentación del conjunto de vectores (de entrada u objetivo) de entrenamiento en una red y el cálculo de nuevos pesos y sesgos. Observe que los vectores de entrenamiento se pueden presentar de uno en uno o todos juntos en un lote.
Salto de error: El aumento repentino de la suma de los errores cuadráticos de la red durante el entrenamiento. La causa suele ser una tasa de aprendizaje excesivamente elevada.
Relación de errores: Un parámetro de entrenamiento utilizado junto con la tasa de aprendizaje adaptativo y el entrenamiento de redes de retropropagación con momento.
Vector de error: La diferencia entre el vector de salida de una red en respuesta a un vector de entrada y un vector de salida objetivo asociado.
Red de retroalimentación: Una red con conexiones desde la salida de una capa a la entrada de esa capa. La conexión de retroalimentación puede ser directa o pasar a través de varias capas.
Red prealimentada: Una red en capas en la que cada capa solo recibe entradas de las capas anteriores.
Actualización de Fletcher-Reeves: Un método para calcular un conjunto de direcciones conjugadas. Estas direcciones se usan como direcciones de búsqueda como parte de un procedimiento de optimización de gradiente conjugado.
Aproximación de funciones: Una tarea realizada por una red entrenada para responder a entradas con una aproximación de la función deseada.
Generalización: El atributo de una red cuya salida para un nuevo vector de entrada tiende a ser similar a las salidas de los vectores de entrada similares de su conjunto de entrenamiento.
Red de regresión generalizada: Aproxima una función continua a una precisión arbitraria, dado un número suficiente de neuronas ocultas.
Mínimo global: El valor mínimo de una función a lo largo de todo el rango de sus parámetros de entrada. Los métodos de gradiente descendente ajustan los pesos y los sesgos para determinar el mínimo global de error de una red.
Búsqueda de la sección áurea: Una búsqueda lineal que no requiere el cálculo de la pendiente. El intervalo que contiene el mínimo del rendimiento se subdivide en cada una de las iteraciones de la búsqueda, y se elimina una subdivisión en cada iteración.
Gradiente descendente: El proceso de realización de cambios en los pesos y los sesgos, en el que los cambios son proporcionales a las derivadas del error de red en relación con esos pesos y sesgos. El objetivo es minimizar el error de red.
Función de transferencia de límite estricto: Una función de transferencia que asigna las entradas mayores que o iguales a 0 al 1, y el resto de valores al 0.
Regla de aprendizaje de Hebb: La primera regla de aprendizaje para neuronas propuesta de la historia. Los pesos se ajustan de forma proporcional a la multiplicación de las salidas de las neuronas antes y después de los pesos.
Capa oculta: Una capa de red que no está conectada a la salida de red. Por ejemplo, la primera capa de una red prealimentada de dos capas.
Neurona origen: La neurona situada en el centro de un entorno.
Búsqueda híbrida de bisección cúbica: Una búsqueda lineal que combina la bisección y la interpolación cúbica.
Inicialización: El proceso de establecer los pesos y los sesgos de una red en sus valores originales.
Capa de entrada: Una capa de neuronas que recibe entradas directamente desde fuera de la red.
Espacio de entrada: El intervalo de todos los vectores de entrada posibles.
Vector de entrada: Un vector presentado a la red.
Vector de pesos de entrada: Un vector fila de pesos que se dirigen a una neurona.
Pesos de entrada: Los pesos que conectan las entradas de red a las capas.
Matriz jacobiana: Contiene las primeras derivadas de los errores de red en relación con los pesos y los sesgos.
Regla de aprendizaje de Kohonen: Una regla de aprendizaje que entrena los vectores de pesos de la neurona seleccionada para aceptar los valores del vector de entrada actual.
Capa: Un grupo de neuronas con conexiones a las mismas entradas que envía salidas a los mismos destinos.
Diagrama de capas: Una figura de la arquitectura de red que muestra las capas y las matrices de pesos que las conectan. La función de transferencia de las diferentes capas se indica mediante un símbolo. Se muestran las matrices de entrada, salida, sesgos y pesos. No aparecen las neuronas ni las conexiones individuales.
Pesos de capa: Los pesos que conectan unas capas con otras. Estos pesos deben tener retardos distintos de cero si forman una conexión recurrente (p. ej., un bucle).
Aprendizaje: El proceso por el que se ajustan los pesos y los sesgos para obtener el comportamiento de red deseado.
Tasa de aprendizaje: El parámetro de entrenamiento que controla el tamaño de los cambios de peso y sesgo durante el aprendizaje.
Regla de aprendizaje: Un método para derivar los próximos cambios que pueden realizarse en una red o un procedimiento para modificar los pesos y los sesgos de una red.
Levenberg-Marquardt: Un algoritmo que entrena una red neuronal entre 10 y 100 veces más rápido que el método de retropropagación del gradiente descendente normal. Calcula siempre la matriz hessiana aproximada, que tiene unas dimensiones de n por n.
Función de búsqueda lineal: El procedimiento para buscar a lo largo de una dirección (línea) de búsqueda dada para localizar el mínimo del rendimiento de la red.
Función de transferencia lineal: Una función de transferencia lineal que produce su entrada en forma de salida.
Distancia de enlace: El número de enlaces, o pasos, que se deben realizar para tomar en consideración la neurona.
Mínimo local: El mínimo de una función a lo largo de un intervalo limitado de valores de entrada. Un mínimo local no tiene por qué coincidir con el mínimo global.
Función de transferencia sigmoide logarítmica: Una función de aplastamiento que adopta la siguiente forma y que asigna la entrada al intervalo (0,1). (La función de la toolbox es logsig).
$f (n) = \frac{1}{1 + e^{- n}}$
Distancia de Manhattan: La distancia de Manhattan entre dos vectores x e y se calcula como
D = sum(abs(x-y))
Aumento máximo del rendimiento: La cantidad máxima que puede aumentar el rendimiento en una interación del algoritmo de entrenamiento de la tasa de aprendizaje variable.
Tamaño de paso máximo: El tamaño de paso máximo permitido durante una búsqueda lineal. El aumento de la magnitud del vector de pesos no puede ser superior al tamaño de paso máximo en una iteración de un algoritmo de entrenamiento.
Función de error cuadrático medio: La función de rendimiento que calcula el error cuadrático medio entre las salidas de la red, a, y las salidas objetivo, t.
Momento: Una técnica que se suele usar para reducir las probabilidades de que una red de retropropagación quede atrapada en un mínimo superficial.
Constante de momento: El parámetro de entrenamiento que controla la cantidad de momento utilizada.
Parámetro Mu: El valor inicial del escalar µ.
Entorno: Un grupo de neuronas situado a una distancia especificada de una neurona concreta. El entorno lo especifican los índices de todas las neuronas situadas en un radio d de la neurona ganadora i*:
Ni(d) = {j,d_ij ≤ d}
Vector de entrada combinado: La combinación de todos los vectores, en una capa, de entrada ponderados de la capa con su sesgo.
Neurona: El elemento de procesamiento básico de una red neuronal. Incluye pesos y sesgo, una unión de suma y una función de transferencia de salida. Las neuronas artificiales, como las que permite simular y entrenar esta toolbox, son abstracciones de las neuronas biológicas.
Diagrama neuronal: Una figura de la arquitectura de red que muestra las neuronas y los pesos que las conectan. La función de transferencia de las diferentes neuronas se indica mediante un símbolo.
Fase de ordenación: El periodo de entrenamiento en el que se prevé que los pesos de las neuronas se ordenen en el espacio de entrada de acuerdo con las posiciones de las neuronas asociadas.
Capa de salida: La capa cuya salida se pasa al mundo externo a la red.
Vector de salida: La salida de una red neuronal. Cada uno de los elementos de un vector de salida es la salida de una neurona.
Vector de pesos de salida: Un vector columna de pesos procedente de una neurona o una entrada. (Consulte también regla de aprendizaje de Outstar).
Regla de aprendizaje de Outstar: Una regla de aprendizaje que entrena el vector de pesos de salida (o entrada) de una neurona para aceptar los valores del vector de salida actual de la capa posterior al peso. Los cambios de los pesos son proporcionales a la salida de la neurona.
Sobreajuste: Un supuesto en el que el error del conjunto de entrenamiento lleva a un valor muy pequeño, pero cuando se presentan nuevos datos a la red, el error es grande.
Pasada: Cada uno de los diferentes recorridos a través de los vectores de entrenamiento de entrada y los vectores de entrenamiento objetivo.
Patrón: Un vector.
Asociación de patrones: La tarea realizada por una red entrenada para responder con el vector de salida correcto en cada uno de los vectores de entrada presentados.
Reconocimiento de patrones: La tarea realizada por una red entrenada para responder cuando se presenta un vector de entrada similar a uno de los vectores aprendidos. La red "reconoce" la entrada como uno de los vectores objetivo originales.
Perceptrón: Una red con una sola capa y una función de transferencia de límite estricto. Esta red suele entrenarse con la regla de aprendizaje del perceptrón.
Regla de aprendizaje del perceptrón: Una regla de aprendizaje para redes de una sola capa con un límite estricto. Garantiza el correcto funcionamiento de una red en un tiempo finito, siempre que la red esté capacitada para ello.
Rendimiento: El comportamiento de una red.
Función de rendimiento: Suele hacer referencia al error cuadrático medio de las salidas de la red. Sin embargo, la toolbox también contempla otras funciones de rendimiento. Escriba help nnperformance para obtener una lista de las funciones de rendimiento.
Actualización de Polak-Ribiére: Un método para calcular un conjunto de direcciones conjugadas. Estas direcciones se usan como direcciones de búsqueda como parte de un procedimiento de optimización de gradiente conjugado.
Función de transferencia lineal positiva: Una función de transferencia que produce una salida igual a cero para las entradas negativas y una salida igual a la entrada para las entradas positivas.
Posprocesamiento: Vuelve a convertir las salidas normalizadas a las mismas unidades usadas para los objetivos originales.
Reinicios de Powell-Beale: Un método para calcular un conjunto de direcciones conjugadas. Estas direcciones se usan como direcciones de búsqueda como parte de un procedimiento de optimización de gradiente conjugado. Este procedimiento también reinicia periódicamente la dirección de búsqueda al negativo del gradiente.
Preprocesamiento: La transformación de los datos objetivo o de entrada antes de presentarlos a la red neuronal.
Análisis de componentes principales: Ortogonaliza los componentes de los vectores de entrada de la red. Este procedimiento también reduce el tamaño de los vectores de entrada mediante la eliminación de los componentes redundantes.
Algoritmo quasi-Newton: Una clase de algoritmo de optimización basada en el método de Newton. Se calcula una matriz hessiana aproximada en cada una de las iteraciones del algoritmo basado en los gradientes.
Redes de base radial: Una red neuronal que puede diseñarse directamente ajustando los elementos de respuesta especiales de la forma más adecuada.
Función de transferencia de base radial: La función de transferencia de una neurona de base radial es
$r a d b a s (n) = e^{- n^{2}}$
Regularización: La modificación de la función de rendimiento (para la que normalmente se elige la suma de los cuadrados de los errores de red del conjunto de entrenamiento) mediante la suma de una fracción de los cuadrados de los pesos de la red.
Retropropagación resiliente: Un algoritmo de entrenamiento que elimina el efecto negativo de tener una pendiente reducida en los extremos de las funciones de transferencia sigmoides de aplastamiento.
Función de transferencia lineal saturante: Una función lineal en el intervalo (-1,+1) que fuera de este intervalo satura a -1 o +1. (La función de la toolbox es satlin).
Algoritmo de gradiente conjugado escalado: Evita la laboriosa búsqueda de línea del algoritmo de gradiente conjugado estándar.
Vectores de entrada secuenciales: El conjunto de vectores que van a presentarse a una red de forma sucesiva. Los pesos y los sesgos de la red se ajustan en la presentación de cada uno de los vectores de entrada.
Parámetro sigma: Determina el cambio del peso para calcular la matriz hessiana aproximada en el algoritmo de gradiente conjugado escalado.
Sigmoide: Función monotónica en forma de S que asigna números del intervalo (-∞,∞) a un intervalo finito, como (-1,+1) o (0,1).
Simulación: Toma la entrada de red p y el objeto de red net, y devuelve las salidas de red a.
Constante de dispersión: La distancia a la que debe encontrarse un vector de entrada del vector de peso de una neurona para producir una salida de 0,5.
Función de aplastamiento: Una función de aumento monotónico que toma valores de entrada de entre -∞ y +∞ y devuelve valores en un intervalo finito.
Regla de aprendizaje Instar: Una regla de aprendizaje que entrena el vector de peso de una neurona para tomar los valores del vector de entrada actual. Los cambios de los pesos son proporcionales a la salida de la neurona.
Suma de los errores cuadráticos: La suma del cuadrado de las diferencias entre los objetivos de red y las salidas reales de un vector de entrada o un conjunto de vectores dados.
Aprendizaje supervisado: El proceso de aprendizaje en el que los cambios en los pesos y los sesgos de una red se deben a la intervención de un profesor externo. El profesor suele proporcionar objetivos de salida.
Función de transferencia de límite estricto simétrica: Una transferencia que asigna las entradas mayores que o iguales a 0 a +1, y el resto de valores a -1.
Función de transferencia lineal simétrica saturada: Produce la entrada en forma de salida, siempre que la entrada se encuentre en el intervalo del -1 al 1. Fuera de ese rango, la salida es -1 y +1, respectivamente.
Función de transferencia sigmoide tangencial: Una función de aplastamiento que adopta la siguiente forma y que asigna la entrada al intervalo (-1,1). (La función de la toolbox es tansig).
$f (n) = \frac{1}{1 + e^{- n}}$
Línea de retardo en pulsación: Un conjunto secuencial de retardos con salidas disponibles en cada una de las salidas con retardo.
Vector objetivo: El vector de salida deseado para un vector de entrada determinado.
Vectores de prueba: Un conjunto de vectores de entrada (no utilizados directamente durante el entrenamiento) que se utiliza para probar la red entrenada.
Funciones de topología: Un método que permite ordenar las neuronas en una topología en malla, de cajas, hexagonal o aleatoria.
Entrenamiento: El procedimiento por el que se ajusta una red para realizar una determinada tarea. Suele considerarse un trabajo sin conexión, a diferencia del ajuste que se realiza durante cada intervalo de tiempo, ya que se realiza durante el entrenamiento adaptativo.
Vector de entrenamiento: El vector de entrada u objetivo utilizado para entrenar una red.
Función de transferencia: Una función que asigna la salida de red n de una neurona (o de una capa) a su salida real.
Fase de ajuste: El periodo del entrenamiento SOFM (Self-Organizing Feature Map) durante el cual se espera que los pesos se dispersen de forma relativamente uniforme por el espacio de entrada y retengan el orden topológico descubierto durante la fase de ordenación.
Sistema infradeterminado: Un sistema con más variables que restricciones.
Aprendizaje no supervisado: El proceso de aprendizaje en el que los cambios en los pesos y los sesgos de una red no se deben a la intervención de un profesor externo. Los cambios suelen ser una función de los vectores actuales de entrada y salida y los pesos y sesgos previos de la red.
Actualización: Realiza un cambio en los pesos y los sesgos. La actualización puede producirse tras la presentación de un único vector de entrada o tras la acumulación de cambios en varios vectores de entrada.
Vectores de validación: Un conjunto de vectores de entrada (no utilizados directamente durante el entrenamiento) que se utiliza para monitorizar el progreso del entrenamiento y evitar el sobreajuste de la red.
Función de peso: Las funciones de peso aplican pesos a una entrada para obtener entradas ponderadas según lo especificado por una función concreta.
Matriz de pesos: Una matriz que contiene las intensidades de la conexión de las entradas de una capa con sus neuronas. El elemento w_i,j de una matriz de pesos W hace referencia a la intensidad de la conexión de la entrada j con la neurona i.
Vector de entrada ponderado: El resultado de aplicar un peso a la entrada de una capa, independientemente de si se trata de una entrada de la red o la salida de otra capa.
Regla de aprendizaje de Widrow-Hoff: Una regla de aprendizaje utilizada para entrenar redes lineales de una sola capa. Esta regla precede a la regla de retropropagación y a veces se hace referencia a ella como la "regla delta".