leakyReluLayer

Capa de unidad lineal rectificada (ReLU) con fugas

Descripción

Una capa de unidad lineal rectificada (ReLU) con fugas lleva a cabo una operación de umbral, en la que cualquier valor de entrada inferior a cero se multiplica por un escalar fijo.

Esta operación es equivalente a:

$$f(x)=\{\begin{array}{ll}x,\hfill & x\ge 0\hfill \\ scale*x,\hfill & x<0\hfill \end{array}.$$

Creación

Sintaxis

layer = leakyReluLayer

layer = leakyReluLayer(scale)

layer = leakyReluLayer(___,'Name',Name)

Descripción

layer = leakyReluLayer devuelve una capa ReLU con fugas.

layer = leakyReluLayer(scale) devuelve una capa ReLU con fugas con un escalar multiplicador para valores de entrada negativos iguales a scale.

layer = leakyReluLayer(___,'Name',Name) devuelve una capa ReLU con fugas y establece la propiedad opcional Name.

Propiedades

ReLU con fugas

Scale — Escalar multiplicador para valores de entrada negativos

0.01 (predeterminado) | escalar real finito

Escalar multiplicador para valores de entrada negativos, especificado como un escalar real finito.

Ejemplo: 0.4

Capa

Name — Nombre de la capa

'' (predeterminado) | vector de caracteres | escalar de cadena

Nombre de la capa, especificado como un vector de caracteres o un escalar de cadena. Para entradas en forma de arreglo Layer, las funciones trainnet y dlnetwork asignan automáticamente nombres a las capas sin nombre.

El objeto LeakyReLULayer almacena esta propiedad como un vector de caracteres.

Tipos de datos: char | string

NumInputs — Número de entradas

Solo lectura: 1 (predeterminado)

Esta propiedad o parámetro es de solo lectura.

Número de entradas a la capa, almacenado como 1. Esta capa solo admite una entrada.

Tipos de datos: double

InputNames — Nombres de las entradas

Solo lectura: {'in'} (predeterminado)

Esta propiedad o parámetro es de solo lectura.

Nombres de entrada, almacenados como {'in'}. Esta capa solo admite una entrada.

Tipos de datos: cell

NumOutputs — Número de salidas

Solo lectura: 1 (predeterminado)

Esta propiedad o parámetro es de solo lectura.

Número de salidas de la capa, almacenado como 1. Esta capa solo tiene una salida.

Tipos de datos: double

OutputNames — Nombres de salida

Solo lectura: {'out'} (predeterminado)

Esta propiedad o parámetro es de solo lectura.

Nombres de salida, almacenados como {'out'}. Esta capa solo tiene una salida.

Tipos de datos: cell

Ejemplos

Crear una capa ReLU con fugas

Cree una capa ReLU con fugas con el nombre 'leaky1' y un escalar multiplicador para valores de entrada negativos igual a 0.1.

layer = leakyReluLayer(0.1,'Name','leaky1')

layer = 
  LeakyReLULayer with properties:

     Name: 'leaky1'

   Hyperparameters
    Scale: 0.1000

Incluya una capa ReLU con fugas en un arreglo Layer.

layers = [
    imageInputLayer([28 28 1])
    convolution2dLayer(3,16)
    batchNormalizationLayer
    leakyReluLayer
    
    maxPooling2dLayer(2,'Stride',2)
    convolution2dLayer(3,32)
    batchNormalizationLayer
    leakyReluLayer
    
    fullyConnectedLayer(10)
    softmaxLayer]

layers = 
  10×1 Layer array with layers:

     1   ''   Image Input           28×28×1 images with 'zerocenter' normalization
     2   ''   2-D Convolution       16 3×3 convolutions with stride [1  1] and padding [0  0  0  0]
     3   ''   Batch Normalization   Batch normalization
     4   ''   Leaky ReLU            Leaky ReLU with scale 0.01
     5   ''   2-D Max Pooling       2×2 max pooling with stride [2  2] and padding [0  0  0  0]
     6   ''   2-D Convolution       32 3×3 convolutions with stride [1  1] and padding [0  0  0  0]
     7   ''   Batch Normalization   Batch normalization
     8   ''   Leaky ReLU            Leaky ReLU with scale 0.01
     9   ''   Fully Connected       10 fully connected layer
    10   ''   Softmax               softmax

Algoritmos

Formatos de entrada y salida de capa

Las capas en un arreglo de capas o en una gráfica de capas pasan datos a las capas posteriores como objetos dlarray con formato. El formato de un objeto dlarray es una cadena de caracteres, en la que cada carácter describe la dimensión correspondiente de los datos. El formato consta de uno o más de estos caracteres:

• "S": espacial

• "C": canal

• "B": lote

• "T": tiempo

• "U": sin especificar

Por ejemplo, puede describir los datos de imagen 2D que están representados como arreglo 4D, donde las dos primeras dimensiones corresponden a las dimensiones espaciales de las imágenes, la tercera dimensión corresponde a los canales de las imágenes y la cuarta dimensión corresponde a la dimensión de lote, como datos con formato "SSCB" (espacial, espacial, canal, lote).

Los objetos LeakyReLULayer aplican una operación por elemento y admiten datos de entrada con cualquier formato. La capa no añade ni elimina ninguna dimensión, por lo que genera datos con el mismo formato que sus datos de entrada.

Referencias

[1] Maas, Andrew L., Awni Y. Hannun, and Andrew Y. Ng. "Rectifier nonlinearities improve neural network acoustic models." In Proc. ICML, vol. 30, no. 1. 2013.

Capacidades ampliadas

Generación de código C/C++
Genere código C y C++ mediante MATLAB® Coder™.

Generación de código de GPU
Genere código CUDA® para GPU NVIDIA® mediante GPU Coder™.

Historial de versiones

Introducido en R2017b

Consulte también

trainnet | trainingOptions | preluLayer | dlnetwork | reluLayer | clippedReluLayer | swishLayer | exportNetworkToSimulink | Leaky ReLU Layer

Temas

• Crear una red neuronal de deep learning sencilla para clasificación
• Entrenar una red neuronal convolucional para regresión
• Deep learning en MATLAB
• Compare Activation Layers
• Lista de capas de deep learning