leakyrelu

Aplicar la activación de unidad lineal rectificada con fugas

Sintaxis

Y = leakyrelu(X)

Y = leakyrelu(X,scaleFactor)

Descripción

La operación de activación de unidad lineal rectificada (ReLU) con fugas lleva a cabo una operación de umbral no lineal en la que cualquier valor de entrada inferior a cero se multiplica por un factor de escala fijo.

Esta operación es equivalente a

$$f(x)=\{\begin{array}{ll}x,\hfill & x\ge 0\hfill \\ scale*x,\hfill & x<0\hfill \end{array}.$$

Nota

Esta función aplica la operación ReLU con fugas a los datos de objetos dlarray. Si desea aplicar la activación ReLU con fugas dentro de un objeto dlnetwork, use leakyReluLayer.

Y = leakyrelu(X) calcula la activación ReLU con fugas de la entrada X aplicando una operación de umbral. Todos los valores de X inferiores a cero se multiplican por un factor de escala predeterminado de 0.01.

Y = leakyrelu(X,scaleFactor) especifica el factor de escala para la operación ReLU con fugas.

Ejemplos

Aplicar la operación ReLU con fugas

Cree un objeto dlarray con formato que contenga un lote de 128 imágenes de 28 por 28 con 3 canales. Especifique el formato 'SSCB' (espacial, espacial, canal, lote).

miniBatchSize = 128;
inputSize = [28 28];
numChannels = 3;
X = rand(inputSize(1),inputSize(2),numChannels,miniBatchSize);
X = dlarray(X,"SSCB");

Visualice el tamaño y el formato de los datos de entrada.

size(X)

ans = 1×4

    28    28     3   128

dims(X)

ans = 
'SSCB'

Aplique la operación ReLU con fugas utilizando la función leakyrelu.

Y = leakyrelu(X);

Visualice el tamaño y el formato de la salida.

size(Y)

ans = 1×4

    28    28     3   128

dims(Y)

ans = 
'SSCB'

Especificar una escala ReLU con fugas

Cree un objeto dlarray con formato que contenga un lote de 128 imágenes de 28 por 28 con 3 canales. Especifique el formato 'SSCB' (espacial, espacial, canal, lote).

miniBatchSize = 128;
inputSize = [28 28];
numChannels = 3;
X = rand(inputSize(1),inputSize(2),numChannels,miniBatchSize);
X = dlarray(X,"SSCB");

Visualice el tamaño y el formato de los datos de entrada.

size(X)

ans = 1×4

    28    28     3   128

dims(X)

ans = 
'SSCB'

Aplique la operación ReLU con fugas utilizando la función leakyrelu y especifique una escala de 0.5.

Y = leakyrelu(X,0.5);

Visualice el tamaño y el formato de la salida.

size(Y)

ans = 1×4

    28    28     3   128

dims(Y)

ans = 
'SSCB'

Argumentos de entrada

X — Datos de entrada

objeto dlarray

Datos de entrada, especificados como un objeto dlarray con o sin formato.

scaleFactor — Factor de escala para entradas negativas

0.01 (predeterminado) | Escalar numérico

Factor de escala para entradas negativas, especificado como escalar numérico. El valor predeterminado es 0.01.

Tipos de datos: single | double

Argumentos de salida

Y — Activaciones ReLU con fugas

dlarray

Activaciones ReLU con fugas, devueltas como un objeto dlarray. La salida Y contiene el mismo tipo de datos subyacentes que la entrada X.

Si los datos de entrada de X son un objeto dlarray con formato, Y tiene el mismo formato de dimensión que X. Si los datos de entrada no son un objeto dlarray con formato, Y es un objeto dlarray sin formato con el mismo orden de dimensiones que los datos de entrada.

Capacidades ampliadas

Generación de código C/C++

Genere código C y C++ mediante MATLAB® Coder™.

Notas y limitaciones de uso:

• scaleFactor debe ser una constante durante la generación de código.

Generación de código de GPU

Genere código CUDA® para GPU NVIDIA® mediante GPU Coder™.

Consulte las notas de uso y las limitaciones de la sección Generación de código C/C++. Las mismas limitaciones se aplican a la generación de código GPU.

Arreglos GPU

Acelere código mediante la ejecución en una unidad de procesamiento gráfico (GPU) mediante Parallel Computing Toolbox™.

La función leakyrelu es compatible con entradas de arreglos de GPU con estas notas y limitaciones de uso:

• Cuando el argumento de entrada X es un arreglo gpuArray o dlarray con datos subyacentes de tipo gpuArray, esta función se ejecuta en la GPU.

Para obtener más información, consulte Run MATLAB Functions on a GPU (Parallel Computing Toolbox).

Historial de versiones

Introducido en R2019b

Consulte también

dlarray | dlconv | batchnorm | relu | gelu | dlgradient | dlfeval

Temas

• Define Custom Training Loops, Loss Functions, and Networks
• Train Network Using Model Function
• List of Functions with dlarray Support