Esta página aún no se ha traducido para esta versión. Puede ver la versión más reciente de esta página en inglés.

Lasso y elastic net

¿Qué son Lasso y elastic net?

Lasso es una técnica de regularización. Utilizar para:lasso

• Reduzca el número de predictores en un modelo de regresión.

• Identifique los predictores importantes.

• Seleccione entre los predictores redundantes.

• Produzca estimaciones de contracción con errores predictivos potencialmente más bajos que los mínimos cuadrados ordinarios.

La red elástica es una técnica relacionada. Utilice la red elástica cuando tenga varias variables altamente correlacionadas. proporciona una regularización neta elástica al establecer el par nombre-valor en un número estrictamente entre y.lassoAlpha01

Ver.Detalles de lazo y elastic net

Para la regularización de lazo de conjuntos de regresión, consulte regularize.

Detalles de lazo y elastic net

Descripción general de Lasso y elastic net

Lasso es una técnica de regularización para realizar la regresión lineal. Lasso incluye un término de penalización que restringe el tamaño de los coeficientes estimados. Por lo tanto, se asemeja.regresión de cresta Lasso es un: genera estimaciones de coeficiente que son tendenciosas para ser pequeñas.estimador de contracción Sin embargo, un estimador de lazo puede tener un error cuadrado medio más pequeño que un estimador de mínimos cuadrados ordinario cuando se aplica a nuevos datos.

A diferencia de la regresión de cresta, como el término de penalización aumenta, el lazo establece más coeficientes a cero. Esto significa que el estimador de lazo es un modelo más pequeño, con menos predictores. Como tal, el lazo es una alternativa a y otras técnicas de selección de modelo y reducción de dimensionalidad.regresión escalonado

La red elástica es una técnica relacionada. La red elástica es un híbrido de regresión de cresta y regularización de lazo. Al igual que el lazo, la red elástica puede generar modelos reducidos generando coeficientes de valor cero. Los estudios empíricos han sugerido que la técnica de la red elástica puede superar el lazo en los datos con predictores altamente correlacionados.

Definición de lazo

La técnica resuelve este problema de regularización.Lazo Para un valor dado de, un parámetro no negativo, resuelve el problemaλLazo

$$\underset{{\beta }_0,\beta }{\min }\left(\frac{1}{2N}{\displaystyle \sum _{i=1}^N{\left(y_i-{\beta }_0-x_i^T\beta \right)}^2}+\lambda {\displaystyle \sum _{j=1}^p\left|{\beta }_j\right|}\right).$$

• es el número de observaciones.N

• y_i es la respuesta en la observación.i

• X_i es datos, un vector de valores en observación.pi

• es un parámetro de regularización positivo correspondiente a un valor de.λLambda

• Los parámetrosβ₀ y son escalar y-Vector respectivamente.βp

Como aumentos, el número de componentes distintos de cero de disminuciones.λβ

El problema del lazo involucra elL¹ norma de, como contrastada con el algoritmo de red elástica.β

Definición de Elastic net

La técnica resuelve este problema de regularización.red elástica Para un estricto entre 0 y 1, y una red elástica no negativa resuelve el problemaαλ

$$\underset{{\beta }_0,\beta }{\min }\left(\frac{1}{2N}{\displaystyle \sum _{i=1}^N{\left(y_i-{\beta }_0-x_i^T\beta \right)}^2}+\lambda P_{\alpha }\left(\beta \right)\right),$$

Dónde

$$P_{\alpha }\left(\beta \right)=\frac{(1-\alpha )}{2}{\Vert \beta \Vert }_2^2+\alpha {\Vert \beta \Vert }_1={\displaystyle \sum _{j=1}^p\left(\frac{(1-\alpha )}{2}{\beta }_j^2+\alpha \left|{\beta }_j\right|\right)}.$$

La red elástica es igual que el lazo cuando = 1.α Como encoge hacia 0, la red elástica se aproxima a la regresión.αridge Para otros valores, el plazo de penalizaciónα P_α() interpolar entre elβL¹ norma de y el cuadradoβL² norma de.β

Referencias

[1] Tibshirani, R. Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society, Series B, Vol 58, No. 1, pp. 267–288, 1996.

[2] Zou, H. and T. Hastie. Regularization and variable selection via the elastic net. Journal of the Royal Statistical Society, Series B, Vol. 67, No. 2, pp. 301–320, 2005.

[3] Friedman, J., R. Tibshirani, and T. Hastie. Regularization paths for generalized linear models via coordinate descent. Journal of Statistical Software, Vol 33, No. 1, 2010. https://www.jstatsoft.org/v33/i01

[4] Hastie, T., R. Tibshirani, and J. Friedman. The Elements of Statistical Learning, 2nd edition. Springer, New York, 2008.