L1和L2正則化優(yōu)化的區(qū)別
來源:懂視網(wǎng)
責(zé)編:小采
時(shí)間:2020-11-19 06:23:38
L1和L2正則化優(yōu)化的區(qū)別
L1是模型各個(gè)參數(shù)的絕對值之和。L2是模型各個(gè)參數(shù)的平方和的開方值。L1會趨向于產(chǎn)生少量的特征,而其他的特征都是0,因?yàn)樽顑?yōu)的參數(shù)值很大概率出現(xiàn)在坐標(biāo)軸上,這樣就會導(dǎo)致某一維的權(quán)重為0,產(chǎn)生稀疏權(quán)重矩陣。L2會選擇更多的特征,這些特征都會接近于0。
導(dǎo)讀L1是模型各個(gè)參數(shù)的絕對值之和。L2是模型各個(gè)參數(shù)的平方和的開方值。L1會趨向于產(chǎn)生少量的特征,而其他的特征都是0,因?yàn)樽顑?yōu)的參數(shù)值很大概率出現(xiàn)在坐標(biāo)軸上,這樣就會導(dǎo)致某一維的權(quán)重為0,產(chǎn)生稀疏權(quán)重矩陣。L2會選擇更多的特征,這些特征都會接近于0。
l1和l2正則化的區(qū)別是:
1、L1是模型各個(gè)參數(shù)的絕對值之和。L2是模型各個(gè)參數(shù)的平方和的開方值。
2、L1會趨向于產(chǎn)生少量的特征,而其他的特征都是0,因?yàn)樽顑?yōu)的參數(shù)值很大概率出現(xiàn)在坐標(biāo)軸上,這樣就會導(dǎo)致某一維的權(quán)重為0 ,產(chǎn)生稀疏權(quán)重矩陣。L2會選擇更多的特征,這些特征都會接近于0。
3、最優(yōu)的參數(shù)值很小概率出現(xiàn)在坐標(biāo)軸上,因此每一維的參數(shù)都不會是0。當(dāng)最小化||w||時(shí),就會使每一項(xiàng)趨近于0。
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com
L1和L2正則化優(yōu)化的區(qū)別
L1是模型各個(gè)參數(shù)的絕對值之和。L2是模型各個(gè)參數(shù)的平方和的開方值。L1會趨向于產(chǎn)生少量的特征,而其他的特征都是0,因?yàn)樽顑?yōu)的參數(shù)值很大概率出現(xiàn)在坐標(biāo)軸上,這樣就會導(dǎo)致某一維的權(quán)重為0,產(chǎn)生稀疏權(quán)重矩陣。L2會選擇更多的特征,這些特征都會接近于0。