Regularizarea pentru simplitate: L₂ Regularizarea L₂

Considerați următoarea curbă de generalizare, care arată pierderea atât pentru setul de instruire cât și pentru setul de validare în funcție de numărul de iterații de instruire.

Figura 1. Pierderea pe setul de instruire și pe setul de validare.

Figura 1 prezintă un model în care pierderea la instruire scade treptat,dar pierderea la validare crește în cele din urmă. Cu alte cuvinte, această curbă de generalizare arată că modelul este supraadaptat la datele din setul de antrenament. Canalizându-ne pe Ockham din interior, poate că am putea preveni supraadaptarea prin penalizarea modelelor complexe, un principiu numit regularizare.

Cu alte cuvinte, în loc să urmărim pur și simplu minimizarea pierderii (minimizarea riscului empiric):

va trebui acum să minimizăm pierderea+complexitatea, ceea ce se numește minimizarea riscului structural:

Argitmul nostru de optimizare a instruirii este acum o funcție de doi termeni: termenul de pierdere, care măsoară cât de bine se potrivește modelul la date, și termenul de regularizare, care măsoară complexitatea modelului.

Machine Learning Crash Course se concentrează pe două moduri comune (și oarecum legate) de a gândi complexitatea modelului:

• Complexitatea modelului ca funcție a ponderilor tuturor caracteristicilor din model.
• Complexitatea modelului ca funcție a numărului total de caracteristici cu ponderi diferite de zero. (Un modul ulterior acoperă această abordare.)

Dacă complexitatea modelului este o funcție a ponderilor, o caracteristică cu o valoare absolută mare este mai complexă decât o caracteristică cu o valoare absolută mică.

Putem cuantifica complexitatea folosind formula de regularizare L2, care definește termenul de regularizare ca fiind suma pătratelor tuturor ponderilor caracteristicilor:

În această formulă, ponderile apropiate de zero au un efect redus asupracomplexității modelului, în timp ce ponderile aberante pot avea un impact uriaș.

De exemplu, un model liniar cu următoarele ponderi: