Regularization

Question 1

Regolarizzazione e overfitting

Answer 1

• La regolarizzazione serve a tenere i parametri più regolari
• Evita l’overfitting
• Generalmente non vogliamo grandi pesi, piccoli cambiamenti nella feature risulta in grandi cambiamenti nella predizione
• Vorremmo avere certi pesi a 0, delle feature non importanti

Question 2

Differenza tra L1 e L2, a cosa serve regolarizzare?

Answer 2

• L1 è il più popolare perché tende ad avere soluzioni più sparse(molti pesi a 0). Non è differenziabile. Form diamante
• L2 popolare per alcune loss function. Può essere risolta direttamente senza il GD Forma Cerchio
• Lp meno popolare perché non riduce i pesi abbastanza

Question 3

p-norm

Answer 3

• Valori piccoli di p (p<2) incoraggiano vettori sparsi(penalizzano valori bassi)
• Valori grandi scoraggiano di più grandi pesi