Gradient Descent

Question 1

Gradient descent, update di gradient descent, update rule with loss

Answer 1

• Scegliere una dimensione
• Spostarsi di una piccola quantità in quella dimensione verso la riduzione della loss (usando la derivata)
• Ripetere finché la loss non si riduce più in nessuna dimensione

Question 2

cos’è il momentum? quanti parametri ci sono in più rispetto allo stndard SGD? perchè è migliorativo rispetto a standard SGD

Answer 2

• Viene introdotta una nuova variabile velocity
• La velocità è una media mobile esponenzialmente decrescente del gradiente negativo
• Aumenta la velocità di convergenza

Question 3

Perchè SGD è “Stocastico”?

Answer 3

• La SGD affronta il problema della valutazione costosa approssimando il gradiente dell’intera somma, valutandolo solo in un sottoinsieme casuale degli addendi ad ogni iterazione

Question 4

aggiornamento del perceptron vs Gradient Descent

Answer 4

• Per il GD aggiorniamo sempre i parametri, non solo quando sbaglia