Gradient descent

Question 1

Hva er hovedmålet med gradient descent?

Answer 1

Å finne minimum til en funksjon ved å bevege seg trinnvis i retning av den negative gradienten.

Question 2

Hva representerer gradienten i gradient descent?

Answer 2

Hellingen eller den bratteste retningen oppover for funksjonen i et punkt.

Question 3

Hvorfor går vi i negativ gradient-retning?

Answer 3

Fordi gradienten peker oppover, mens den negative gradienten peker nedover mot minimum.

Question 4

Hva skjer hvis læringsraten er for stor?

Answer 4

Algoritmen kan hoppe forbi minimum og aldri konvergere.

Question 5

Hva skjer hvis læringsraten er for liten?

Answer 5

Algoritmen går veldig sakte og trenger mange steg for å nå minimum.

Question 6

Hva er forskjellen på batch, stochastic og mini-batch gradient descent?

Answer 6

• Batch: bruker hele datasettet for hvert steg.
  
  • Stochastic (SGD): bruker ett datapunkt for hvert steg.
  • Mini-batch: bruker en liten gruppe datapunkter for hvert steg

Question 7

Hvorfor blir stegene mindre når vi nærmer oss minimum?

Answer 7

Fordi gradienten (hellingen) nærmer seg null.

Question 8

Hva er gradienten i én dimensjon?

Answer 8

Da er gradienten det samme som den deriverte f’(x), altså hellingen i et punkt.

Question 9

Hva er gradienten i flere dimensjoner?

Answer 9

Question 10

Hva betyr gradienten geometrisk i flere dimensjoner?

Answer 10

Den peker i retningen der funksjonen øker mest (bratteste oppoverbakke).

Question 11

Hvorfor bruker gradient descent negativ gradient?

Answer 11

Fordi vi vil gå nedover mot minimum, ikke oppover.

Question 12

Answer 12

Question 13

Answer 13

Question 14

Hva er hyperparametere?

Answer 14

Hyperparametere er parametere som definerer læringsprosessen, men ikke modellen.