Was ist ein Optimierer?
Unterschied zu anderen Optimierern?
Beispiel
Ein Algorithmus, der den total loss/ empir.risk minimiert. Also der das Netzwerk trainiert. Definieren die Maschinen, also tragen manchmal zum Generalisieren bei.
Parametrische Funktion, Datenset, Fehlerfunktion –> findet Parameter Teta, sodass der durchschnittliche Fehler im Datenset minimiert ist.
der Optimierer beschränkt auch den Lösungsraum und trägt dadurch auch zur Generalisierung bei.
Unterschied zu anderen Optimierern –> Differenzierbare Funktionen! wir können die Ableitung berechnen (für das Beispiel können wir das lokale Minimum dadurch finden)
2. Ableitung würde seeeehr lange dauern zu berechnen (mit vielen Parametern)–> man könnte das Ergebnis annähern für höhere Dimensionen.
Loss Landscape
Schritte, wie Optimierer in neuronalen Netzwerken angewendet werden, um das Netzwerk zu trainieren.
- eine differenzierbare Fehler-Funktion definieren, die uns sagt, wie gut die aktuelle Lösung ist. |Vorhersage - Label| und Vorhersage ist die parametrische Funktion fTeta(x)
- mit einem zufälligen Vektor (meistens zwischen -1,0,1 –> kommt auf die Aktivierungsfunktion drauf an) für Teta (Parameter) starten
- einen Optimierer wählen, um einen Paramtervektor Teta mit einem kleinen Fehler zu finden —> wiederholend
die Entscheidung von einem Parameter verbessern
