Aktivierungsfunktion
Es handelt sich um einen Begriff im Kontext der neuronalen Netze. Die Aktivierungsfunktion eines Neurons ist eine Funktion, die den Output des Nodes basierend auf dessen Inputs und Gewichten berechnet.
Es kommen verschiedene Aktivierungsfunktionen in Betracht:
Heaviside-Funktion
Die Heaviside-Funktion verwandelt eine beliebige X-Achsenkoordinate in eine y-Achsenkoordinate zwischen 0 und 1.
Sigmoid-Funktionen
Eine Sigmoidfunktion ist eine mathematische Funktion mit einem S-förmigen Graphen. Sie hat typischerweise folgende Eigenschaften:
- Sie ist monoton steigend.
- Sie hat zwei Asymptoten.
Logistische Funktion
Die logistische Funktion ist die populärste Sigmoid-Funktion. Oft wird der Begriff Sigmoid-Funktion verwendet, wenn der Spezialfall der logistischen Funktion gemeint ist.
Die logistische Funktion verwandelt eine beliebige X-Achsenkoordinate in eine y-Achsenkoordinate zwischen 0 und 1.
0 kann als "nicht aktiviert" interpretiert werden und 1 als "aktiviert".
Nahe dem Eingabewert 0 ist der Ausgabewert bei 0,5. Indem dem Eingabewert ein Bias (von etwa +3 oder -3) zugeordnet wird, kann die Aktivierung erleichtert (+3) oder erschwert (-3) werden. Der Bias eines Neurons zeigt also an, ob es tendenziell eher aktiv oder inaktiv ist.
$\sigma (x) = \dfrac{1}{1+e^{-x}}$
TanH-Funktion (Tangens hyperbolicus)
Verwandelt eine beliebige X-Achsenkoordinate in eine y-Achsenkoordinate zwischen -1 und 1.
ReLU-Funktion
Softplus-Funktion
Dosage Beispiel (YouTube StatQuest)
Die Aktivierungsfunktion verstehen lernen
Es gibt nur einen Eingabewert Dosage. Dieser liegt zwischen 0 und 1.
Aus der mit -34,4 gewichteten Summe des Eingabewerts plus dem Bias 2,14 ergibt sich für die Eingabewerte von 0 bis 1 für das erste Hidden-Node ein Wertebereich der Ausgabe von -32,26 bis 2,14
Aus der mit -2,52 gewichteten Summe des Eingabewerts plus dem Bias 1,29 ergibt sich für die Eingabewerte von 0 bis 1 für das erste Hidden-Node ein Wertebereich der Ausgabe von -1,23 bis 1,29