Entropie

Entropie ist in der Informationstheorie:

• die durchschnittliche Anzahl von Entscheidungen (bits), die benötigt werden, um ein Zeichen aus einer Zeichenmenge zu identifizieren

Entropie 0 bedeutet, dass ich 0 Informationseinheiten benötige, um zu wissen, was das Ergebnis war.

Beispiel Münzwurf

Die Münzwurfergebnisverteilung hat eine Entropie von 1 bit. Wir können durch Angabe von 0 oder 1 einer anderen Person, mit der wir zuvor vereinbart haben, dass 0 für Zahl und 1 für Kopf steht, mitteilen was das Ergebnis war.

Beispiel Würfel

Bei gleichverteilten Wahrscheinlichkeiten werden durchschnittlich immer log2(Anzahl der Zeichen) bits benötigt. Ein Würfel hat eine Zeichenmenge von 6 Zeichen. Wenn Ergebnisse von Würfelwürfen vorgelegt werden, werden durchschnittlich 2,585 bits benötigt um das Ergebnis zu identifzieren.

Natürlich können bei einer einzelnen Beobachtung nicht 2,585 bits verwendet werden. Es müssen 3 bits sein. Wenn man aber drei Beobachtungen kombiniert, würden 8 bit ausreichen. Denn 8 bit ermöglichen 256 Unterscheidungen ermöglichen und 6^3 = 216 liegt darunter. Im Schnitt wären dann bereits nur noch 8/3 = 2,6667 bits erforderlich.

Entropie wird üblicherweise mit einem großen Eta ($H$) bezeichnet.

$Entropy = \sum log({1 \over p(x)}) \cdot p(x) $

$Entropy = \sum p(x) \cdot log({1 \over p(x)})$

$Entropy = \sum p(x) \cdot [log(1) - log(p(x)]$

$Entropy = \sum p(x) \cdot [0 - log(p(x)]$

$Entropy = \sum -p(x) \cdot log(p(x)$

$Entropy = -\sum p(x) \cdot log(p(x)$

siehe auch Verlustfunktion