Verlustfunktion

Eine Verlustfunktion (engl. loss function) ist eine spezielle Funktion in der mathematischen Statistik und Teil eines statistischen Entscheidungsproblemes. Sie ordnet jeder Entscheidung in Form einer Punktschätzung, einer Bereichsschätzung oder eines Tests den Schaden zu, der durch eine vom wahren Parameter abweichende Entscheidung entsteht.

Kreuzentropie

Die Kreuzentropie-Funktion hat eine steil abfallende Kurve für schlechte Werte (nahe 0). Sie hilft so als Verlustfunktion einen großen Schritt in die Richtung einer besseren Vorhersage zu gehen. Damit ist sie besser geeignet als Squared Residuals.