Kreuzentropie

Die Kreuzentropie ist in der Informationstheorie ein Maß für die Qualität eines Modells einer Wahrscheinlichkeitsverteilung.

Für eine Zufallsvariable X, die der Verteilung p folgt und eine zweite Verteilung q desselben Ereignishorizonts ist die Kreuzentropie folgendermaßen definiert:

$H(X, p, q) = H(X) + D(p \Vert q)$.

Hierbei bezeichnet H(X) die Entropie von X und $D(p \| q)$ die Kullback-Leibler-Divergenz.

In der praktischen Anwendung ist q meist eine Annäherung an eine unbekannte Verteilung p. Zwar hat die Kreuzentropie eine ähnliche Aussagekraft wie die Kullback-Leibler-Divergenz. Die Kreuzentropie lässt sich jedoch unter bestimmten Umständen ohne p berechnen – bei unbekanntem p sehr vorteilhaft.

Eng verwandt mit der Kreuzentropie ist die Perplexität, die bei gleicher Aussagekraft u. U. anschaulichere Zahlenwerte liefert.