Renyi-Entropie

In der Informationstheorie ist die Rényi-Entropie (benannt nach Alfréd Rényi) eine Verallgemeinerung der Shannon-Entropie. Die Rényi-Entropie gehört zu der Familie von Funktionen, die zum Quantifizieren der Mannigfaltigkeit, Ungewissheit oder Zufälligkeit eines Systems dienen.

Die Rényi-Entropie ist von der Größenordnung α, wobei α > 0, sie ist definiert als:

$H_\alpha(X) = \frac{1}{1-\alpha}\log\Bigg(\sum_{i=1}^n p_i^\alpha\Bigg)$

wobei p_i die Wahrscheinlichkeiten von {x₁, x₂ ... x_n}. Wenn die Wahrscheinlichkeiten alle identisch sind, dann sind alle Rényi-Entropien der Verteilungen gleich, mit H_α(X)=log n. Andernfalls sind die Entropien monoton fallend als eine Funktion von α.

Hier einige Einzelfälle:

$H_0 (X) = \log n = \log |X|,\,$

welche der Logarithmus der Mächtigkeit von X ist, der manchmal auch die „Hartley-Entropie“ von X genannt wird.

Nähert sich die Grenze von α gegen 1 (L’Hôpital) so ergibt sich:

$H_1 (X) = - \sum_{i=1}^n p_i \log p_i$

das der „Shannon-Entropie/Informationsentropie“ entspricht.

Weiter

$H_2 (X) = - \log \sum_{i=1}^n p_i^2$

das der „Korrelationsentropie“ entspricht.

$H_\infty (X) = - \log \sup_{i=1..n} p_i$

Die Rényi-Entropien sind in der Ökologie und Statistik als Indizes der Vielfältigkeit wichtig. Sie führen auch zu einem Spektrum von Indizes der Fraktalen Dimension.