Rényi-Entropie

Rényi-Entropie

In der Informationstheorie ist die Rényi-Entropie (benannt nach Alfréd Rényi) eine Verallgemeinerung der Shannon-Entropie. Die Rényi-Entropie gehört zu der Familie von Funktionen, die zum Quantifizieren der Mannigfaltigkeit, Ungewissheit oder Zufälligkeit eines Systems dienen.

Die Rényi-Entropie der Ordnung α, wobei α > 0, ist definiert als:

H_\alpha(X) = \frac{1}{1-\alpha}\log_2\Bigg(\sum_{i=1}^n p_i^\alpha\Bigg)

Hierbei ist X eine Zufallsvariable mit Wertebereich {x1, x2 ... xn} und pi die Wahrscheinlichkeit, dass X=xi. Wenn die Wahrscheinlichkeiten pi alle gleich sind, dann ist Hα(X)=log2 n, unabhängig von α. Andernfalls sind die Entropien monoton fallend als eine Funktion von α.

Hier einige Einzelfälle:

H_0 (X) = \log_2 n = \log_2 |X|,\,

welche der Logarithmus der Mächtigkeit von X ist, der manchmal auch die „Hartley-Entropie“ von X genannt wird.

Nähert sich die Grenze von α gegen 1 (L’Hôpital) so ergibt sich:

H_1 (X) = - \sum_{i=1}^n p_i \log_2 p_i

das der „Shannon-Entropie/Informationsentropie“ entspricht.

Weiter

H_2 (X) = - \log_2 \sum_{i=1}^n p_i^2

das der „Korrelationsentropie“ entspricht. Der Grenzwert von Hα für \alpha \rightarrow \infty ist

H_\infty (X) = - \log_2 \sup_{i=1..n} p_i

und wird auch Min-Entropie genannt, da es der kleinste Wert von Hα ist.

Die Rényi-Entropien sind in der Ökologie und Statistik als Indizes der Vielfältigkeit wichtig. Sie führen auch zu einem Spektrum von Indizes der Fraktalen Dimension.


Wikimedia Foundation.

Игры ⚽ Нужен реферат?

Schlagen Sie auch in anderen Wörterbüchern nach:

  • Renyi-Entropie — In der Informationstheorie ist die Rényi Entropie (benannt nach Alfréd Rényi) eine Verallgemeinerung der Shannon Entropie. Die Rényi Entropie gehört zu der Familie von Funktionen, die zum Quantifizieren der Mannigfaltigkeit, Ungewissheit oder… …   Deutsch Wikipedia

  • Entropie De Shannon — L entropie de Shannon, due à Claude Shannon, est une fonction mathématique qui, intuitivement, correspond à la quantité d information contenue ou délivrée par une source d information. Cette source peut être un texte écrit dans une langue donnée …   Wikipédia en Français

  • Entropie de shannon — L entropie de Shannon, due à Claude Shannon, est une fonction mathématique qui, intuitivement, correspond à la quantité d information contenue ou délivrée par une source d information. Cette source peut être un texte écrit dans une langue donnée …   Wikipédia en Français

  • Rényi — Alfréd Rényi. Alfréd Rényi [ˈɒlfreːd ˈreːɲi] (* 20. März 1921 in Budapest; † 1. Februar 1970 ebenda) war ein ungarischer Mathematiker. Rényi war Mathematiker und lehrte als Professor und war Mitglied der Ungarischen Akademie der …   Deutsch Wikipedia

  • Entropie de Shannon — L entropie de Shannon, due à Claude Shannon, est une fonction mathématique qui, intuitivement, correspond à la quantité d information contenue ou délivrée par une source d information. Cette source peut être un texte écrit dans une langue donnée …   Wikipédia en Français

  • Entropie — Der Begriff Entropie (griechisches Kunstwort εντροπία [entropía], von εν [en ] – ein , in und τροπή [tropē] – Wendung, Umwandlung) steht für: Mathematik Entropieschätzung, verschiedene Methoden zur statistischen Schätzung der Shannon Entropie auf …   Deutsch Wikipedia

  • Entropie De Rényi — L entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d information contenue dans la probabilité de collision d une variable aléatoire. Définition formelle L entropie de Rényi d une variable aléatoire …   Wikipédia en Français

  • Entropie de Renyi — Entropie de Rényi L entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d information contenue dans la probabilité de collision d une variable aléatoire. Définition formelle L entropie de Rényi d une… …   Wikipédia en Français

  • Entropie de rényi — L entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d information contenue dans la probabilité de collision d une variable aléatoire. Définition formelle L entropie de Rényi d une variable aléatoire …   Wikipédia en Français

  • Entropie (Homonymie) — Cette page d’homonymie répertorie les différents sujets et articles partageant un même nom …   Wikipédia en Français

Share the article and excerpts

Direct link
Do a right-click on the link above
and select “Copy Link”