Rényi-Entropie
aus Wikipedia, der freien Enzyklopädie
In der Informationstheorie ist die Rényi-Entropie (benannt nach Alfréd Rényi) eine Verallgemeinerung der Shannon-Entropie. Die Rényi-Entropie gehört zu der Familie von Funktionen, die zum Quantifizieren der Mannigfaltigkeit, Ungewissheit oder Zufälligkeit eines Systems dienen.
Die Rényi-Entropie ist von der Größenordnung α, wobei α > 0, sie ist definiert als:
wobei pi die Wahrscheinlichkeiten von {x1, x2 ... xn}. Wenn die Wahrscheinlichkeiten alle identisch sind, dann sind alle Rényi-Entropien der Verteilungen gleich, mit Hα(X)=log n. Andernfalls sind die Entropien nichtabfallend als eine Funktion von α.
Hier einige Einzelfälle:
welche der Logarithmus der Mächtigkeit von X ist, der manchmal auch die „Hartley-Entropie“ von X genannt wird.
Nähert sich die Grenze von α gegen 1 (L’Hôpital) so ergibt sich:
das der „Shannon-Entropie/Informationsentropie“ entspricht.
Weiter
das der „Korrelationsentropie“ entspricht.
Die Rényi-Entropien sind in der Ökologie und Statistik als Indizes der Vielfältigkeit wichtig. Sie führen auch zu einem Spektrum von Indizes der Fraktalen Dimension.
