Bit (Informationstheorie)

Die Artikel Informationstheorie, Shannon-Index und Shannon (Einheit) überschneiden sich thematisch. Hilf mit, die Artikel besser voneinander abzugrenzen oder zu vereinigen. Beteilige dich dazu an der Diskussion über diese Überschneidungen. Bitte entferne diesen Baustein erst nach vollständiger Abarbeitung der Redundanz. Engelbaet 13:31, 14. Mai 2008 (CEST)

Shannon (Sh) ist die nach dem amerikanischen Mathematiker und Begründer der Informationstheorie Claude Elwood Shannon benannte Hinweis-Einheit für den Informationsgehalt einer Nachricht.

Definition

Ein Shannon ist die theoretische minimale Anzahl an Bit, mit der eine Information abgebildet werden kann. Dabei ist der Informationsgehalt eines Signals abhängig von der Wahrscheinlichkeit, mit der das Signal an dieser Stelle auftritt – und damit umgekehrt proportional zur Entropie der Zeichenfolge.

Es geht hierbei nicht darum, wie viele reale Bits (bei einer gegebenen Kodierung) notwendig sind, um die Nachricht zu übertragen oder zu speichern, weshalb der Informationsgehalt eine reelle Zahl sein kann. Ein Aufrunden zur nächsten ganzen Zahl ist also nicht notwendig, sondern nimmt im Gegenteil der Angabe des Informationsgehaltes sogar Aussagekraft (und somit Informationsgehalt).

Diese Einheit wurde geschaffen, um die vorher verwendete Informationseinheit bit zu ersetzen, weil deren Benutzung Anlass für Verwechslungen mit dem Begriff Bit gibt. Das traditionell benutzte bit soll hierbei per Konvention klein geschrieben werden, um eine Unterscheidung zu Bit zu ermöglichen, was jedoch in der Praxis häufig nicht beachtet wird.

Beispiel

Wird in einer Nachricht nur eine Dezimalstelle übertragen, wobei das Auftreten jeder der zehn Ziffern gleich wahrscheinlich sei, so werden theoretisch $-\log_2 \left(\frac{1}{10} \right) \approx 3{,}322\ \mathrm{Sh}$ benötigt, um die Information einer Dezimalziffer darzustellen. Der Informationsgehalt dieser Nachricht beträgt also 3,322 Shannon. Die Datenmenge hingegen, die benötigt wird um diesen Informationsgehalt darzustellen, beträgt mindestens 4 Bit (3,322 aufgerundet). Die Darstellung mit den minimalen 4 Bit gelingt zum Beispiel durch Verwendung eines BCD-Codes.

Normung

Normen zu Einheiten des Entscheidungsgehalts in der Informationstheorie findet man in IEC 60027-3 oder ISO 2382-16. Dort ist neben der auf dem Logarithmus zur Basis 2 beruhenden Einheit Shannon (Einheitenzeichen: Sh) noch das auf dem Zehner-Logarithmus beruhende Hartley (Einheitenzeichen: Hart) und die auf dem natürlichen Logarithmus beruhende natürliche Informationseinheit (Einheitenzeichen: nat) erklärt.