Gegenseitige Information

Gegenseitige Information

Transinformation oder gegenseitige Information ist eine Größe aus der Informationstheorie, die die Stärke des statistischen Zusammenhangs zweier Zufallsgrößen angibt. Die Transinformation wird auch als Synentropie bezeichnet. Im Gegensatz zur Synentropie einer Markov-Quelle 1. Ordnung, welche die Redundanz einer Quelle zum Ausdruck bringt und somit minimal sein soll, stellt die Synentropie eines Kanals den mittleren Informationsgehalt dar, der vom Sender zum Empfänger gelangt und soll somit maximal sein.

Ein gedächtnisloser Kanal verbindet die zwei Quellen X und Y. Von X nach Y fließt Transinformation. Die Empfänger-Quelle Y der Entsende-Quelle X verhält sich wie eine Quelle. Es wird nicht zwischen Empfänger und Entsender unterschieden. Je mehr die Quellen von einander abhängen, desto mehr Transinformation ist vorhanden.

Gelegentlich wird auch die Bezeichnung relative Entropie verwendet, diese entspricht jedoch der Kullback-Leibler-Divergenz.

Die Transinformation steht in einem engen Zusammenhang zur Entropie und zur bedingten Entropie. So berechnet sich die Transinformation I(X;Y) folgendermaßen:

Definition über die Differenz von Quell-Entropie und Äquivokation bzw. Empfangs-Entropie und Fehlinformation:

I(X; Y) = H(X) - H(X \vert Y) = H(Y) - H(Y \vert X).

Definition über Wahrscheinlichkeiten:

I(X; Y) = \sum_{x}{}\sum_{y}{}p(x,y) \cdot \log_2 \left( \frac{p(x,y)}{p(x)p(y)} \right).

Definition über die Kullback-Leibler-Divergenz:

I(X; Y) = D(p(x,y)\|p(x)p(y)).

Definition über den Erwartungswert:

I(X; Y) = E \left\{ \log_2 \left( \frac{p(x,y)}{p(x)p(y)} \right) \right\}.

Verschwindet die Transinformation, so spricht man von statistischer Unabhängigkeit der beiden Zufallsgrößen. Die Transinformation wird maximal, wenn sich eine Zufallsgröße vollkommen aus der anderen berechnen lässt.

Zwei gedächtnislose Kanäle verbinden drei Quellen. Von der Senderquelle X kann der Empfängerquelle Y eine Transinformation von I(x;y) übermittelt werden. Wird diese Transinformation weiter geleitet so empfängt die Empfängerquelle Z eine Transinformation von I(X;Z). Man kann hier deutlich sehen, dass die Transinformation von der Menge an Äquivokation abhängt.

Die Transinformation beruht auf der von Claude Shannon eingeführten Entropie (Unsicherheit, mittlerer Informationsgehalt). Nimmt die Transinformation zu, so verringert sich die Unsicherheit über eine Zufallsgröße unter der Voraussetzung, dass die andere bekannt ist. Ist die Transinformation maximal, verschwindet die Unsicherheit folglich. Wie aus der formalen Definition zu sehen ist, wird die Ungewissheit einer Zufallsvariable durch Kenntnis einer anderen reduziert. Dies drückt sich in der Transinformation aus.

Die Transinformation spielt beispielsweise bei der Datenübertragung eine Rolle. Mit ihr lässt sich die Kanalkapazität einer Leitung bestimmen.

Entsprechend kann auch eine Entropie H(Z) von zwei verschiedenen, wiederum voneinander abhängigen, Entropien abhängen:

In der Fachliteratur werden verschiedene Begriffe verwendet. Die Äquivokation wird auch als "Verlustentropie" und die Fehlinformation auch als "Irrelevanz" bezeichnet. Die Transinformation wird auch als "Transmission" oder "mittlerer Transinformationsgehalt" bezeichnet.

Weblinks


Wikimedia Foundation.

Игры ⚽ Поможем написать курсовую

Schlagen Sie auch in anderen Wörterbüchern nach:

  • Information und Kommunikation — (IuK) ist ein zusammenfassender Begriff für Informationsverarbeitung und Kommunikation. In der technologischen Form Informations und Kommunikationstechnologien wird das Begriffspaar auch als IKT abgekürzt. Inhaltsverzeichnis 1 Etymologie 2… …   Deutsch Wikipedia

  • Information und Telekommunikation — Kommunikation ist der Austausch von Information. Information und Kommunikation (IuK) ist daher ein zusammenfassender Begriff für die menschlichen Fähigkeiten der Informationsverarbeitung und Kommunikation. In ihrer technisch mediatisierten Form… …   Deutsch Wikipedia

  • Mutual Information — Transinformation oder gegenseitige Information ist eine Größe aus der Informationstheorie, die die Stärke des statistischen Zusammenhangs zweier Zufallsgrößen angibt. Die Transinformation wird auch als Synentropie bezeichnet. Im Gegensatz zur… …   Deutsch Wikipedia

  • Kommunikation und Information — Kommunikation ist der Austausch von Information. Information und Kommunikation (IuK) ist daher ein zusammenfassender Begriff für die menschlichen Fähigkeiten der Informationsverarbeitung und Kommunikation. In ihrer technisch mediatisierten Form… …   Deutsch Wikipedia

  • Asymmetrische Information — (engl. asymmetric information) ist ein wirtschaftswissenschaftlicher Begriff und bezeichnet den Zustand, in dem zwei Vertragsparteien bei Abschluss und/oder Erfüllung eines Vertrags nicht über dieselben Informationen verfügen. Die… …   Deutsch Wikipedia

  • Inhaltsbezogene Verwaltungsführung (Deutschland) — Verwaltungsführung wird in diesem Artikel unter dem Aspekt behandelt, in welcher Geisteshaltung und damit in welchem Stil eine öffentliche Verwaltung durch das Führungspersonal wie geführt wird. Das Wie kann durch eine Richtlinie geregelt sein,… …   Deutsch Wikipedia

  • Ausbildungspartnerschaft — Unter Verbundausbildung (auch Ausbildungspartnerschaft) versteht man die Zusammenarbeit einzelner Betriebe in der Ausbildung. Die Betriebe des Verbunds ergänzen sich bei der praktischen Berufsausbildung gegenseitig, wenn der Ausbildungsbetrieb… …   Deutsch Wikipedia

  • Verbundausbildung — Dieser Artikel wurde aufgrund inhaltlicher und/oder formaler Mängel auf der Qualitätssicherungsseite des Portals Wirtschaft eingetragen. Du kannst helfen, indem Du die dort genannten Mängel beseitigst oder Dich an der Diskussion beteiligst. Unter …   Deutsch Wikipedia

  • Richtlinien für die Verwaltungsführung im Bunde — Die Richtlinien für die Verwaltungsführung im Bunde waren eine mit Wirkung vom 1. Januar 1975 erlassene und bis 2002 gültige Verwaltungsvorschrift für die Schweiz. Sie wurden durch die am 27. März 2002 vom Bundesrat genehmigten Führungsfragen für …   Deutsch Wikipedia

  • Partizipative Entscheidungsfindung — (PEF) (oder auch die englische Variante shared decision making) wird in der Medizin die Interaktion bzw. Kommunikation zwischen Arzt und Patient genannt, die darauf zielt, zu einer von Patient und Arzt gemeinsam verantworteten Übereinkunft über… …   Deutsch Wikipedia

Share the article and excerpts

Direct link
Do a right-click on the link above
and select “Copy Link”