Mutual Information

Mutual Information

Transinformation oder gegenseitige Information ist eine Größe aus der Informationstheorie, die die Stärke des statistischen Zusammenhangs zweier Zufallsgrößen angibt. Die Transinformation wird auch als Synentropie bezeichnet. Im Gegensatz zur Synentropie einer Markov-Quelle 1. Ordnung, welche die Redundanz einer Quelle zum Ausdruck bringt und somit minimal sein soll, stellt die Synentropie eines Kanals den mittleren Informationsgehalt dar, der vom Sender zum Empfänger gelangt und soll somit maximal sein.

Ein gedächtnisloser Kanal verbindet die zwei Quellen X und Y. Von X nach Y fließt Transinformation. Die Empfänger-Quelle Y der Entsende-Quelle X verhält sich wie eine Quelle. Es wird nicht zwischen Empfänger und Entsender unterschieden. Je mehr die Quellen von einander abhängen, desto mehr Transinformation ist vorhanden.

Gelegentlich wird auch die Bezeichnung relative Entropie verwendet, diese entspricht jedoch der Kullback-Leibler-Divergenz.

Die Transinformation steht in einem engen Zusammenhang zur Entropie und zur bedingten Entropie. So berechnet sich die Transinformation I(X;Y) folgendermaßen:

Definition über die Differenz von Quell-Entropie und Äquivokation bzw. Empfangs-Entropie und Fehlinformation:

I(X; Y) = H(X) - H(X \vert Y) = H(Y) - H(Y \vert X).

Definition über Wahrscheinlichkeiten:

I(X; Y) = \sum_{x}{}\sum_{y}{}p(x,y) \cdot \log_2 \left( \frac{p(x,y)}{p(x)p(y)} \right).

Definition über die Kullback-Leibler-Divergenz:

I(X; Y) = D(p(x,y)\|p(x)p(y)).

Definition über den Erwartungswert:

I(X; Y) = E \left\{ \log_2 \left( \frac{p(x,y)}{p(x)p(y)} \right) \right\}.

Verschwindet die Transinformation, so spricht man von statistischer Unabhängigkeit der beiden Zufallsgrößen. Die Transinformation wird maximal, wenn sich eine Zufallsgröße vollkommen aus der anderen berechnen lässt.

Zwei gedächtnislose Kanäle verbinden drei Quellen. Von der Senderquelle X kann der Empfängerquelle Y eine Transinformation von I(x;y) übermittelt werden. Wird diese Transinformation weiter geleitet so empfängt die Empfängerquelle Z eine Transinformation von I(X;Z). Man kann hier deutlich sehen, dass die Transinformation von der Menge an Äquivokation abhängt.

Die Transinformation beruht auf der von Claude Shannon eingeführten Entropie (Unsicherheit, mittlerer Informationsgehalt). Nimmt die Transinformation zu, so verringert sich die Unsicherheit über eine Zufallsgröße unter der Voraussetzung, dass die andere bekannt ist. Ist die Transinformation maximal, verschwindet die Unsicherheit folglich. Wie aus der formalen Definition zu sehen ist, wird die Ungewissheit einer Zufallsvariable durch Kenntnis einer anderen reduziert. Dies drückt sich in der Transinformation aus.

Die Transinformation spielt beispielsweise bei der Datenübertragung eine Rolle. Mit ihr lässt sich die Kanalkapazität einer Leitung bestimmen.

Entsprechend kann auch eine Entropie H(Z) von zwei verschiedenen, wiederum voneinander abhängigen, Entropien abhängen:

In der Fachliteratur werden verschiedene Begriffe verwendet. Die Äquivokation wird auch als "Verlustentropie" und die Fehlinformation auch als "Irrelevanz" bezeichnet. Die Transinformation wird auch als "Transmission" oder "mittlerer Transinformationsgehalt" bezeichnet.

Weblinks


Wikimedia Foundation.

Игры ⚽ Нужно сделать НИР?

Schlagen Sie auch in anderen Wörterbüchern nach:

  • Mutual information — Individual (H(X),H(Y)), joint (H(X,Y)), and conditional entropies for a pair of correlated subsystems X,Y with mutual information I(X; Y). In probability theory and information theory, the mutual information (sometimes known by the archaic term… …   Wikipedia

  • Conditional mutual information — In probability theory, and in particular, information theory, the conditional mutual information is, in its most basic form, the expected value of the mutual information of two random variables given the value of a third. Contents 1 Definition 2… …   Wikipedia

  • Multivariate mutual information — In information theory there have been various attempts over the years to extend the definition of mutual information to more than two random variables. These attempts have met with a great deal of confusion and a realization that interactions… …   Wikipedia

  • Quantum mutual information — In quantum information theory, quantum mutual information, or von Neumann mutual information, is a measure of correlation between subsystems of quantum state. It is the quantum mechanical analog of Shannon mutual information. Motivation For… …   Wikipedia

  • Pointwise mutual information — (PMI) (or specific mutual information) is a measure of association used in information theory and statistics.The PMI of a pair of outcomes x and y belonging to discrete random variables quantifies the discrepancy between the probability of their… …   Wikipedia

  • Mutual — may refer to: Mutual organization, where customers derive a right to profits and votes Mutual information, the intersection of multiple information sets Mutual insurance, where policyholders have certain ownership rights in the organization… …   Wikipedia

  • Information theory — Not to be confused with Information science. Information theory is a branch of applied mathematics and electrical engineering involving the quantification of information. Information theory was developed by Claude E. Shannon to find fundamental… …   Wikipedia

  • Information theory and measure theory — Measures in information theory = Many of the formulas in information theory have separate versions for continuous and discrete cases, i.e. integrals for the continuous case and sums for the discrete case. These versions can often be generalized… …   Wikipedia

  • Information bottleneck method — The information bottleneck method is a technique introduced by Tishby et al [1] for finding the best tradeoff between accuracy and complexity (compression) when summarizing (e.g. clustering) a random variable X, given a joint probability… …   Wikipedia

  • Information gain in decision trees — In information theory and machine learning, information gain is an alternative synonym for Kullback–Leibler divergence . In particular, the information gain about a random variable X obtained from an observation that a random variable A takes the …   Wikipedia

Share the article and excerpts

Direct link
Do a right-click on the link above
and select “Copy Link”