Independent Component Analysis

Independent Component Analysis

Independent Component Analysis (ICA) löst das Blind-Source-Separation-Problem (BSS), indem angenommen wird, dass die Quellen einer Datenmischung statistisch unabhängig sind.

Inhaltsverzeichnis

Problemstellung

Es wird dabei davon ausgegangen, dass ein Signal \vec{s} mit einer Mischmatrix A multipliziert wird. Das Resultat ist ein neues gemischtes Signal \vec{x} gleicher Dimension.

\vec{x}=A\vec{s}

Das Ziel der ICA ist es nun, wieder das Signal \vec{s} möglichst originalgetreu zu berechnen. Hierfür steht nur das Ergebnis der Mischung \vec{x} zur Verfügung und das Wissen, dass die Teilsignale ursprünglich stochastisch unabhängig waren. Es ist also eine geeignete Matrix A − 1 gesucht, so dass

\vec{s}=A^{-1}\vec{x}.

Vorgehensweise

Wir gehen zunächst davon aus, dass unsere Daten von ihrem Mittelwert befreit sind.

Normierung der Varianz

Die Datenverteilung des gemischten Signals muss zunächst in ihrer Varianz normiert werden. Wir berechnen hierfür die Hauptkomponenten über die PCA. Als Ergebnis erhalten wir die Eigenwerte und die Eigenvektoren der Kovarianzmatrix des Signals. Der Satz von Eigenvektoren ergibt die Drehmatrix R, welche wir mit unserem Vektor \vec{x} multiplizieren, so dass unsere Hauptkomponenten nun entlang der Achsen liegen. Die Eigenwerte ei entsprechen der Varianz der jeweiligen Hauptkomponente. Wir bilden aus ihnen die Diagonalmatrix D:

D = \begin{pmatrix} e_1^{-1} &  &  & 0 \\  & . &  & \\  &  & . & \\ 0 &  &  & e_n^{-1} \end{pmatrix}

Durch das Multiplizieren mit der Diagonalmatrix führen wir ein sogenanntes Whitening durch und normieren die Varianz dabei auf 1.

\vec{w}=DR\vec{x}

Bestimmung der unabhängigen Komponenten

Nun wollen wir die Drehmatrix bestimmen, mit der unsere Daten stochastisch unabhängig werden. Dieser Schritt ist in einer Vielzahl von Ansätzen lösbar. Ziel ist es dabei jedoch immer die Nicht-Gaussheit zu maximieren oder die gemeinsame Information zu minimieren.

Kurtosis

Die Kurtosis ist ein Maß für die Abweichung von einer Normalverteilung. Sie ist definiert durch

kurt(X) = E(X4) − 3E(X2)2 = E(X4) − 3.

Da unsere Daten in ihrer Varianz normiert sind, wird E(X2) gleich Eins. Unsere Kurtosis wird Null, wenn unsere Verteilung gaussähnlich ist. Ist die Kurtosis negativ, so ähnelt sie zunehmend einer Gleichverteilung. Ist sie positiv, so ist unsere Verteilung eher eine Laplace-Verteilung. Wir müssen also unsere Kurtosis maximieren bzw. minimieren, um uns von der Normalverteilung zu entfernen. Hierzu kann man das Gradientenverfahren verwenden, zum Beispiel in Anlehnung an die Lernregel von Oja.

Negentropie

Ein weiterer Ansatz ist die Maximierung der Negentropie.

J(X) = H(X_{Gauss})-H(X) \geq 0

Wobei XGauss in Hinsicht auf Varianz und Mittelwert der Verteilung von X entspricht. Da diese jedoch schwer zu bestimmen ist verwendet man hier meist eine Nährung.

Fast ICA

Fast ICA ist ein Fixpunktalgorithmus, welcher das Problem über ein Newtonverfahren löst.

Weblinks


Wikimedia Foundation.

Игры ⚽ Нужен реферат?

Schlagen Sie auch in anderen Wörterbüchern nach:

  • Independent component analysis — (ICA) is a computational method for separating a multivariate signal into additive subcomponents supposing the mutual statistical independence of the non Gaussian source signals. It is a special case of blind source separation. Definition When… …   Wikipedia

  • Component analysis — may refer to: Principal component analysis Kernel principal component analysis Independent component analysis Neighbourhood components analysis ANOVA simultaneous component analysis Connected Component Analysis This disambiguation pag …   Wikipedia

  • Principal component analysis — PCA of a multivariate Gaussian distribution centered at (1,3) with a standard deviation of 3 in roughly the (0.878, 0.478) direction and of 1 in the orthogonal direction. The vectors shown are the eigenvectors of the covariance matrix scaled by… …   Wikipedia

  • Analysis — (from Greek ἀνάλυσις , a breaking up ) is the process of breaking a complex topic or substance into smaller parts to gain a better understanding of it. The technique has been applied in the study of mathematics and logic since before Aristotle,… …   Wikipedia

  • Analysis of variance — In statistics, analysis of variance (ANOVA) is a collection of statistical models, and their associated procedures, in which the observed variance in a particular variable is partitioned into components attributable to different sources of… …   Wikipedia

  • Component-based software engineering — A simple example of two components expressed in UML 2.0. The checkout component, responsible for facilitating the customer s order, requires the card processing component to charge the customer s credit/debit card (functionality that the latter… …   Wikipedia

  • Factor analysis — is a statistical method used to describe variability among observed, correlated variables in terms of a potentially lower number of unobserved, uncorrelated variables called factors. In other words, it is possible, for example, that variations in …   Wikipedia

  • Principal components analysis — Principal component analysis (PCA) is a vector space transform often used to reduce multidimensional data sets to lower dimensions for analysis. Depending on the field of application, it is also named the discrete Karhunen Loève transform (KLT),… …   Wikipedia

  • Component-based usability testing — (CBUT) is a testing approach which aims at empirically testing the usability of an interaction component. The latter is defined as an elementary unit of an interactive system, on which behaviour based evaluation is possible. For this, a component …   Wikipedia

  • analysis — /euh nal euh sis/, n., pl. analyses / seez /. 1. the separating of any material or abstract entity into its constituent elements (opposed to synthesis). 2. this process as a method of studying the nature of something or of determining its… …   Universalium

Share the article and excerpts

Direct link
Do a right-click on the link above
and select “Copy Link”