Gibbs-Sampling

Gibbs-Sampling ist ein Algorithmus, um eine Folge von Stichproben der gemeinsamen Wahrscheinlichkeitsverteilung zweier oder mehrerer Zufallsvariablen zu erzeugen. Das Ziel ist es dabei, die unbekannte gemeinsame Verteilung zu approximieren. Der Algorithmus ist aufgrund der Ähnlichkeit des Sampling-Verfahrens mit Methoden der statistischen Physik nach dem Physiker Josiah Willard Gibbs benannt. Entwickelt wurde er von S. Geman und D. Geman (siehe Literaturhinweis). Gibbs-Sampling ist ein Spezialfall des Metropolis-Hastings-Algorithmus.

Gibbs-Sampling eignet sich besonders dann, wenn die gemeinsame Verteilung eines Zufallsvektors unbekannt, jedoch die bedingte Verteilung einer jeden Zufallsvariable bekannt ist. Das Grundprinzip besteht darin, in wiederholender Weise eine Variable auszuwählen und gemäß ihrer bedingten Verteilung einen Wert in Abhängigkeit von den Werten der anderen Variablen zu erzeugen. Die Werte der anderen Variablen bleiben in diesem Iterationsschritt unverändert. Aus der entstehenden Folge von Stichprobenvektoren lässt sich eine Markow-Kette herleiten. Es kann gezeigt werden, dass die stationäre Verteilung dieser Markow-Kette gerade die gesuchte gemeinsame Verteilung des Zufallsvektors ist.

Ein besonders günstiger Anwendungsfall ergibt sich im Zusammenhang mit Bayes'schen Netzen, insbesondere beim Schätzen der A-posteriori-Verteilung, da die übliche Repräsentation eines Bayesnetzes eine Menge von bedingten Verteilungen ist. Die Software BUGS ([1]) ist eine Anwendung des Gibbs-Sampling auf Bayes'sche Netze.

Siehe auch

• Josiah Willard Gibbs
• Metropolisalgorithmus
• Stichprobe

Literatur

• S. Geman and D. Geman. "Stochastic Relaxation, Gibbs Distributions, and the Bayesian Restoration of Images". IEEE Transactions on Pattern Analysis and Machine Intelligence, 6:721-741, 1984.
• C.P. Robert and G. Casella. "Monte Carlo Statistical Methods" (second edition). New York: Springer-Verlag, 2004.
• Johannes, Michael S. and Polson, Nick, "MCMC Methods for Continuous-Time Financial Econometrics" (December 22, 2003). Available at SSRN: http://ssrn.com/abstract=480461

Weblinks

• [2]