Scoring rule

In der Entscheidungstheorie ist eine score function oder scoring rule, zu deutsch eine Bewertungs-Regel, ein Maß für die Performanz eines Individuums, wenn mit Unsicherheit behaftete Entscheidungen getroffen werden. Als Beispiel kann die Wettervorhersage herangezogen werden. Dabei wird eine Regenwahrscheinlichkeit für jeden Tag erzeugt. Durch eine Statistik der Vorhersagen kann die Tatsächliche Regenhäufigkeit mit der Vorhersage abgeglichen werden. Ist die Vorhersage oft falsch, so wird sie schlecht kalibriert genannt. Kann der Vorhersagende motiviert werden, seine Leistung zu verbessern, dann kann eine Funktion u(x,q) verwendet werden, bei der das q die Vorhersage ist und x = 1, wenn es regnet, und x = 0 sonst ist. Will der Vorhersagende nun seine Leistung mit dieser Funktion optimieren, dann wird über folgende Funktion maximiert;

$\hat{u}(u|p)= pu(1,q)+(1-p)u(0,q)\,$

wobei p die persönliche Wahrscheinlichkeit des Vorhersagenden ist, dass es regnen wird.

Proper score functions

Eine scoring rule u(x,q) heißt proper, also sauber, wenn $\hat{u}(x,q)$ nur von der Wahrscheinlichkeit $0\le p \le 1$ abhängt, der Vorhersagende also motiviert wird, ehrlich und kohärent zu schätzen. Zwei der häufig benutzen Scoring Rules sind: Die Brier score, gegeben durch

$u(x,q)=1-(x-q)^2\,$

und die logarithmische Score-Funktion.

$u(x,q) =\begin{cases} \log q & \textrm{if \ } x = 1 \\ \log (1-q) & \textrm{if \ } x = 0 \\ \end{cases}$

Weitere scoring Rules

Dies sind Beispiele für strictly proper scoring rules:

Die quadratische score:

u(x,q) = 2x − q²

Die Sphärische scoring rule:

$u(x,q) = x/ \sqrt{q^2}$

Weblinks

• Video comparing spherical, quadratic and logarithmic scoring rules