Induktiver Bias

Unter Induktivem Bias versteht man die Annahmen, die ein Lernalgorithmus machen muss um aus Trainingsbeispielen oder Beobachtungen verallgemeinern zu können.

Hintergrund

Eine typische Aufgabe des maschinellen Lernens ist es, aus beobachteten oder zugeführten Daten auf eine dahinterstehende Regelmäßigkeit zu schließen. Diese Art des Lernens durch Verallgemeinerung wird Induktion genannt. Die Maschine lernt, in welchem Zusammenhang die Daten miteinander stehen und kann zukünftige Daten vorhersagen, selbst in Situationen die sie vorher noch nicht beobachtet hat.

Dazu muss die Maschine jedoch weitere Annahmen machen, denn sonst könnten die Daten tatsächlich in jedem beliebigem Zusammenhang stehen und die Maschine wäre nur in der Lage, das wiederzugeben, was sie früher schon einmal beobachtet hat. Die Wahl, welches Vorwissen der Maschine mitgegeben wird, ist der induktive Bias, denn die Maschine kann nur lernen, was sich mit dem Vorwissen sinnvoll erklären lässt. Der Erbauer der Maschine schränkt somit schon im Voraus ein, was die Maschine überhaupt zu lernen imstande ist.

Beispiele

• Ockhams Rasiermesser: Die Annahme, die einfachste Erklärung für ein Phänomen ist auch die richtige Erklärung ist ein klassisches Beispiel für induktiven Bias. Ungewöhnlich komplizierte Modelle werden gewöhnlich ignoriert oder nicht weiter verfolgt, solange es einfachere Erklärungen gibt. Dabei gibt es dafür keinen Grund, außer der Erfahrung (dem Bias), dass mehr Aufwand meistens nicht sinnvoll ist.

• Die Zahlenreihe 11, 2, 6, 7, 20 kann je nach Bias unterschiedlich fortgesetzt werden. Eine Maschine (oder auch ein Mensch) mit mathematischem Bias würde versuchen, eine Zahlbeziehung zwischen den Zahlen herzustellen und die nächste zu errechnen. Eine andere Machine könnte aber durchaus auch einen anderen Bias haben und versuchen, die Reihe mit einer Zahl mit 8 Buchstaben fortzusetzen (3, 4, 5, 6, 7 Buchstaben).

• Die Wahl des Hypothesenraums ist der Bias, denn ein Konzept kann nur gelernt werden, wenn die Zielfunktion im Hypothesenraum enthalten ist