Selbstlernende Maschinen austricksen

Häufig leiten lernfähige Computerprogramme ihre Entscheidungen nicht direkt von einer notwendigen Voraussetzung ab, weil sie diese nicht direkt erkennen können. Die Entwickler nutzen dann leicht erkennbare Indizien dafür, dass eine Voraussetzung gegeben ist. Zum Beispiel gelten viele Links auf eine Webseite als Indiz dafür, dass diese Webseite wichtig für die Allgemeinheit ist. Lavista hat in seinem Blogbeitrag eine schöne Analogie gefunden, welche die Problematik ganz deutlich werden lässt:

Man stelle sich ein Restaurant vor, das tief im Innern eines Gebäudes liegt und es keine Möglichkeit gibt, festzustellen wie das Wetter draußen ist. Beschließen die Inhaber des Restaurants, dass sie ihre Speisen bei Regen kostenlos anbieten, müssen Sie sich ein Indiz überlegen, das zeigt, dass es draußen regnet. Ein Indiz wäre, dass ein Kunde das Restaurant mit nassem Regenschirm betritt. Das Indiz funktioniert gut, aber nur so lange, bis der Zusammenhang zwischen kostenlosem Essen und nassem Regenschirm allgemein bekannt wird.

Lavista überträgt dieses Beispiel auf Machine-Learning-Modelle und kommt dabei zu dem Schluss, dass es äußerst wichtig ist die Beziehungen zwischen Voraussetzungen und Entscheidungen genau zu verstehen, bevor man veröffentlicht, wie ein Modell arbeitet. Sind die Beziehungen nicht kausal und kann das gewählte Indiz auf andere Weise auftreten, läuft man Gefahr, dass die Anwender mit dem Modell zu spielen beginnen -- etwa Links kaufen um im Pagerank zu steigen oder bei Sonnenschein einen nassen Regenschirm mitbringen. Kritischer wird das Ganze, wenn es beispielsweise um die Berechnung der Kreditwürdigkeit von Personen geht.

Zum Blogbeitrag von Lavista auf Technet geht's hier lang. [bl]