Blog

Oct 20, 2023

KI-Modelle beurteilen Regelverstöße falsch: Entscheidungen zwischen Mensch und Maschine

Zusammenfassung: Forscher fanden heraus, dass KI-Modelle den Menschen oft nicht genau nachbilden können

Zusammenfassung: Forscher fanden heraus, dass KI-Modelle menschliche Entscheidungen bei Regelverstößen oft nicht genau nachbilden können, was zu härteren Urteilen führt. Dies ist auf die Art der Daten zurückzuführen, auf denen diese Modelle trainiert werden. oft eher deskriptiv als normativ gekennzeichnet, was zu unterschiedlichen Interpretationen von Regelverstößen führt.

Die Diskrepanz könnte schwerwiegende Konsequenzen in der Praxis haben, beispielsweise strengere Gerichtsurteile. Daher schlagen die Forscher vor, die Transparenz der Datensätze zu verbessern und den Trainingskontext an den Bereitstellungskontext anzupassen, um genauere Modelle zu erhalten.

Wichtige Fakten:

Quelle:MIT

Um die Fairness zu verbessern oder Rückstände zu reduzieren, werden maschinelle Lernmodelle manchmal so konzipiert, dass sie menschliche Entscheidungsfindung nachahmen, beispielsweise um zu entscheiden, ob Social-Media-Beiträge gegen Richtlinien zu toxischen Inhalten verstoßen.

Aber Forscher vom MIT und anderswo haben herausgefunden, dass diese Modelle menschliche Entscheidungen über Regelverstöße oft nicht nachbilden. Wenn Modelle nicht mit den richtigen Daten trainiert werden, werden sie wahrscheinlich andere, oft härtere Urteile fällen als Menschen.

In diesem Fall handelt es sich bei den „richtigen“ Daten um diejenigen, die von Menschen gekennzeichnet wurden, die explizit gefragt wurden, ob Elemente einer bestimmten Regel widersprechen. Beim Training werden einem maschinellen Lernmodell Millionen von Beispielen dieser „normativen Daten“ gezeigt, damit es eine Aufgabe lernen kann.

Aber Daten, die zum Trainieren von Modellen für maschinelles Lernen verwendet werden, werden in der Regel deskriptiv gekennzeichnet – das heißt, Menschen werden gebeten, sachliche Merkmale zu identifizieren, wie beispielsweise das Vorhandensein von frittiertem Essen auf einem Foto.

Wenn „beschreibende Daten“ verwendet werden, um Modelle zu trainieren, die Regelverstöße beurteilen, beispielsweise ob eine Mahlzeit gegen eine Schulrichtlinie verstößt, die frittiertes Essen verbietet, tendieren die Modelle dazu, Regelverstöße übermäßig vorherzusagen.

Dieser Genauigkeitsverlust könnte schwerwiegende Auswirkungen auf die reale Welt haben. Wenn beispielsweise ein deskriptives Modell verwendet wird, um Entscheidungen darüber zu treffen, ob eine Person wahrscheinlich rückfällig wird, deuten die Ergebnisse der Forscher darauf hin, dass es möglicherweise strengere Urteile fällt als ein Mensch, was zu höheren Kautionen oder längeren Strafen führen könnte.

„Ich denke, die meisten Forscher im Bereich künstliche Intelligenz/maschinelles Lernen gehen davon aus, dass die menschlichen Urteile in Daten und Etiketten voreingenommen sind, aber dieses Ergebnis sagt etwas Schlimmeres aus.“

„Diese Modelle reproduzieren nicht einmal bereits voreingenommene menschliche Urteile, weil die Daten, auf denen sie trainiert werden, einen Fehler aufweisen: Menschen würden die Merkmale von Bildern und Texten unterschiedlich kennzeichnen, wenn sie wüssten, dass diese Merkmale für ein Urteil verwendet würden.“

„Dies hat enorme Auswirkungen auf maschinelle Lernsysteme in menschlichen Prozessen“, sagt Marzyeh Ghassemi, Assistenzprofessorin und Leiterin der Healthy ML Group im Computer Science and Artificial Intelligence Laboratory (CSAIL).

Ghassemi ist leitender Autor eines neuen Artikels, der diese Ergebnisse detailliert beschreibt und heute in Science Advances veröffentlicht wurde. Bei dem Artikel unterstützen sie die Hauptautorin Aparna Balagopalan, eine Doktorandin der Elektrotechnik und Informatik; David Madras, ein Doktorand an der University of Toronto; David H. Yang, ein ehemaliger Doktorand, der jetzt Mitbegründer von ML Estimation ist; Dylan Hadfield-Menell, Assistenzprofessor am MIT; und Gillian K. Hadfield, Schwartz Reisman-Lehrstuhl für Technologie und Gesellschaft und Professorin für Rechtswissenschaften an der University of Toronto.

Diskrepanz bei der Kennzeichnung

Diese Studie entstand aus einem anderen Projekt, das untersuchte, wie ein maschinelles Lernmodell seine Vorhersagen rechtfertigen kann. Als sie Daten für diese Studie sammelten, stellten die Forscher fest, dass Menschen manchmal unterschiedliche Antworten geben, wenn sie gebeten werden, beschreibende oder normative Bezeichnungen für dieselben Daten anzugeben.

Um beschreibende Bezeichnungen zu sammeln, bitten Forscher die Etikettierer, sachliche Merkmale zu identifizieren – enthält dieser Text obszöne Sprache? Um normative Labels zu sammeln, geben Forscher den Labelern eine Regel und fragen, ob die Daten gegen diese Regel verstoßen – verstößt dieser Text gegen die explizite Sprachrichtlinie der Plattform?

Überrascht von diesem Ergebnis starteten die Forscher eine Benutzerstudie, um tiefer zu graben. Sie sammelten vier Datensätze, um unterschiedliche Richtlinien nachzuahmen, beispielsweise einen Datensatz mit Hundebildern, die gegen die in einer Wohnung geltenden Regeln gegen aggressive Rassen verstoßen könnten. Dann baten sie die Teilnehmergruppen, beschreibende oder normative Etiketten bereitzustellen.

In jedem Fall wurden die beschreibenden Etikettierer gebeten, anzugeben, ob drei sachliche Merkmale im Bild oder Text vorhanden waren, beispielsweise ob der Hund aggressiv wirkte. Ihre Antworten wurden dann zur Bildung von Urteilen genutzt. (Wenn ein Benutzer sagte, dass auf einem Foto ein aggressiver Hund zu sehen sei, verstieß er gegen die Richtlinie.)

Die Etikettierer kannten die Haustierrichtlinie nicht. Auf der anderen Seite erhielten normative Etikettierer die Richtlinie zum Verbot aggressiver Hunde und wurden dann gefragt, ob durch jedes Bild dagegen verstoßen wurde und warum.

Die Forscher fanden heraus, dass Menschen in der beschreibenden Umgebung deutlich häufiger ein Objekt als Verstoß kennzeichnen.

Die Ungleichheit, die sie anhand der absoluten Differenz der Etiketten im Durchschnitt berechneten, reichte von 8 Prozent bei einem Datensatz von Bildern, der zur Beurteilung von Verstößen gegen die Kleiderordnung verwendet wurde, bis zu 20 Prozent bei den Hundebildern.

„Obwohl wir nicht explizit getestet haben, warum dies geschieht, besteht eine Hypothese darin, dass die Art und Weise, wie Menschen über Regelverstöße denken, sich möglicherweise von der Art und Weise unterscheidet, wie sie über deskriptive Daten denken. Im Allgemeinen sind normative Entscheidungen nachsichtiger“, sagt Balagopalan.

Dennoch werden Daten normalerweise mit beschreibenden Bezeichnungen erfasst, um ein Modell für eine bestimmte maschinelle Lernaufgabe zu trainieren. Diese Daten werden später oft wiederverwendet, um verschiedene Modelle zu trainieren, die normative Urteile, wie z. B. Regelverstöße, durchführen.

Trainingsprobleme

Um die möglichen Auswirkungen der Umnutzung deskriptiver Daten zu untersuchen, trainierten die Forscher zwei Modelle, um Regelverstöße anhand einer ihrer vier Dateneinstellungen zu beurteilen. Sie trainierten ein Modell mit deskriptiven Daten und das andere mit normativen Daten und verglichen dann ihre Leistung.

Sie fanden heraus, dass, wenn deskriptive Daten zum Trainieren eines Modells verwendet werden, dieses schlechter abschneidet als ein Modell, das darauf trainiert wurde, die gleichen Urteile mithilfe normativer Daten durchzuführen. Insbesondere ist es wahrscheinlicher, dass das deskriptive Modell Eingaben falsch klassifiziert, indem es fälschlicherweise einen Regelverstoß vorhersagt.

Und die Genauigkeit des Beschreibungsmodells war sogar noch geringer, wenn es um die Klassifizierung von Objekten ging, über die menschliche Bezeichner anderer Meinung waren.

„Das zeigt, dass die Daten wirklich wichtig sind. Es ist wichtig, den Trainingskontext an den Bereitstellungskontext anzupassen, wenn Sie Modelle trainieren, um zu erkennen, ob eine Regel verletzt wurde“, sagt Balagopalan.

Für Benutzer kann es sehr schwierig sein, festzustellen, wie Daten erfasst wurden. Diese Informationen können im Anhang einer Forschungsarbeit vergraben sein oder von einem privaten Unternehmen nicht preisgegeben werden, sagt Ghassemi.

Die Verbesserung der Datensatztransparenz ist eine Möglichkeit, dieses Problem zu entschärfen. Wenn Forscher wissen, wie Daten gesammelt wurden, dann wissen sie, wie diese Daten verwendet werden sollten.

Eine weitere mögliche Strategie besteht darin, ein deskriptiv trainiertes Modell anhand einer kleinen Menge normativer Daten zu verfeinern. Diese Idee, die als Transferlernen bezeichnet wird, wollen die Forscher in zukünftigen Arbeiten untersuchen.

Sie möchten auch eine ähnliche Studie mit Experten, die Etiketten erstellen, wie Ärzten oder Anwälten, durchführen, um herauszufinden, ob dies zu denselben Etikettenunterschieden führt.

„Der Weg, dies zu beheben, besteht darin, transparent anzuerkennen, dass wir, wenn wir menschliches Urteilsvermögen reproduzieren wollen, nur Daten verwenden dürfen, die in diesem Umfeld gesammelt wurden.“

„Andernfalls werden wir mit Systemen enden, die extrem strenge Moderationen haben, viel strenger als das, was Menschen tun würden. Menschen würden Nuancen erkennen oder eine andere Unterscheidung treffen, während diese Modelle dies nicht tun“, sagt Ghassemi.

Finanzierung:Diese Forschung wurde teilweise vom Schwartz Reisman Institute for Technology and Society, Microsoft Research, dem Vector Institute und einer Canada Research Council Chain finanziert.

Autor:Adam ZeweQuelle:MITKontakt:Adam Zewe – MITBild:Das Bild stammt von Neuroscience News

Ursprüngliche Forschung: Offener Zugang. „Fakten beurteilen, Normen beurteilen: Das Trainieren von Modellen für maschinelles Lernen zur Beurteilung von Menschen erfordert einen modifizierten Ansatz zur Kennzeichnung von Daten“ von Marzyeh Ghassemi et al. Wissenschaftliche Fortschritte

Abstrakt

Fakten beurteilen, Normen beurteilen: Das Trainieren von Modellen des maschinellen Lernens zur Beurteilung von Menschen erfordert einen geänderten Ansatz zur Kennzeichnung von Daten

Da Regierungen und Industrie zunehmend auf automatisierte Entscheidungssysteme setzen, ist es wichtig zu überlegen, wie genau solche Systeme menschliches Urteilsvermögen reproduzieren können.

Wir identifizieren einen zentralen potenziellen Fehler und stellen fest, dass Annotatoren Objekte unterschiedlich kennzeichnen, je nachdem, ob ihnen eine sachliche oder eine normative Frage gestellt wird.

Dies stellt eine natürliche Annahme in Frage, die in vielen standardmäßigen Datenerfassungsverfahren für maschinelles Lernen (ML) vertreten wird: dass es keinen Unterschied zwischen der Vorhersage der tatsächlichen Klassifizierung eines Objekts und einer Beurteilung darüber gibt, ob ein Objekt eine auf diesen Fakten basierende Regel verletzt.

Wir stellen fest, dass die Verwendung sachlicher Bezeichnungen zum Trainieren von Modellen, die für normative Urteile gedacht sind, einen erheblichen Messfehler mit sich bringt.

Wir zeigen, dass Modelle, die mit faktischen Labels trainiert wurden, deutlich andere Urteile liefern als Modelle, die mit normativen Labels trainiert wurden, und dass die Auswirkung dieses Effekts auf die Modellleistung die anderer Faktoren (z. B. Datensatzgröße) übertreffen kann, die routinemäßig die Aufmerksamkeit von ML-Forschern und -Praktikern auf sich ziehen.

Deine Email-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *

Kommentar *

Name *

Email *

Webseite

Benachrichtigen Sie mich über nachfolgende Kommentare per E-Mail.

Benachrichtigen Sie mich per E-Mail über neue Beiträge.