OpenAI
14.09.2023, 16:02 Uhr
KI-Detektoren funktionieren nicht
OpenAI hat bestätigt: Keiner der KI-Detektoren "unterscheidet zuverlässig zwischen KI-generiertem und menschlich generiertem Inhalt".
(Quelle: https://help.openai.com/en/articles/8313351-how-can-educators-respond-to-students-presenting-ai-generated-content-as-their-own)
Letzte Woche hat OpenAI in einem Blogbeitrag Tipps für Pädagogen veröffentlicht, die zeigen, wie einige Lehrer ChatGPT als pädagogisches Hilfsmittel einsetzen, sowie Vorschläge für die ersten Schritte. In einer zugehörigen FAQ geben sie auch offiziell zu: KI-Schreibdetektoren funktionieren nicht, obwohl sie häufig eingesetzt werden, um Schüler und Schülerinnen mit falsch-positiven Ergebnissen zu bestrafen.
In einem Abschnitt der FAQ mit dem Titel "Funktionieren KI-Detektoren?" schreibt OpenAI: "Kurz gesagt, nein. Während einige (einschließlich OpenAI) Tools veröffentlicht haben, die vorgeben, KI-generierte Inhalte zu erkennen, hat keines dieser Tools bewiesen, dass es zuverlässig zwischen KI-generierten und von Menschen erstellten Inhalten unterscheiden kann."
Stellt man Bing-Chat, eingestellt auf ChatGPT 4, diese Frage, lautet die Antwort so:
"KI-Detektoren sind nicht perfekt und können je nach den Daten, auf denen sie trainiert wurden, den verwendeten Algorithmen und den Modellen, die sie abdecken, unterschiedliche Genauigkeits- und Zuverlässigkeitsgrade aufweisen. Einige KI-Detektoren sind in der Lage, Inhalte zu erkennen, die von ChatGPT, GPT4, Bard, Claude und anderen großen Sprachmodellen (LLMs) generiert wurden, andere hingegen nicht. Einige KI-Detektoren haben auch eine niedrige Falsch-Positiv-Rate, das heißt sie verwechseln selten von Menschen geschriebene Inhalte mit KI-generierten Inhalten, während andere eine höhere Rate aufweisen2.
"KI-Detektoren sind nicht perfekt und können je nach den Daten, auf denen sie trainiert wurden, den verwendeten Algorithmen und den Modellen, die sie abdecken, unterschiedliche Genauigkeits- und Zuverlässigkeitsgrade aufweisen. Einige KI-Detektoren sind in der Lage, Inhalte zu erkennen, die von ChatGPT, GPT4, Bard, Claude und anderen großen Sprachmodellen (LLMs) generiert wurden, andere hingegen nicht. Einige KI-Detektoren haben auch eine niedrige Falsch-Positiv-Rate, das heißt sie verwechseln selten von Menschen geschriebene Inhalte mit KI-generierten Inhalten, während andere eine höhere Rate aufweisen2.
KI-Detektoren funktionieren also bis zu einem gewissen Grad, aber sie sind nicht unfehlbar. Sie können nützliche Werkzeuge sein, um die Originalität und Qualität von Inhalten zu überprüfen, sollten aber nicht die einzige Quelle für die Überprüfung sein. Das menschliche Urteilsvermögen und der gesunde Menschenverstand sind ebenfalls wichtige Faktoren, die bei der Bewertung von Inhalten zu berücksichtigen sind."
