Erkennung von KI-generierten Texten

Besonders in der Lehre ist die Plagiatserkennung an unserer Hochschule seit eher ein wichtiges Thema. Das eigenständige Vorbereiten und Verfassen von schriftlichen und mündlichen Leistungsnachweisen ist ein zentrales Element zur Ausbildung der Fähigkeit bei den Studierenden, die eigenen Gedanken kritisch zu reflektieren und verständlich und präzise aufs Papier zu bringen.

Bisher lieferte die Plagiatserkennungssoftware Turnitin gute Dienste, um Abschlussarbeiten auf einen möglichen Plagiatsverdacht zu überprüfen. Im Zeitalter der generativen Künstlichen Intelligenz, wo durch das Erstellen von KI-generiertem Output der Text nicht mehr mit einem bereits bestehenden Werk auf ein Plagiat abgeglichen werden kann, stellt sich die Herausforderung, wie nachgewiesen werden kann, ob der vorliegende Text unverhältnismässig und vor allem undokumentiert mittels KI erstellt worden ist.

Aus diesem Grund habe ich in einem Selbstversuch gängige KI-Detektionstools einfach mal getestet. Für den Test habe ich folgende Dokumente erstellt:

Einen kurzen Abschnitt aus meiner Bachelorarbeit, die ich 2016 erstellt habe und ganz sicher ohne KI erstellt wurde → Text_Bachelorarbeit.pdf
Einen Text zum selben Thema verfasst mit ChatGPT 4o → Text_ChatGPT 4o.pdf
Einen von ChatGPT formulierten Text mit dem Hinweis, er solle den Text so anpassen, dass er von KI-Plagiatstool nicht mehr als solchen erkannt werden kann → Text_ChatGPT 4o umgeschrieben.pdf
Dito Texte von Claude Sonnet 3.7 und Gemini Pro 2.5. → Text_Claude Sonnet 3.7.pdf, Text_Claude Sonnet 3.7 umgeschrieben.pdf, Text_Gemini_2.5 Pro.pdf, Text_Gemini_2.5 Pro umgeschrieben.pdf
Einen mit StealthGPT verfassten Text, ein Tool, das proklamiert, Texte zu erstellen, die von KI-Plagiatstools nicht als solche erkannt werden können → Text_StealthGPT_Umformuliert.pdf
Und einen Text, wo ich ChatGPT aufgegeben habe, mir einen Text zu schreiben, der einige Rechtschreibefehler und nicht so saubere Satzstrukturen und Formulierungen drin hat → Text_ChatGPT 4o Unsauberkeiten.pdf

Vorweg: Insgesamt kann konstatiert, dass die allermeisten Tools das von mir geschriebene Werk zuverlässig als "menschlich" erkannt haben. Bei den KI-generierten Texten überzeugte besonders der mit Fehler und Unsauberkeiten erzeugte Output als täuschend menschlich. Das bedeutet, dass diese KI-Plagiatstools mit etwas Aufwand relativ leicht getäuscht werden können und die Zuverlässigkeit der Erkennung von KI-generierten Texten immer nur so gut ist, wie jemand sich nicht die Mühe macht, die Systeme auszutricksen. Spannend finde ich auch eine Aussage auf der Webseite eines KI-Plagiatstools, das den Dienst wieder eingestellt hat:

AI-generated text is now almost indistinguishable from human writing. New models produce more varied and complex text, with better fine-tuning through prompts. This makes it harder to tell whether a text was written by AI or a human. Research by OpenAI and other third parties, as well as our own analysis, has shown that AI detection tools have high error rates. They often misidentify human-written text as AI-generated and vice versa.
OpenAI also found that students who speak English as a second language or use a more formulaic or concise writing style are more likely to be incorrectly flagged as using AI. All AI detectors face the same challenge. As AI improves, detection methods become less accurate, making them unreliable for assessing academic integrity. Because of this, we’ve decided to take our GPT Detector offline. Academic integrity is important to us, and we don’t want to offer a tool that no longer works as intended.

Ganz abgesehen davon, dass die Beweisführung bei einem positiven Verdacht nicht einfach sein wird, obschon einige Gerichte zugunsten des Verdachts geurteilt haben und den unerlaubten KI-Einsatz als gegeben betrachtet haben (siehe Urteil TUM München bei Einsatz von KI bei einer Bewerbung für das Materstudium → VG München, Beschluss v. 28.11.2023 – M 3 E 23.4371 - Bürgerservice).

Was wir jedoch alle sicher nicht wollen, dass jemand ungerechtfertigt des Einsatzes von KI verdächtigt wird, und wir die Arbeiten von Studierenden nur noch mit einem misstrauischen Auge betrachten. Bei einem Zweifel muss und soll die Unschuldsvermutung angenommen werden, wobei es längerfristig sowieso sinnvoll erscheint, die Leistungsnachweise weg von der Generierung von Texten (sei es nun vom Mensch oder KI) hin zu eher projektbasierten Arbeiten zu verlagern, wo der Prozess der Arbeit höher oder zumindest gleich hoch bewertet wird wie das Endergebnis.

Hier nun das Ergebnis (Anmerkung: bei einigen Tools waren die Free-Credits nicht genügend, um alle Texte zu testen):

Zero GPT: