Zum Inhalt springen
Logo Lehren und Lernen Blog

Lehren und Lernen Blog

Sprechen mit Roboter

Münd­lich prüfen mit KI – wenn die Prüfung 42 Rappen kostet

Schriftliche Arbeiten sind oft erstaunlich gut – bis man nachfragt. Genau hier setzt eine mündliche Prüfung an: Sie verlangt Denken in Echtzeit und lässt sich nicht an ein Sprachmodell auslagern. Beim letzten «Inspiration KI», unsere Austausch -Veranstaltung zu Good Practices aus der Lehre, stand dieses Thema im Zentrum: Wir diskutierten eine Studie der New York University, die zeigt, wie sich mündliche Prüfungen mit Voice AI erstmals skalieren lassen. Zum Abschluss durften die Teilnehmenden es selbst erleben und mit einem KI-Bot über genau diese Frage sprechen. Sie erhielten so einen kurzen Eindruck davon, wie sich eine solche Prüfungssituation anfühlt.

Die Ausgangslage

Panos Ipeirotis und Konstantinos Rizakos beobachteten in ihrem Kurs ein bekanntes Muster: Vorbereitende Abgaben lasen sich durchdacht und sauber strukturiert, doch bei gezielten Nachfragen konnten viele Studierende ihre eigenen Entscheidungen nicht erklären. Detektionswerkzeuge für KI-Texte lösen das nicht – sie sind unzuverlässig und benachteiligen Nicht-Muttersprachler:innen. Mündliche Prüfungen umgehen das Problem, galten aber immer als zu aufwändig: 36 Studierende à 25 Minuten mit zwei Prüfenden ergeben rund 30 Stunden Arbeit.

Der Ansatz

Die beiden setzten eine Voice-AI-Prüfung mit dem KI-Tool "ElevenLabs" auf. Statt eines einzelnen Agenten übernahmen drei spezialisierte Agenten je eine Phase: Authentifizierung, Fragen zum eigenen Projekt und eine Fallstudie. Die Fragen entstanden dynamisch aus einem Bewertungsraster. Das hat eine elegante Konsequenz: Es gibt keine Prüfung, die durchsickern kann. Die gesamte Struktur lässt sich vorab teilen, und das Üben – also das laute Erklären des eigenen Verständnisses – wird selbst zum Lernen.

Bewertet wurde nicht von einem einzigen Modell, sondern von einem «Council» aus drei Modellen (Claude, Gemini, GPT-5). Sie benoteten jedes Transkript zuerst unabhängig und überarbeiteten ihre Bewertung danach im Austausch mit den Begründungen der anderen. Erst diese Beratungsrunde brachte verlässliche Ergebnisse.

Die Wirkung

Alle 36 Prüfungen kosteten zusammen 15 US-Dollar – rund 42 Rappen pro Person, gegenüber geschätzt 750 Dollar für die menschliche Variante. Nach der Beratungsrunde stimmten die Modelle stark überein (Krippendorff's α = 0.86, über der üblichen Schwelle für gute Reliabilität).

Besonders aufschlussreich war der diagnostische Nebeneffekt: Beim Thema A/B-Testing schnitten die Studierenden deutlich schlechter ab als bei allen anderen Themen. Das mündliche Format legte eine Lücke offen, die im Unterricht zu kurz gekommen war – ein Spiegel für die Lehrperson, nicht nur für die Studierenden. Die Prüfungsdauer sagte übrigens nichts über die Note aus.

Das Bild bei den Studierenden war gemischt: 70 % fanden, die Prüfung teste ihr echtes Verständnis; 83 % empfanden sie aber als stressiger als eine schriftliche Prüfung. Zu bedenken: Ebenfalls 83 % hatten überhaupt noch nie eine mündliche Prüfung erlebt.

Und es gab Stolpersteine. Der Agent stapelte trotz klarer Anweisung mehrere Fragen aufeinander, konnte keine Fälle zufällig auswählen, und eine geklonte Professorenstimme wirkte auf die Studierenden aggressiv statt vertraut. Die zentrale Lehre: Verhaltensregeln für KI gehören in die Systemarchitektur, nicht allein in den Prompt.

Take-Aways

  • Mündlich prüfen macht sichtbar, was schriftliche Abgaben verdecken: ob jemand die eigene Arbeit wirklich versteht.
  • Wenn Fragen dynamisch aus einem Raster entstehen, gibt es keine Prüfung zum «Leaken» – die Struktur darf offen geteilt werden.
  • Mehrere Modelle mit anschliessender Beratungsrunde liefern verlässlichere Bewertungen als ein einzelnes Modell.
  • Die Prüfung zeigt Lehrlücken auf – nutzen Sie die Ergebnisse auch als Feedback für den eigenen Unterricht.
  • Kritische Vorgaben (Zufallsauswahl, keine Doppelfragen, Stimme, Wartezeit) über die Technik absichern, nicht dem Modell überlassen.
  • Barrierefreiheit früh mitdenken: mündliche Formate helfen manchen und erschweren es anderen, etwa Nicht-Muttersprachler:innen.

Weiterführende Links und Ressourcen

Kontakt

Sie möchten mündliches Prüfen mit KI in Ihrem Modul ausprobieren oder eine ähnliche Durchführung planen? Melden Sie sich beim TLC – wir unterstützen Sie gerne bei der Konzeption und Umsetzung (tlc@fhgr.ch).

Anzahl Kommentare 0
Kommentare