KI-Agent / -Tutor / GPT

Was ist beim Einsatz von KI-Agents, -tutors oder custom GPTs als "teaching assistants" in der Hochschullehre zu beachten?

Was können Ziele dieses Einsatzes sein, welche Resultate sollten (im Moment) erhoben werden.

Einsatzszenarien

FHNW

Bericht zu einer Untersuchen, wie generative KI zur Unterstützung des Lernens verwendet werden und ein KI-Tutor technisch umgesetzt werden kann.

Ziel des Einsatzes eines KI-Agenten: Beantwortung von Fragen zum Studiengang inkl. Referenzen zu den Lernquellen

Technische Umsetzung:

Er basiert auf einem Large Language Modell (aktuell: Llama 3.2) mit Retrieval Augmented Generation (RAG). Dabei wurde der Inhalt der Lernmaterialien, welche den Studierenden über die studiengangseigene Lernplattform Spaces zur Verfügung stehen, extrahiert, aufgearbeitet und verstückelt (“chunking”). Das Sprachmodell greift auf diese Stücke zu und kann damit nicht nur die Frage gezielt beantworten, sondern auch die dazugehörigen Quellenangaben aus dem Lernmaterial geben. Den Studierenden ist es dank des AI Tutors auch möglich, Lernkontrollen zum Beispiel in Form von Multiple Choice Fragen zu generieren, die genau auf den behandelten Lernstoff abgestimmt sind.

Interessante Resultate aus der Studierendenbefragung:

[...] die Studierenden den Bot am häufigsten für die Suche von Dokumenten genutzt haben. Auch freies Ausprobieren wurde häufig genannt und an zweiter und vierter Stelle lagen die bei der Entwicklung im Vordergrund stehenden inhaltlichen Fragen zum Studium. Der AI Tutor wurde nur selten zur Simulation von Prüfungsfragen verwendet.

Ebenfalls erhoben wurde die Antwortqualität des KI-Tutors. Diese wurde durch Dozierende bewertet: 63% trifft vollständig zu; 24% trifft zu; 7% trifft nicht zu; 7% trifft gar nicht zu (n=347)

Zur Qualität des Promptings wurde festgehalten: "eine klare Tendenz für Wissens- und Verständnisfragen mit einer als mässig bis schlecht eingeschätzten Prompting-Qualität. Darunter wurde primär stichwortartiges Fragen ohne dialogischen Charakter verstanden."

Weitere

Ziel: Beantwortung von Fragen zu Inhalten des Moduls, also bspw. Wissensfragen stellen. Bestimmte Unterlagen werden in ein custome GPT geladen und so den früheren Handapparat ersetzen.

Fragen:

- Vereinfacht dies die Suche nach bestimmten Textstellen und gibt es Antworten auf inhaltliche Fragen? Gibt es weitere Anwendungsideen?

- Welches Problem löst dies? Mit welchem Aufwand ist dies verbunden (im Aufbau, bei der Durchführung)? Was sind die Vor-/Nachteile?

- Wie wird das personalisierte GPT trainiert? Die Antworten sollen z.B. immer einen Hinweis auf das Ursprungsdokument enthalten.

- Wie verwende ich solche agents didaktisch sinnvoll=?

- Welche Datenschutz- und Urheberrechtsüberlegungen dürfen nicht vergessen gehen?

- Welche Kosten entstehen durch die API-Anbindung?

- Wie korrekt und hilfreich sind Antworten einer custom AI? Wo wird halluziniert und/oder Vorurteile reproduziert?

- Wie gross ist der Lerneffekt? Welche Zusatzmassnahmen sind notwendig?

- Welche Begleitung/Information der Studierenden braucht es? Hinweise zum Prompting?

- Fragen stellen, Hinweise geben und nicht einfach Antworten ausspucken?

Tagung

20. November 2025 an der PHZH

Literatur

• Vogel, Valentina; Monika Schlatter. KI trifft Lehre: Der AI Tutor des Studiengangs Data Science im Praxistest. 20. Mai 2025. Online auf fhnw.ch (8.7.25)
• Hirsch, Nele. Custom GPTs: eine nüchterne Betrachtung mit Fokus auf die Bildung. 15. August 2024. Online auf e-bildungslabor.de (8.7.2025)