KI-Agent / -Tutor / GPT

Was ist beim Einsatz von KI-Agents, -tutors oder GPTs zu beachten?

Was können Ziele dieses Einsatzes sein, welche Resultate sollten (im Moment) erhoben werden.

Einsatzszenarien

FHNW

Beantwortung von Fragen zum Studiengang inkl. Referenzen zu den Lernquellen

Ziel: Untersuchen, wie generative KI zur Unterstützung des Lernens verwendet werden kann und wie ein KI-Tutor technisch umgesetzt werden kann.

Technische Umsetzung:

Er basiert auf einem Large Language Modell (aktuell: Llama 3.2) mit Retrieval Augmented Generation (RAG). Dabei wurde der Inhalt der Lernmaterialien, welche den Studierenden über die studiengangseigene Lernplattform Spaces zur Verfügung stehen, extrahiert, aufgearbeitet und verstückelt (“chunking”). Das Sprachmodell greift auf diese Stücke zu und kann damit nicht nur die Frage gezielt beantworten, sondern auch die dazugehörigen Quellenangaben aus dem Lernmaterial geben. Den Studierenden ist es dank des AI Tutors auch möglich, Lernkontrollen zum Beispiel in Form von Multiple Choice Fragen zu generieren, die genau auf den behandelten Lernstoff abgestimmt sind.

Interessante Resultate aus der Studierendenbefragung:

[...] die Studierenden den Bot am häufigsten für die Suche von Dokumenten genutzt haben. Auch freies Ausprobieren wurde häufig genannt und an zweiter und vierter Stelle lagen die bei der Entwicklung im Vordergrund stehenden inhaltlichen Fragen zum Studium. Der AI Tutor wurde nur selten zur Simulation von Prüfungsfragen verwendet.

Ebenfalls erhoben wurde die Antwortqualität des KI-Tutors. Diese wurde durch Dozierende bewertet: 63% trifft vollständig zu; 24% trifft zu; 7% trifft nicht zu; 7% trifft gar nicht zu (n=347)

Zur Qualität des Promptings wurde festgehalten: "eine klare Tendenz für Wissens- und Verständnisfragen mit einer als mässig bis schlecht eingeschätzten Prompting-Qualität. Darunter wurde primär stichwortartiges Fragen ohne dialogischen Charakter verstanden."

Weitere

• Beantwortung von Fragen zum Inhalt des Moduls

Literatur

• Vogel, Valentina; Monika Schlatter. KI trifft Lehre: Der AI Tutor des Studiengangs Data Science im Praxistest. 20. Mai 2025. Online auf fhnw.ch (8.7.25)