KIF540:Resolutionen/KI-Chatbots an Hochschulen
Die 54,0. Konferenz der deutschsprachigen Informatikfachschaften kritisiert, dass viele Hochschulen derzeit LLM-basierte Support-Chatbots entwickeln und einsetzen, die keinen oder nur geringen Mehrwert bieten.
Die 54,0. KIF sieht bei vielen LLM-Umsetzungen für die Beantwortung von Standard-Supportanfragen insbesondere folgende Probleme:
- Versuche, menschliche Support-Systeme zu großen Teilen durch Chatbots zu ersetzen.
- Die Umverteilung finanzieller Ressourcen weg von guter Servicequalität.
- Die Generierung von potenziell falschen Informationen statt Verlinkungen auf bestätigte Quellen oder Verwendung von verifizierten Antwort-Vorlagen
- Zu wenig Fokus auf Qualitätssicherung und Testen solcher Systeme unter realistischen Bedingungen.
- Zu geringe Einbindung von Nutzenden, insbesondere Studierenden, bei der Entwicklung.
- Die Gefahr, dass die Fähigkeit Ergebnisse kritisch zu hinterfragen sowie die eigene Recherchefähigkeit der Nutzenden durch die Gestaltung solcher Systeme geschwächt werden.
Nur wenn diese Probleme abgestellt sind, können LLM-Umsetzungen zur Beantwortung von Anfragen eingesetzt werden, um Arbeitskräfte im Support zu entlasten, ohne gleichzeitig den Studierenden zu schaden.
Da meist effektiv nur Informationen, die bereits auf den Webseiten der Hochschule zugänglich sind, abgefragt werden können, ist die 54,0. KIF der Meinung, dass ein als Suchfunktion dargestelltes RAG-System für viele Anwendungsfälle besser geeignet ist, als eine Darstellung als Chatbot. Die Darstellung als Chatbot unterstützt die Idee, dass LLMs Suchmaschinen ersetzen könnten. Aus Perspektive der Nutzenden vermittelt die Darstellung als Suchfunktion zudem besser, dass Lösungen möglicherweise noch nicht existieren und der menschliche Support dann kontaktiert werden sollte.
Die 54,0. KIF betont dabei, dass semantische Suchfunktionen eine sinnvolle Ergänzung, aber keine Alternative zu aktuellen und gut gepflegten Websites und Support-Diensten sein können. Die 54,0. KIF fordert die Verwaltungen von Hochschulen auf, ihren Einsatz von LLM-gestützten Systemen kritischer zu reflektieren und solche Systeme immer vorrangig aus Nutzendenperspektive zu betrachten.
Zusätzlich weist die 54,0. KIF im Kontext dieser Resolution auch auf die ethischen, datenschutzrechtlichen und umwelttechnischen Probleme von LLMs hin, auf die die KIF 53,5 („Code of Conduct Demokratische KI“) und KIF 53,0 („KI-Tools an Hochschulen“) bereits hingewiesen haben.
