KIF515:Erfahrungsaustausch: KI-Tools und chatGPT an eurer HS

Erfahrungsaustausch: KI-Tools und ChatGPT an eurer HS [Wunsch-Thema des BMBWF]

Bei der letzten KIF gab es eine Resolution mit Empfehlungen an Hochschule, wie mit KI-Tools umgegangen werden soll.

Wir wollen wissen, wie der Umgang an euren Hochschulen in der Praxis aussieht! Werden sie eingesetzt, seid ihr mit der Umsetzung zufrieden? Gibt es Tipps?

Achtung: Es handelt sich bei diesem Artikel um eine redaktionelle Überarbeitung des Gesprächsprotokolls. Einzelne Punkte wurden für eine bessere Lesbarkeit verschoben, zusammengefasst, erweitert oder verkürzt. Die Live-Mitschrift während des AKs findet sich hier.

Kurz-Zusammenfassung

Spannender Austausch:

• Sehr selten Leitlinien wie in der letzten Reso gefordert.
• Klare und einheitliche Attributions-Regeln für die Benutzung von Generativer KI immer noch wichtig
• Sehr häufig nicht zweckdienliche Mitigationsversuche vonseiten der HS, KI zu verhindern, teils dadurch auch Konsequenzen für Barrierefreiheit (etwa Dinge bewusst nicht Screenreader tauglich machen)
• Ein paar interessante Ansätze zur Verwendung von Tools im Unterricht: Kritische Auseinandersetzung mit der Glaubwürdigkeit von KI-Tools als Unterrichtselement.
• Aber allgemeine Haltung: Coding-Basics etc. immer noch notwendig, werden durch KI nicht überflüssig. KI-Tools ersetzen auch nicht die Lehre.

==> Forderungen als Resolution: https://wiki.kif.rocks/wiki/KIF515:Resolutionen/KI-Tools

Erfahrungsberichte

Berichte aus Hochschulen

• Linz
  • Keine uniweiten Richtlinien
  • 0 Punkte bei KI-verdacht, ohne Nachweis
  • Quiz: Stimmt diese ChatGPT Antwort
    • Kritische Auseinandersetzung mit den KI-Antworten (in Vorlesungen)
  • Integrierte Tools (DeepL Autocorrect in Moodle) gute Idee

• Hannover
  • Keine Leitlinie
    • Aktuell Arbeitsgruppe im Senat, Studis sind nicht in Gruppe vertreten
  • bei Benutzung angeben, in Quellen
  • Bei vermutlicher Benutzung schwer zu benoten
  • GPT 4.0, paid service
    • Kann zu Ungerechtigkeiten zwischen Studierenden führen
  • Besonders im Kreativbereich schwierig

• Göttingen
  • Uni hat Handlungsempfehlung rausgegeben
  • Handlungsempfehlung hat teilweise Überarbeitungsbedarf
  • Studierende sollen KI in Klausuren nicht verwenden
  • ... und in eigenen Arbeiten die Verwendung kennzeichnen (auch bei Ideenfindung)
  • Generative LLMs (je nach Lesart der Handreichung) als valide Quellenangabe erlaubt

• Oldenburg
  • Inzwischen geht mit ChatGPT auch Data Mining
  • Größter Nutzen beim Verfassen von “Boilerplate”
  • Erklärungen funktionieren gut, Faktenwissen weniger
  • Profs nicht immer 100 % up to date (generell schon, manchmal gibt es “Ach, das geht”-Momente), aber sehr interessiert an den aktuellen Entwicklungen

• Kiel
  • Verbot, Lehrende können KI-Tools erlauben (Opt-In)
  • bei unzulässiger Verwendung von KI-Anwendungen können diese als Täuschungsversuch geahndet werden

• Konstanz
  • Verwendung von KI zählt als Mithilfe einer dritten Person, Plagiat

• Rostock
  • wenig besprochen
  • in einigen Lehrveranstaltungen verwenden, aber als Quelle angeben mit Prompts

• Bremen
  • Hat schon länger ein Modul “Informatik und Gesellschaft” welches sich mit den Auswirkungen von Technologien beschäftigt
    • Oldenburg ebenso

• Graz
  • Leitlinie veröffentlich: Leitlinie TUGraz
  • Ersetzen von Tutorien durch ChatGPT
    • Ausprobiert in einem Erstsemsterkurs
    • Schlechte Qualität der Lehre (und schlechter Eindruck für die Erstis)
    • Unterstützung ja, alleiniges Tool nein
    • Interessant z.B.: Individualisierte Lernprofile zur Unterstützung von Lehre
  • Bewertung von Leistungen durch KI (weder transparent noch fair)

• Weitere universitäre Erfahrungsberichte:
  • https://hochschulforumdigitalisierung.de/dossier/generative-ki
  • https://hochschulforumdigitalisierung.de/blog/chatgpt-im-hochschulkontext-eine-kommentierte-linksammlung

Inhaltliche Erfahrungen

• Verbot von KI-Tools
  • Nicht zielführend, "Katze aus dem Sack".
  • Statt Verbot lieber sinnvolle Spielregeln schaffen
  • Wunsch nach Akzeptanz von KI (LLM) (KIF510: Die Konferenz spricht sich gegen ein generelles Nutzungsverbot von KI-Tools an Hochschulen aus.)

• Generated Text Classifier (Erkennen von KI-generiertem Text)
  • Werden von Lehrpersonen selten genutzt
  • Erfolg sehr gemischt, Katz-Maus-Spiel mit jeder Verbesserung
  • OpenAI hat tool-technisch aufgegeben, chatGPT zu erkennen
    • Tooling für GPT(2/3)

• MoodleGPT:
  • Es ist quasi unmöglich, Moodle-Klausuren AI-proof zu gestalten
  • Aktuelle Möglichkeit als Prüfer sich zu schützen
    • Fragen nicht als Text, sondern als Bild (mit falschem Alt-Text) einbinden
    • Angabe als “captcha”
    • White on white Text
      • Probleme: Barrierefreiheit, Bilderkennung auch schon möglich…
    • So schlecht formulierte Angaben, dass nicht einmal chatGPT sie lösen kann
      • Überprüfung von Text-Verständnis statt Inhalt
  • Langfristig sind Online-Klausuren gefährdet
  • Code Review als Bewertung, die nicht von KI abhängt und auf Verständnis prüft

• Verwendung von Tools als Teil des Unterrichts?
  • Ethik von chatGPT, Bildgeneration…, Datenschutz, Recht
  • Vorlesungen über KI: Oft sehr veraltet, weil sich Dinge schnell ändern
  • Tools entwickeln sich so schnell, dass Entscheidungen auf aktueller Tool-Lage ggf. bald wieder outdated sind
  • Tools sind jetzt Teil der Gesellschaft, akzeptieren und Lehre anpassen

• Prompt Engineering als Lerninhalt?
  • Vergleichbar zur “inoffiziellen Google Kompetenz” bei Informatiker:innen
  • Unter den Unis nicht vertreten, langfristig Thema für Schulen?
  • Ändert sich auch von Tool zu Tool und über Zeit, Grundkompetenz aber ähnlich
  • Keine Anwesende Uni lehrt korrektes Prompten
  • Selten: Wie Modelle trainiert werden (gap filling / translation / long prompts / context / SEO wordsalad für Bilder)
  • Enorme unterschiede in Prompting: Image AIs vs. Text AIs

• KI Tools mit Datenschutzbedenken vs Öffentliche Tools (open assistant)
  • Selbst gehosted Systeme als Option?
    • Nicht so gut wie Cloud Systeme
    • Beispiel Stanford Alpaca: https://github.com/cocktailpeanut/dalai

Müssen Lehrinhalte geändert werden?

• Coding Basics immer noch nötig
  • Debugging immer noch wichtiger Part zum Arbeiten mit Prompts
    • Aber Tools debuggen sich auch schon selbst, z.B. chatGPT mit feedback loop / run your code / automated selftesting und recode bis der test passt
  • Auswahl aus verschiedenen Lösungen notwendig
  • Man muss wissen, was man will, selbst bei GitHub Copilot
  • In gewissen Kontexten (z. B. Embedded Systems, wo wenig Ressourcen zur Verfügung stehen) ist der Einsatz von Copilot nicht möglich

• Industrie braucht immer noch Coding Skills
  • Datenschutz bei sensiblen Projekten in der Berufswelt

• Glaubwürdigkeit von AI unterrichten
  • Faktenkompetenz: “Neue” Fake news ("Halluzination" einer AI vs. absichtliche Manipulation)

• Datenschutz und Chancengleichheit beachten: Wenn KI Teil des Unterrichts, was geb ich dem Tool? Kann ich es verpflichtend für Studis machen? Wie gehe ich mit Premium-Version und Co. um (==> nicht anhand von Output bewerten)?

Da wollen wir hin

• Einheitliche Zitierregeln von Chat-Prompts (Attribution standardisieren)
  • Protokoll der Aufgabenbearbeitung (wie hab ich das Tool verwendet etc.)
  • Prompt (Bzw Chatverlauf) / tool / version / Zeitpunkt angeben? Eigene Links der Tool nach einiger Zeit invalide?
  • Prompt-Verzeichnis bei wichtigen Arbeiten für Texte, Bilder, Übersetzungen (?)
  • Autor muss für den zitierten Text von LLM in Arbeiten (z.B. Zusammenfassungen von Quellen) selbst verantwortlich sein
  • Regeln auch für Uni-Angehörige (z.B. bei Erstellung von Aufgaben, für die KI eingesetzt wurde)

• Einheitliche Konsequenzen bei Verstoß
  • Aktuell bei vielen Unis Plagiat
  • Teils Unterscheidung je nach Studiengang (ist der Text das Ergebnis oder nur das Vehikel, welches die Erkenntnis transportiert?)

• Barrierefreie, KI-sichere Prüfungsmethoden
  • Hard memorization vs combination
  • Auf Verständnis prüfen