KIF515:Erfahrungsaustausch: KI-Tools und chatGPT an eurer HS

Aus KIF

Erfahrungsaustausch: KI-Tools und ChatGPT an eurer HS [Wunsch-Thema des BMBWF]

Bei der letzten KIF gab es eine Resolution mit Empfehlungen an Hochschule, wie mit KI-Tools umgegangen werden soll.

Wir wollen wissen, wie der Umgang an euren Hochschulen in der Praxis aussieht! Werden sie eingesetzt, seid ihr mit der Umsetzung zufrieden? Gibt es Tipps?

Kurz-Zusammenfassung

Spannender Austausch:

  • Sehr selten Leitlinien wie in der letzten Reso gefordert.
  • Klare und einheitliche Attributions-Regeln für die Benutzung von Generativer KI immer noch wichtig
  • Sehr häufig nicht zweckdienliche Mitigationsversuche vonseiten der HS, KI zu verhindern, teils dadurch auch Konsequenzen für Barrierefreiheit (etwa Dinge bewusst nicht Screenreader tauglich machen)
  • Ein paar interessante Ansätze zur Verwendung von Tools im Unterricht: Kritische Auseinandersetzung mit der Glaubwürdigkeit von KI-Tools als Unterrichtselement.
  • Aber allgemeine Haltung: Coding-Basics etc. immer noch notwendig, werden durch KI nicht überflüssig. KI-Tools ersetzen auch nicht die Lehre.

==> Forderungen als Resolution: https://wiki.kif.rocks/wiki/KIF515:Resolutionen/KI-Tools

Erfahrungsberichte

Berichte aus Hochschulen

  • Linz
    • Keine uniweiten Richtlinien
    • 0 Punkte bei KI-verdacht, ohne Nachweis
    • Quiz: Stimmt diese ChatGPT Antwort
      • Kritische Auseinandersetzung mit den KI-Antworten (in Vorlesungen)
    • Integrierte Tools (DeepL Autocorrect in Moodle) gute Idee
  • Hannover
    • Keine Leitlinie
      • Aktuell Arbeitsgruppe im Senat, Studis sind nicht in Gruppe vertreten
    • bei Benutzung angeben, in Quellen
    • Bei vermutlicher Benutzung schwer zu benoten
    • GPT 4.0, paid service
      • Kann zu Ungerechtigkeiten zwischen Studierenden führen
    • Besonders im Kreativbereich schwierig
  • Göttingen
    • Uni hat Handlungsempfehlung rausgegeben
    • Handlungsempfehlung hat teilweise Überarbeitungsbedarf
    • Studierende sollen KI in Klausuren nicht verwenden
    • ... und in eigenen Arbeiten die Verwendung kennzeichnen (auch bei Ideenfindung)
    • Generative LLMs (je nach Lesart der Handreichung) als valide Quellenangabe erlaubt
  • Oldenburg
    • Inzwischen geht mit ChatGPT auch Data Mining
    • Größter Nutzen beim Verfassen von “Boilerplate”
    • Erklärungen funktionieren gut, Faktenwissen weniger
    • Profs nicht immer 100 % up to date (generell schon, manchmal gibt es “Ach, das geht”-Momente), aber sehr interessiert an den aktuellen Entwicklungen
  • Kiel
    • Verbot, Lehrende können KI-Tools erlauben (Opt-In)
    • bei unzulässiger Verwendung von KI-Anwendungen können diese als Täuschungsversuch geahndet werden
  • Konstanz
    • Verwendung von KI zählt als Mithilfe einer dritten Person, Plagiat
  • Rostock
    • wenig besprochen
    • in einigen Lehrveranstaltungen verwenden, aber als Quelle angeben mit Prompts
  • Bremen
    • Hat schon länger ein Modul “Informatik und Gesellschaft” welches sich mit den Auswirkungen von Technologien beschäftigt
      • Oldenburg ebenso
  • Graz
    • Leitlinie veröffentlich: Leitlinie TUGraz
    • Ersetzen von Tutorien durch ChatGPT
      • Ausprobiert in einem Erstsemsterkurs
      • Schlechte Qualität der Lehre (und schlechter Eindruck für die Erstis)
      • Unterstützung ja, alleiniges Tool nein
      • Interessant z.B.: Individualisierte Lernprofile zur Unterstützung von Lehre
    • Bewertung von Leistungen durch KI (weder transparent noch fair)

Inhaltliche Erfahrungen

  • Verbot von KI-Tools
    • Nicht zielführend, "Katze aus dem Sack".
    • Statt Verbot lieber sinnvolle Spielregeln schaffen
    • Wunsch nach Akzeptanz von KI (LLM) (KIF510: Die Konferenz spricht sich gegen ein generelles Nutzungsverbot von KI-Tools an Hochschulen aus.)
  • Generated Text Classifier (Erkennen von KI-generiertem Text)
    • Werden von Lehrpersonen selten genutzt
    • Erfolg sehr gemischt, Katz-Maus-Spiel mit jeder Verbesserung
    • OpenAI hat tool-technisch aufgegeben, chatGPT zu erkennen
  • MoodleGPT:
    • Es ist quasi unmöglich, Moodle-Klausuren AI-proof zu gestalten
    • Aktuelle Möglichkeit als Prüfer sich zu schützen
      • Fragen nicht als Text, sondern als Bild (mit falschem Alt-Text) einbinden
      • Angabe als “captcha”
      • White on white Text
        • Probleme: Barrierefreiheit, Bilderkennung auch schon möglich…
      • So schlecht formulierte Angaben, dass nicht einmal chatGPT sie lösen kann
        • Überprüfung von Text-Verständnis statt Inhalt
    • Langfristig sind Online-Klausuren gefährdet
    • Code Review als Bewertung, die nicht von KI abhängt und auf Verständnis prüft
  • Verwendung von Tools als Teil des Unterrichts?
    • Ethik von chatGPT, Bildgeneration…, Datenschutz, Recht
    • Vorlesungen über KI: Oft sehr veraltet, weil sich Dinge schnell ändern
    • Tools entwickeln sich so schnell, dass Entscheidungen auf aktueller Tool-Lage ggf. bald wieder outdated sind
    • Tools sind jetzt Teil der Gesellschaft, akzeptieren und Lehre anpassen
  • Prompt Engineering als Lerninhalt?
    • Vergleichbar zur “inoffiziellen Google Kompetenz” bei Informatiker:innen
    • Unter den Unis nicht vertreten, langfristig Thema für Schulen?
    • Ändert sich auch von Tool zu Tool und über Zeit, Grundkompetenz aber ähnlich
    • Keine Anwesende Uni lehrt korrektes Prompten
    • Selten: Wie Modelle trainiert werden (gap filling / translation / long prompts / context / SEO wordsalad für Bilder)
    • Enorme unterschiede in Prompting: Image AIs vs. Text AIs
  • KI Tools mit Datenschutzbedenken vs Öffentliche Tools (open assistant)

Müssen Lehrinhalte geändert werden?

  • Coding Basics immer noch nötig
    • Debugging immer noch wichtiger Part zum Arbeiten mit Prompts
      • Aber Tools debuggen sich auch schon selbst, z.B. chatGPT mit feedback loop / run your code / automated selftesting und recode bis der test passt
    • Auswahl aus verschiedenen Lösungen notwendig
    • Man muss wissen, was man will, selbst bei GitHub Copilot
    • In gewissen Kontexten (z. B. Embedded Systems, wo wenig Ressourcen zur Verfügung stehen) ist der Einsatz von Copilot nicht möglich
  • Industrie braucht immer noch Coding Skills
    • Datenschutz bei sensiblen Projekten in der Berufswelt
  • Glaubwürdigkeit von AI unterrichten
    • Faktenkompetenz: “Neue” Fake news ("Halluzination" einer AI vs. absichtliche Manipulation)
  • Datenschutz und Chancengleichheit beachten: Wenn KI Teil des Unterrichts, was geb ich dem Tool? Kann ich es verpflichtend für Studis machen? Wie gehe ich mit Premium-Version und Co. um (==> nicht anhand von Output bewerten)?

Da wollen wir hin

  • Einheitliche Zitierregeln von Chat-Prompts (Attribution standardisieren)
    • Protokoll der Aufgabenbearbeitung (wie hab ich das Tool verwendet etc.)
    • Prompt (Bzw Chatverlauf) / tool / version / Zeitpunkt angeben? Eigene Links der Tool nach einiger Zeit invalide?
    • Prompt-Verzeichnis bei wichtigen Arbeiten für Texte, Bilder, Übersetzungen (?)
    • Autor muss für den zitierten Text von LLM in Arbeiten (z.B. Zusammenfassungen von Quellen) selbst verantwortlich sein
    • Regeln auch für Uni-Angehörige (z.B. bei Erstellung von Aufgaben, für die KI eingesetzt wurde)
  • Einheitliche Konsequenzen bei Verstoß
    • Aktuell bei vielen Unis Plagiat
    • Teils Unterscheidung je nach Studiengang (ist der Text das Ergebnis oder nur das Vehikel, welches die Erkenntnis transportiert?)
  • Barrierefreie, KI-sichere Prüfungsmethoden
    • Hard memorization vs combination
    • Auf Verständnis prüfen
Abgerufen von „https://wiki.kif.rocks/w/index.php?title=KIF515:Erfahrungsaustausch:_KI-Tools_und_chatGPT_an_eurer_HS&oldid=50105“