KIF530:Prüfungen im Zeitalter Generativer KI (KI-sensible Prüfungen)

Einleitung

Hilfe, KI kann meine Prüfungen bestehen! [name=Ganz viele Lehrende]

---

Was kann KI (bestehen)?

• Wissensabfragen
• Text formulieren
• Einfache Matheaufgaben
• Programmieraufgaben

Das umfasst vermutlich einen guten Teil der ersten Semester.

---

Falsche Schlüsse

• Offene Prüfungsformen abschaffen
  • Hausarbeiten
  • Projekte
• Studis überwachen
• Hilfsmittel verbieten
• Prüfungen schwerer machen, damit KI nicht mehr besteht

---

Verhältnismäßigkeit

Hochschulen sind meist staatlich und dadurch dem Grundsatz der Verhältnismäßigkeit verpflichtet!

---

Constructive Alignment

Constructive alignment is a teaching principle that ensures a holistic alignment between intended learning outcomes, teaching and learning activities, and assessment tasks. [name=Nach John Biggs]

---

Generative KI bedroht bestehende Prüfungsformen - im Guten wie im Schlechten. Viele Hochschulen und Lehrende sind verunsichert und überlegen, wie sie darauf reagieren können. Aber wie wollen wir eigentlich, dass Prüfungen aussehen? Und ausgehend davon: Wie wollen wir, dass Lehre aussieht und was und wie sollten Studierende eigentlich Dinge können?

In diesem AK wollen wir Empfehlungen für Lehrende und Hochschulen erarbeiten. Der erste Teil des AKs besteht aus einer Einführung in das Thema und im zweiten Teil wollen wir dann Empfehlungen erarbeiten.

Dieser AK steht KIF und KoMa offen. Dabei sollen mathematische Lehre (inkl. Mathegrundlagen für Informatik) und nichtmathematische Lehre im AK etwa gleich gewichtet werden.

Ziel des AKs

Empfehlungen für Lehrende und Hochschulen:

• Wie wollen wir geprüft werden?

Themen zu Diskussion

1. Wenn KI in der Praxis zur Verfügung steht - Wie sollten wir dann Lernziele/Kompetenzen anpassen?
2. Wie gehen wir um mit notwendigen Basics, die KI aber beherrscht?
   • Wie motiviert man Studierende nicht die Abkürzung zu nehmen?
3. Vergleich “Schummeln mit und ohne KI”
4. Wie macht man Schummeln unattraktiv für Studis?

Dabei berücksichtigen:

• Studifreundlichkeit
• Umsetzbarkeit durch Lehrende
• Prüfungformate anpassen

Diskussion zu den THemen

• in höheren Semestern kann KI helfen, aber braucht Anleitung -> wie überträgt sich das auch die ersten Semester mit Basics
• KI ist gut darin Einzelkomponenten zu machen, aber Gesamtverständnis brauchen die Studis
• Aus größeren Projekten lernen mit Unterstützung von erfahreneren Studis
  • Problem: Was, wenn man noch keine Programmiererfahrung hat?

Diskussion

1. Wenn KI in der Praxis zur Verfügung steht - Wie sollten wir dann Lernziele/Kompetenzen anpassen?

• Änderungen Kompetenzen/Lernziele:
  • grundsätzlicher Umgang mit AI (als Tool):
    • Was ist KI, wie funktioniert sie?
    • Wann kann sie helfen, wann kann sie schaden?
  • Programmieren mit KI unterstützung
    • Konzept muss vom Studi verstanden werden
    • innere Details/Implementierung verlieren an Wichtigkeit?
  • KI Ausgaben analysieren/hinterfragen können
  • den größeren Überblick haben und Zusammenhänge verstehen
    • (z.B. bei größeren Projekten)
  • Teamarbeit + Integration von KI (in der Gruppe mit der KI arbeiten)
  • Abstraktes Denken wird wichtiger
  • Wissenschaftliches Arbeiten!!! (TODO: Änderung)
• KI ist schnell sich entwickelde Technologie
  • Konsequenz: schnellere und flexibelere Änderung der Themen/Kompetenzen/Lernziele

Probleme

• es ist unklar was KI kann und können wird
• KI hat basiert auf veralteten Trainingsdaten
• Vorbereitung auf die Arbeit/Forschung später mit KI
• wenn KI benutzt wird geht potentiel das Wissen verloren wie man es selbst macht und kann die KI nicht gut prüfen
  • KI müsste ein begleitendes Tool sein
• Texte selbst schreiben ist unbeliebt und nicht so wichtig?
• KI beeinträchtig die Souveränität?
• KI ist vielleicht irgendwann nicht mehr genug verfügbar? Energieknappheit? Souveränität?
• KI Ausgaben sollten weiterhin überprüft werden können -> eher 2.

2. Wie gehen wir um mit notwendigen Basics, die KI aber beherrscht?

• Wie motiviert man Studierende nicht die Abkürzung zu nehmen?

Probleme

• Wie kann man erkennen ob die studis es verstanden haben
• Trivial für ki aber nicht trivial für studi > wenn ein problem für die ki nicht trivial ist dann ist es unmöglich für die erstis
• Schwierig schriftlich verständnis abzufragen da ki das auch kann
• Komplexität nicht erhöhen da es sich um basis skills/module handelt
• Ki wird immer besser -> triviale aufgaben die die ki momentan nicht lösen kann werden später von der ki lösbar sein (wahrscheinlich)
• Keine deterministische ausgabe von ki -> ki lösungen können nicht leicht nach plagiat geprüft werden (achtung false flags)
• Qualität der ki ausgaben können besser sein wenn mehr geld in die ki investiert wurde

Lösungen

• Mündliche Abfrage der Lösungen
• Zwischenprüfung zu Klausurvorraussetzungen
• KI benutzen um in einer Zwischenprüfung rückfragen zu formulieren-> skalierbarkeit
• Basic inhalt -> schnelle/automatisierte korrektur
• Aufgaben nicht komplizierter machen sondern anders stellen bzw andere Anforderungen stellen (task force 1)
• Projektdokumentation im verständnis vorzuweisen
• Verdacht auf Ki -> testat

3. Vergleich “Schummeln mit und ohne KI”

• Verschiedene Prüfungsformen haben andere Möglichkeiten zu Schummeln. Im folgenden werden die verschiedenen Prüfungsformen mit und ohne KI betrachtet:

Prüfungsform	ohne KI	mit KI
Übungszettel	- Googeln - abschreiben alter Lösungen abschreiben von anderen Gruppen	- KI (Copy&Paste) - Teile abschreiben
Projektarbeit	- fremde Hilfe - unerlaubte Zusammenarbeit	- Aufgabenstellung von KI lösen lassen & kopieren - Teilaufgaben lösen lassen & kopieren
Haus-/Abschlussarbeiten	- Ghostwriting - (Teil-)Plagiate - Aufgaben outsourcen (z.B. Beiweise)	- Frage beantworten lassen - Gliederung erstellen lassen - Stichpunkte in Text umwandeln lassen (Copy&Paste)
Präsenzklausur	- unerlaubte Spicker - abschreiben - Handy nutzen (z.B. Google) - Stellvertreterprüfung - raffiniertere Methoden	- Handy nutzen (Aufgabe als Input (Bild oder Aufgabenstellung eingeben + lösen lassen))
Online-Klausur	alles Mögliche	alles Mögliche mit KI anstatt Google
Präsentation	- Kopfhörer + jemand der vorsagt - Vorbereitung von fremden übernehmen lassen	Vorbereitung von KI machen lassen anschließende Fragen mit KI Spracherkennung beantworten lassen und “vorlesen”
mündliche Prüfung	- Kopfhörer + Anruf + eine fachkundige Person	- Kopfhörer + Anruf + Person mit KI Zugang - Kopfhörer + KI mit Spracherkennung + -ausgabe

4. Wie macht man Schummeln unattraktiv für Studis?

Probleme

• Lernen ist anstrengend und menschliches Gehirn will Abkürzungen nehmen
• Zusammenarbeit war schon immer gewünscht - ist mit KI ja auch nicht unbedingt anders
• Bestimmte Kompetenzen muss man vermitteln
• Sich mit dem Lernstoff zu beschäftigen ist gut fürs Lernen
• Problem: In Präsenz lässt sich KI gut ausschließen, anders eher nicht so leicht
• Kultur des Schämens
• Studis verwenden KI, weil sie die Zulassung erreichen müssen
• Studis verwenden KI, weil sie die Aufgaben nicht alleine gelöst bekommen
• Niveau darf nicht einfach nur sinken, um es einfacher zu machen
• Problem: Kultur des Schummelns -> Fühlt sich schummeln gut an? Fühlt sich das wie ein Erfolgserlebnis an?
  • Vielleicht aber auch um “weiter zu kommen”
• Leistungsdruck
• Keine Möglichkeit für Hilfe oder einen Dialog, wenn man nicht weiter kommt
• Selbstkonzept: Unangehm, dass man vielleicht nicht so gut in Mathe ist, wie man dachte

Lösungen

• Vermitteln, dass es selbst zu lösen besser ist
• Handschriftliche Lösung
  • Ist problematisch
• Mündliches Testat, falls Lösung KI-generiert wirkt
• Übungsgelegenheiten ohne Leistungsdruck
  • z.B. einfachere Präsenzaufgaben in Tutorien (statt dort Zettel nachzubesprechen)
  • Nur ein Teil der Aufgaben bewertet
• Qualität der Lehre erhöhen -> Dass Leute nicht mehr abgehängt werden
• “Versuchen” belohnen
  • Statt “Vorrechnen” könnte man auch Vorgehen/Ansatz vorstellen lassen
• Kultur des “selbst versuchen”
• Aufgaben von einfach nach schwer staffeln, damit man mehr Erfolgserlebnisse hat
• Programmieraufgaben als Zwischenweg zwischen Rechnen und Beweisen (Primär für Exportmathe interessant)
• Spaß erhöhen
• Zwischenprüfung statt verpflichtende Aufgaben

Empfehlungen

https://md.kif.rocks/FCqXU3EOTfiMdFDndwwSyQ#