KIF530:KI in der Bewertung von Prüfungen

• Bonn ist nicht davon Betroffen
  • dass Prüfungen vollautomatisch durch KI geprüft werden
  • Bonn sieht automatisiertes Prüfen zB. von MC Klausuren als unproblematisch an
  • Diese Reso soll eher präventiv sein, und eine andere erweitern
• An der Uni LOH (Hannover) werden Grundlagenveranstaltungen mit KI überprüft
  • Da gibt es eine Fakinterne Moodle-Instanz und die ist
  • Ist das ein Integriertes Modul oder zugebaut? Unklar, und man weiß nicht ob es das gibt weil es dort kein IFG gibt
• Unit-Tests sind eigentlich vollkommen fine
• Wie sind unsere Meinungen zu Teilautomatisierten KI-Überprüfungen, wo das Tool nur eine Assistenz darstellt?
  • Aus sicht einer Person irrelevant, weil die Probleme von KI dadurch nicht aufgehoben werden
• Muss nicht immer ein Prof. das ganze abklären?
• Der Lehrverantwortlich muss das absegnen! Verwaltungsakt und so
• Problem: Die Bewertungen werden durch nutzung von KI undurchsichtig
• Welche Arten von Aufgaben gehören zu den Aufgaben, die potentiell mit KI bewertet werden würden?
  • Programmieraufgaben kann man mit Unit-Test machen?
  • Beweise können schwierig sein
  • Mathematische Aufgaben sind algorithmisch vielleicht in der Theorie klärbar, praktisch aber nicht
• Uns fällt auf: Es gibt bereits eine Reso, wo unter Punkt 9 dieses Problem angesprochen wird

Hier sind die zwei ursprünglichen Sätze:

Eine Bewertung durch KI-Tools birgt die Gefahr unfairer Bewertungen. Diese können durch Biases und Fehler sowie bewusstes Ausnutzen bestimmter Eigenschaften des KI-Tools entstehen. Aus diesem Grund muss die Bewertung immer Menschen – mit der in der Erklärung zu Punkt 8 erwähnten Befugnis – überlassen werden.

Ideen: - eine Nutzung zur findung einer Note - wichtig: Auch nicht als Hilfsmittel

Ideen für den Punkt 9: - “Entscheidungen von Leistungen dürfen nicht durch KI-Tools stattfinden.”

• Problem: Was wollen wir jetzt überhaupt machen?
  • Wollen wir eine neue Reso machen oder uns einfach einer Reso anschließen und einen § ändern?
  • Idee von der AK-Leitung: Wir schließen und der Reso an und ändern § 9

Resolutionsentwurf

Die 53,0. Konferenz der deutschsprachigen Informatikfachschaften bestätigt und erweitert die Resolution “KI-Tools an Hochschulen”, welche auf der 51,5. Konferenz der deutschsprachigen Informatikfachschaften verabschiedet wurde.

Die 53,0. Konferenz der deutschsprachigen Informatikfachschaften fordert die Hochschulen dazu auf, den Einsatz von KI-Tools hochschulweit einheitlich zu regeln und dabei:

1. Vorgesehene und ausgeschlossene Nutzungen von KI-Tools sind in Ordnungen der Hochschule festzuhalten.
2. Die Konferenz spricht sich gegen ein generelles Nutzungsverbot von KI-Tools an Hochschulen aus.
3. Die Konferenz sieht die Lehre in der Pflicht, Studierenden Chancen, Risiken und den verantwortungsvollen Umgang mit neuen Werkzeugen zu vermitteln.
4. Datenschutz ist bei der Verwendung von KI-Tools in der Lehre und im Hochschulbetrieb einzuhalten.
5. Für KI-Inhalte sind einheitliche und klar definierte Regeln zur Attribution festzuschreiben.
6. Bei Einsatz von KI-Tools müssen alle Studierenden die gleichen Voraussetzungen erhalten.
7. Aufgabenstellungen müssen für alle Studierenden barrierefrei bleiben, auch wenn dadurch unerlaubter Einsatz von KI-Tools vereinfacht wird.
8. KI-Tools sollen keinen Ersatz zur Vermittlung von Lehrinhalten darstellen.
9. KI-Tools dürfen bei der Entscheidungsfindung in der Bewertung von Prüfungsleistung und anderen studienverlaufsrelevanten Leistungen keinen Einfluss haben.

Erläuterungen: KI-Tools sind nach unserem Verständnis generative oder klassifizierende Hilfsmittel, um z. B. Medien (Texte, Bilder, …) anhand von Stichworten zu generieren, oder semantische Inhalte in Dokumenten zu suchen oder zu bewerten.

Mit KI-Inhalten bezeichnen wir jene Werke, die unter signifikanter Mithilfe von KI-Tools erstellt werden.

Zu (1) - Ordnungen:

Gute Regelungen gelten hochschulweit und passen sich neuen Entwicklungen an, indem sie nicht an spezifische Modelle oder Tools gebunden sind. Ordnungen sollen klarstellen, welche Verwendungen von KI-Tools von der Hochschule ausgeschlossen werden. Das macht die Regelungen für Studierende transparent, nachvollziehbar und unabhängig von den Entscheidungen einzelner Dozierender. Zu (2) - Kein KI Verbot:

KI-Tools bieten nach unserer Einschätzung keinen größeren Nutzen als menschliche Expert:innen (z.B. Studierende aus höheren Semestern). Die Möglichkeit, Inhalte von anderen erstellen oder verbessern zu lassen und als eigene Leistung auszugeben, besteht bereits ohne technische Hilfsmittel. Prüfungsformen werden durch das Erlauben von KI-Tools nicht empfindlicher gegenüber Fremdleistungen. Zu (3) - KI Lehre:

Studierende aller Fachrichtungen können von einem guten Umgang mit KI-Tools profitieren. Da diese eine breite fachunabhängige Einsetzbarkeit zeigen, sollten KI-Tools auch außerhalb von Informatikveranstaltungen in die Lehrinhalte aufgenommen werden. Zu (4) - Datenschutz: Es ist darauf zu achten, dass geschützte Daten von KI-Tools nicht repliziert werden können und es für das Studium nicht erforderlich ist und sein darf, persönliche Daten an Drittanbieter weiterzugeben.

Zu (5) - Regelungen zur Attribution Die Attribution von KI-Inhalten dient der Erfüllung wissenschaftlicher Standards, womit der Prozess der Erstellung von Inhalten bzw. die Art der Verwendung von KI nachvollziehbar gemacht werden soll. Zusätzlich ist – wenn möglich – eine Reproduzierbarkeit der KI-Inhalte, zumindest aber eine Nachvollziehbarkeit des Erstellungsprozesses durch ausreichende Protokollierung zu gewährleisten.

Die Regelungen zur Attribution sind nicht an ein Studienfach oder KI-Tool zu binden. Klar definierte Regeln erlauben eine wichtige Vergleichbarkeit. Idealerweise ist eine einheitliche Regelung über alle Hochschulen hinweg zu finden. Die Attribution sollte mindestens das verwendete KI-Tool sowie die verwendete Version und relevante Eingabe-Parameter umfassen.

Zu (6) - Gleiche Voraussetzungen beim Einsatz Einige KI-Tools können sehr teuer sein oder andere Barrieren zur Verwendung aufweisen. Bei verpflichtender Verwendung spezieller KI-Tools, muss sowohl die Kostenübernahme als auch die Erfüllung anderer Voraussetzungen durch die Hochschule für alle Studierenden gleich angeboten werden. Unterschiede in der Bewertung rein auf Basis der Qualität unterschiedlicher KI-Tools müssen verhindert werden.

Zu (7) - Vereinbarkeit der Barrierefreiheit Zur Verhinderung unerlaubter Nutzung von KI-Tools in Abgaben und Prüfungen werden teilweise Techniken eingesetzt, welche die Barrierefreiheit gegenüber Studierenden erheblich verschlechtern. Dazu gehört beispielsweise die Bereitstellung von Textaufgaben als Bild. Derartige Workarounds müssen vermieden werden. Um Täuschungsversuchen vorzubeugen ist es deshalb immer zielführender, Prüfungsmodi und -fragen kompetenzorientiert zu gestalten.

Zu (8) - Vermittlung von Lehrinhalten durch KI In der Wissenschaft und Lehre gibt es qualitätssichernde Prozesse, um Personen für ihre Bildungsbereiche auszubilden und ihnen eine Lehrbefugnis zu erteilen. Dies ist ein relevanter Aspekt des Bildungswesens, den ein KI-Tool explizit nicht erfüllen kann. Der Output eines KI-Tools kann in den meisten Fällen nicht klar genug nachvollzogen werden und kann demnach nicht durch Validierungsprozesse auf die Erfüllung wissenschaftlicher Standards geprüft werden.

Zu (9) - Eine Zuhilfenahme oder gar vollstänge Nutzung von KI Tools zur Notenfindung bei studienverlaufsrelvanten Leistungen darf nicht stattfinden.

Eine solche Bewertung führt zu Unklarkleiten und ist weder deterministisch noch im Nachhinein begründbar. Somit sind Bewertungen und Teilbewertungen von Leistungen durch KI Tools, die für den Studienverlauf relevant sind, in sich nicht gerecht. Außerdem haben KI-Tools leistungsverzerrende Bias. Auch eine Nachkontrolle durch ein:e menschliche:n Prüfer:in birgt die Gefahr für mangelnde Sorgfalt und ist vollkommen inakzeptabel. Die Bewertung muss deshalb immer vollständig Menschen – mit der in der Erklärung zu Punkt 8 erwähnten Befugnis – überlassen werden.

Für das Zwischenplenum:

“Außerdem haben KI-Tools Bias, …” - wir wollen darauf eingehen, dass auch Menschen Bias haben, aber Menschen haben haufenweise Bias und deswegen ist das In ordnung, aber KI Tools haben realistisch gesehen 3 verschiedene (sehr amerikanische) Bias und das ist uncool, aber wie formulieren wir das?