Bearbeiten von „KIF450:Automatisierte Auswertung von (Programmier-)Übungen aka. self service credits im Studium

Aus KIF
Warnung: Du bist nicht angemeldet. Deine IP-Adresse wird bei Bearbeitungen öffentlich sichtbar. Melde dich an oder erstelle ein Benutzerkonto, damit Bearbeitungen deinem Benutzernamen zugeordnet werden. Ein eigenes Benutzerkonto hat eine ganze Reihe von Vorteilen.

Die Bearbeitung kann rückgängig gemacht werden. Bitte prüfe den Vergleich unten, um sicherzustellen, dass du dies tun möchtest, und veröffentliche dann unten deine Änderungen, um die Bearbeitung rückgängig zu machen.

Aktuelle Version Dein Text
Zeile 1: Zeile 1:
Hier ist der Link zum Pad: [https://pad.informatik.uni-goettingen.de/p/kifautograding Pad]
Hier ist der Link zum Pad: [https://pad.informatik.uni-goettingen.de/p/kifautograding Pad]
= Ergebnisse =
== Einordnung ==
* NICHT: CampusManagmentSystems (CMS)
* E-Learning (Schnittmenge mit CMS)
** Alles was Übungsbetrieb betrifft
** z.B. ILIAS, LonCapa (parametriesierte Aufgaben), Programmieraufgaben, Moodle, <bitte ergaenzen>
** weiter Bereich
== Inhaltlich: Self-Service-Credits ==
* Grading/Noten
** Unit-testing
** kein Feedback
** unfair
** viele Unis haben eigenes System
* Feedback optimal
** wünschenswert die 1:1 Situation
** persönliches Feedback von _Experten_
* Feedback beim E-Learning
** soll möglichst nah ans Optimum
* EML
** es gibt Musterlösung
** es wird pro Fehler (bei typischen Fehlern) Feedback automatisch generiert
** vollständigkeit bei durchschnittlich xx%
== Fragen hier ==
* Was gibt es an Unis?
* Wie implementiert man so einen Ablauf in den Übungsbetrieb? (Basic how to)
* Wie werden Angebote wahrgenommen/evaluiert?
* Geht es nur um Programmieren Aufgaben, oder E-Lerning Aufgaben allgemein?
** Nein, E-lreaning Infrastruktur ist quasi Vorraussetzung
== Wo gibt es was? ==
=== Uni Göttingen ===
* hin und wieder verschiedenste Varianten eingesetzt
** ILIAS in Anfängervorlesungen sowie LonCapa (ca. 30% der Übungspunkte, mehrere hundert Abgaben/Woche)
** E-Klausur in Erstsemesterveranstaltung
** <wie heißt Ellas Zeug?>
** Online Abgaben, mit händischer Korrektur
** Unit-Testing bei verschiedenen Veranstaltungen mit Programmieraufgaben
** automatisiertes Grading mit Wettbewerbscharakter bei Algorithmenpraktikum (hier kein Feedback, Veranstaltung unbenotet)
* eher unstrukturiert, aber mit HiWis besetzt durch SQM und von ein paar Professoren unterstützt
* wird immer weiter und mehr verwendet
* wir finden es aber sehr interessant und würden gerne weiter gehen in den Bereich hochautomatisierter Korrektur
* Bis zu 700 Teilnhmer in INformatik  (stetig wachsend Veranstaltung)
=== Uni Erlangen ===
* haben Ilias-Instanz -> studienbegleitend (ab und zu Quiz, sehr selten)
* Virtuelle Hochschule Bayern, Online-Kurse für Selbststudium -> gibts halt
* Automatisierte Bewertung:
** automatische Testcase-Korrektur, aber nur Testcases
** kein Vergleich zu händischer Korrektur, bei der man gesagt bekommt, was genau falsch ist/was man besser machen kann
* 1000 pro Jahrgang (600 in der Algorithmik/ Programmierung)
* manche Module auch händisch (nach)korrigiert
=== Uni Heidelberg ===
* viele Zettelabgaben
* Python-Skripte => kein Feedback was genau falsch ist
* bei Einsteigervorlesungen alles per Hand
* 400 Teilnehmer
=== TU Graz ===
* ein paar die online korrigiert werden
* Online-Quiz
=== HU Berlin ===
* alles pro Hand soweit bekannt, nichts automatisch
* auch Ankreuztest wird per Hand korrigiert
=== Uni Bremen ===
* ersten 2 Semester Programmiereinführung: komplett manuelle Korrektur
* Junit-Tests zur Hilfe
* 400 bis 600 Teilnehmer
* elektronische Klausur => mit Junit-Tests-Korrektur, nur stellenweise von Hand nachkorrigiert
* keine Code-Qualität
=== Uni Bielefeld ===
* wohl nichts automatisiert
* Erstsemester-Vorlesung 400-500 Leute, komplett händisch
* automatisiertes Feedback in fortgrschrittener Haskellvorlesung wird Studierenden gereicht
=== Karlsruhe ===
* guckt immer noch Mensch drüber
* automatisiertes Abgabesystem: Junit-Tests im Vorhinein
===TU Darmstadt ===
* 1200 Studierende
* Tutoren lassen Junit-tests drüber laufen, jedoch Kontrolle auch noch händisch
* Code-Monkey https://nabla.algo.informatik.tu-darmstadt.de/codemonkeys/app/
** Feedback System nicht bekannt (Forum existiert, aber nicht spezifisch dazu)
** eigene Abgaben (im Browser) sind nicht speicherbar
** System stürzt ab
** Keine Musterlösungen
=== LMU München ===
* Backstage für die Korrektur (als Antowortsystem in Vorlesungen/Interaktionssystem)
** Hat Macken und wird neu geschrieben
* Es gibt ein Facher, das großtenteils durch Unit-Test bestimmt wird (Software-Entwicklung)
* ca 800 Leute am Anfang, ca600 bei Klausur (Algorithmen und Datenstruckturen, SS17)
=== Uni Augsburg ===
* Zettelabgaben & Code per E-mail
== Kritik ==
* Junit-Testcases sagen nur richtig oder falsch
* Robustheit der Systeme (Hardwareseitig?)
* Es werden, bei gleichem Arbeitsaufwand insgesamt, weniger Tutoren eingestellt
== Ausprägungen ==
* Nur Unit-Tests als einziges Syystem für Bewertung
* Unit Test Ruckgabe als Feedback + Bewertung
* Unit-Tests als komplementäres Feedback/Korrektur + händische Korrektur
* Rein händische Korrektur (evtl elektronische Einsendungen)
== Ziel ==
* Reso evtl nächste KIF
* wenn zu viele Leute für manuelle Korrektur, dann macht es bitte auf diese/jene Art
* was wollen wir Universitäten empfehlen?
* Sind MassiveOpenOnlineCourses eine Alternative?
== Interessante Paper ==
* http://www.kdd.org/kdd2016/papers/files/adf0798-singhA.pdf
* https://pub.uni-bielefeld.de/publication/2904509 und https://pub.uni-bielefeld.de/publication/2783224 von Benjamin Paaßen
Bitte kopiere keine Webseiten, die nicht deine eigenen sind, benutze keine urheberrechtlich geschützten Werke ohne Erlaubnis des Urhebers!
Du gibst uns hiermit deine Zusage, dass du den Text selbst verfasst hast, dass der Text Allgemeingut (public domain) ist oder dass der Urheber seine Zustimmung gegeben hat. Falls dieser Text bereits woanders veröffentlicht wurde, weise bitte auf der Diskussionsseite darauf hin. Bitte beachte, dass alle KIF-Beiträge automatisch unter der „Namensnennung-Weitergabe unter gleichen Bedingungen 2.5 “ stehen (siehe KIF:Urheberrechte für Einzelheiten). Falls du nicht möchtest, dass deine Arbeit hier von anderen verändert und verbreitet wird, dann klicke nicht auf „Seite speichern“.
Abbrechen Bearbeitungshilfe (wird in einem neuen Fenster geöffnet)