KIF450:Automatisierte Auswertung von (Programmier-)Übungen aka. self service credits im Studium

Aus KIF

Hier ist der Link zum Pad: Pad

Ergebnisse

== Einordnung == * NICHT: CampusManagmentSystems (CMS) * E-Learning (Schnittmenge mit CMS) * Alles was Übungsbetrieb betrifft * z.B. ILIAS, LonCapa (parametriesierte Aufgaben), Programmieraufgaben, Moodle, <bitte ergaenzen> * weiter Bereich

== Inhaltlich: Self-Service-Credits == * Grading/Noten * Unit-testing * kein Feedback * unfair * viele Unis haben eigenes System * Feedback optimal * wünschenswert die 1:1 Situation * persönliches Feedback von Experten * Feedback beim E-Learning * soll möglichst nah ans Optimum * EML * es gibt Musterlösung * es wird pro Fehler (bei typischen Fehlern) Feedback automatisch generiert * vollständigkeit bei durchschnittlich xx%

== Fragen hier == * Was gibt es an Unis? * Wie implementiert man so einen Ablauf in den Übungsbetrieb? (Basic how to) * Wie werden Angebote wahrgenommen/evaluiert? * Geht es nur um Programmieren Aufgaben, oder E-Lerning Aufgaben allgemein? * Nein, E-lreaning Infrastruktur ist quasi Vorraussetzung

Wo gibt es was?

=== Uni Göttingen === * hin und wieder verschiedenste Varianten eingesetzt * ILIAS in Anfängervorlesungen sowie LonCapa (ca. 30% der Übungspunkte, mehrere hundert Abgaben/Woche) * E-Klausur in Erstsemesterveranstaltung * <wie heißt Ellas Zeug?> * Online Abgaben, mit händischer Korrektur * Unit-Testing bei verschiedenen Veranstaltungen mit Programmieraufgaben * automatisiertes Grading mit Wettbewerbscharakter bei Algorithmenpraktikum (hier kein Feedback, Veranstaltung unbenotet) * eher unstrukturiert, aber mit HiWis besetzt durch SQM und von ein paar Professoren unterstützt * wird immer weiter und mehr verwendet * wir finden es aber sehr interessant und würden gerne weiter gehen in den Bereich hochautomatisierter Korrektur * Bis zu 700 Teilnhmer in INformatik (stetig wachsend Veranstaltung)

=== Uni Erlangen === * haben Ilias-Instanz -> studienbegleitend (ab und zu Quiz, sehr selten) * Virtuelle Hochschule Bayern, Online-Kurse für Selbststudium -> gibts halt * Automatisierte Bewertung: * automatische Testcase-Korrektur, aber nur Testcases * kein Vergleich zu händischer Korrektur, bei der man gesagt bekommt, was genau falsch ist/was man besser machen kann * 1000 pro Jahrgang (600 in der Algorithmik/ Programmierung) * manche Module auch händisch (nach)korrigiert

=== Uni Heidelberg === * viele Zettelabgaben * Python-Skripte => kein Feedback was genau falsch ist * bei Einsteigervorlesungen alles per Hand * 400 Teilnehmer

=== TU Graz === * ein paar die online korrigiert werden * Online-Quiz

=== HU Berlin === * alles pro Hand soweit bekannt, nichts automatisch * auch Ankreuztest wird per Hand korrigiert

=== Uni Bremen === * ersten 2 Semester Programmiereinführung: komplett manuelle Korrektur * Junit-Tests zur Hilfe * 400 bis 600 Teilnehmer * elektronische Klausur => mit Junit-Tests-Korrektur, nur stellenweise von Hand nachkorrigiert * keine Code-Qualität

=== Uni Bielefeld === * wohl nichts automatisiert * Erstsemester-Vorlesung 400-500 Leute, komplett händisch * automatisiertes Feedback in fortgrschrittener Haskellvorlesung wird Studierenden gereicht

=== Karlsruhe === * guckt immer noch Mensch drüber * automatisiertes Abgabesystem: Junit-Tests im Vorhinein

===TU Darmstadt === * 1200 Studierende * Tutoren lassen Junit-tests drüber laufen, jedoch Kontrolle auch noch händisch * Code-Monkey https://nabla.algo.informatik.tu-darmstadt.de/codemonkeys/app/ * Feedback System nicht bekannt (Forum existiert, aber nicht spezifisch dazu) * eigene Abgaben (im Browser) sind nicht speicherbar * System stürzt ab * Keine Musterlösungen

=== LMU München === * Backstage für die Korrektur (als Antowortsystem in Vorlesungen/Interaktionssystem) * Hat Macken und wird neu geschrieben * Es gibt ein Facher, das großtenteils durch Unit-Test bestimmt wird (Software-Entwicklung) * ca 800 Leute am Anfang, ca600 bei Klausur (Algorithmen und Datenstruckturen, SS17)

=== Uni Augsburg === * Zettelabgaben & Code per E-mail

== Kritik == * Junit-Testcases sagen nur richtig oder falsch * Robustheit der Systeme (Hardwareseitig?) * Es werden, bei gleichem Arbeitsaufwand insgesamt, weniger Tutoren eingestellt

== Ausprägungen == * Nur Unit-Tests als einziges Syystem für Bewertung * Unit Test Ruckgabe als Feedback + Bewertung * Unit-Tests als komplementäres Feedback/Korrektur + händische Korrektur * Rein händische Korrektur (evtl elektronische Einsendungen)

== Ziel == * Reso evtl nächste KIF * wenn zu viele Leute für manuelle Korrektur, dann macht es bitte auf diese/jene Art * was wollen wir Universitäten empfehlen? * Sind MassiveOpenOnlineCourses eine Alternative?

Interessante Paper