Bearbeiten von „KIF450:Automatisierte Auswertung von (Programmier-)Übungen aka. self service credits im Studium

Aus KIF
Warnung: Du bist nicht angemeldet. Deine IP-Adresse wird bei Bearbeitungen öffentlich sichtbar. Melde dich an oder erstelle ein Benutzerkonto, damit Bearbeitungen deinem Benutzernamen zugeordnet werden. Ein eigenes Benutzerkonto hat eine ganze Reihe von Vorteilen.

Die Bearbeitung kann rückgängig gemacht werden. Bitte prüfe den Vergleich unten, um sicherzustellen, dass du dies tun möchtest, und veröffentliche dann unten deine Änderungen, um die Bearbeitung rückgängig zu machen.

Aktuelle Version Dein Text
Zeile 3: Zeile 3:
= Ergebnisse =
= Ergebnisse =


== Einordnung ==
== Einordnung == * NICHT: CampusManagmentSystems (CMS) * E-Learning (Schnittmenge mit CMS) * Alles was Übungsbetrieb betrifft * z.B. ILIAS, LonCapa (parametriesierte Aufgaben), Programmieraufgaben, Moodle, <bitte ergaenzen> * weiter Bereich
* NICHT: CampusManagmentSystems (CMS)
* E-Learning (Schnittmenge mit CMS)
** Alles was Übungsbetrieb betrifft
** z.B. ILIAS, LonCapa (parametriesierte Aufgaben), Programmieraufgaben, Moodle, <bitte ergaenzen>
** weiter Bereich


== Inhaltlich: Self-Service-Credits ==
== Inhaltlich: Self-Service-Credits == * Grading/Noten * Unit-testing * kein Feedback * unfair * viele Unis haben eigenes System * Feedback optimal * wünschenswert die 1:1 Situation * persönliches Feedback von ''Experten'' * Feedback beim E-Learning * soll möglichst nah ans Optimum * EML * es gibt Musterlösung * es wird pro Fehler (bei typischen Fehlern) Feedback automatisch generiert * vollständigkeit bei durchschnittlich xx%
* Grading/Noten
** Unit-testing
** kein Feedback
** unfair
** viele Unis haben eigenes System
* Feedback optimal
** wünschenswert die 1:1 Situation
** persönliches Feedback von _Experten_
* Feedback beim E-Learning
** soll möglichst nah ans Optimum
* EML
** es gibt Musterlösung
** es wird pro Fehler (bei typischen Fehlern) Feedback automatisch generiert
** vollständigkeit bei durchschnittlich xx%


== Fragen hier ==
== Fragen hier == * Was gibt es an Unis? * Wie implementiert man so einen Ablauf in den Übungsbetrieb? (Basic how to) * Wie werden Angebote wahrgenommen/evaluiert? * Geht es nur um Programmieren Aufgaben, oder E-Lerning Aufgaben allgemein? * Nein, E-lreaning Infrastruktur ist quasi Vorraussetzung
* Was gibt es an Unis?
* Wie implementiert man so einen Ablauf in den Übungsbetrieb? (Basic how to)
* Wie werden Angebote wahrgenommen/evaluiert?
* Geht es nur um Programmieren Aufgaben, oder E-Lerning Aufgaben allgemein?
** Nein, E-lreaning Infrastruktur ist quasi Vorraussetzung


== Wo gibt es was? ==
== Wo gibt es was? ==


=== Uni Göttingen ===
=== Uni Göttingen === * hin und wieder verschiedenste Varianten eingesetzt * ILIAS in Anfängervorlesungen sowie LonCapa (ca. 30% der Übungspunkte, mehrere hundert Abgaben/Woche) * E-Klausur in Erstsemesterveranstaltung * <wie heißt Ellas Zeug?> * Online Abgaben, mit händischer Korrektur * Unit-Testing bei verschiedenen Veranstaltungen mit Programmieraufgaben * automatisiertes Grading mit Wettbewerbscharakter bei Algorithmenpraktikum (hier kein Feedback, Veranstaltung unbenotet) * eher unstrukturiert, aber mit HiWis besetzt durch SQM und von ein paar Professoren unterstützt * wird immer weiter und mehr verwendet * wir finden es aber sehr interessant und würden gerne weiter gehen in den Bereich hochautomatisierter Korrektur * Bis zu 700 Teilnhmer in INformatik (stetig wachsend Veranstaltung)
* hin und wieder verschiedenste Varianten eingesetzt
** ILIAS in Anfängervorlesungen sowie LonCapa (ca. 30% der Übungspunkte, mehrere hundert Abgaben/Woche)
** E-Klausur in Erstsemesterveranstaltung
** <wie heißt Ellas Zeug?>
** Online Abgaben, mit händischer Korrektur
** Unit-Testing bei verschiedenen Veranstaltungen mit Programmieraufgaben
** automatisiertes Grading mit Wettbewerbscharakter bei Algorithmenpraktikum (hier kein Feedback, Veranstaltung unbenotet)
* eher unstrukturiert, aber mit HiWis besetzt durch SQM und von ein paar Professoren unterstützt
* wird immer weiter und mehr verwendet
* wir finden es aber sehr interessant und würden gerne weiter gehen in den Bereich hochautomatisierter Korrektur
* Bis zu 700 Teilnhmer in INformatik (stetig wachsend Veranstaltung)


=== Uni Erlangen ===
=== Uni Erlangen === * haben Ilias-Instanz -&gt; studienbegleitend (ab und zu Quiz, sehr selten) * Virtuelle Hochschule Bayern, Online-Kurse für Selbststudium -&gt; gibts halt * Automatisierte Bewertung: * automatische Testcase-Korrektur, aber nur Testcases * kein Vergleich zu händischer Korrektur, bei der man gesagt bekommt, was genau falsch ist/was man besser machen kann * 1000 pro Jahrgang (600 in der Algorithmik/ Programmierung) * manche Module auch händisch (nach)korrigiert
* haben Ilias-Instanz -> studienbegleitend (ab und zu Quiz, sehr selten)
* Virtuelle Hochschule Bayern, Online-Kurse für Selbststudium -> gibts halt
* Automatisierte Bewertung:
** automatische Testcase-Korrektur, aber nur Testcases
** kein Vergleich zu händischer Korrektur, bei der man gesagt bekommt, was genau falsch ist/was man besser machen kann
* 1000 pro Jahrgang (600 in der Algorithmik/ Programmierung)
* manche Module auch händisch (nach)korrigiert


=== Uni Heidelberg ===
=== Uni Heidelberg === * viele Zettelabgaben * Python-Skripte =&gt; kein Feedback was genau falsch ist * bei Einsteigervorlesungen alles per Hand * 400 Teilnehmer
* viele Zettelabgaben
* Python-Skripte => kein Feedback was genau falsch ist
* bei Einsteigervorlesungen alles per Hand
* 400 Teilnehmer


=== TU Graz ===
=== TU Graz === * ein paar die online korrigiert werden * Online-Quiz
* ein paar die online korrigiert werden
* Online-Quiz


=== HU Berlin ===
=== HU Berlin === * alles pro Hand soweit bekannt, nichts automatisch * auch Ankreuztest wird per Hand korrigiert
* alles pro Hand soweit bekannt, nichts automatisch
* auch Ankreuztest wird per Hand korrigiert


=== Uni Bremen ===
=== Uni Bremen === * ersten 2 Semester Programmiereinführung: komplett manuelle Korrektur * Junit-Tests zur Hilfe * 400 bis 600 Teilnehmer * elektronische Klausur =&gt; mit Junit-Tests-Korrektur, nur stellenweise von Hand nachkorrigiert * keine Code-Qualität
* ersten 2 Semester Programmiereinführung: komplett manuelle Korrektur
* Junit-Tests zur Hilfe
* 400 bis 600 Teilnehmer
* elektronische Klausur => mit Junit-Tests-Korrektur, nur stellenweise von Hand nachkorrigiert
* keine Code-Qualität


=== Uni Bielefeld ===
=== Uni Bielefeld === * wohl nichts automatisiert * Erstsemester-Vorlesung 400-500 Leute, komplett händisch * automatisiertes Feedback in fortgrschrittener Haskellvorlesung wird Studierenden gereicht
* wohl nichts automatisiert
* Erstsemester-Vorlesung 400-500 Leute, komplett händisch
* automatisiertes Feedback in fortgrschrittener Haskellvorlesung wird Studierenden gereicht


=== Karlsruhe ===
=== Karlsruhe === * guckt immer noch Mensch drüber * automatisiertes Abgabesystem: Junit-Tests im Vorhinein
* guckt immer noch Mensch drüber
* automatisiertes Abgabesystem: Junit-Tests im Vorhinein


===TU Darmstadt ===
===TU Darmstadt === * 1200 Studierende * Tutoren lassen Junit-tests drüber laufen, jedoch Kontrolle auch noch händisch * Code-Monkey https://nabla.algo.informatik.tu-darmstadt.de/codemonkeys/app/ * Feedback System nicht bekannt (Forum existiert, aber nicht spezifisch dazu) * eigene Abgaben (im Browser) sind nicht speicherbar * System stürzt ab * Keine Musterlösungen
* 1200 Studierende
* Tutoren lassen Junit-tests drüber laufen, jedoch Kontrolle auch noch händisch
* Code-Monkey https://nabla.algo.informatik.tu-darmstadt.de/codemonkeys/app/
** Feedback System nicht bekannt (Forum existiert, aber nicht spezifisch dazu)
** eigene Abgaben (im Browser) sind nicht speicherbar
** System stürzt ab
** Keine Musterlösungen


=== LMU München ===
=== LMU München === * Backstage für die Korrektur (als Antowortsystem in Vorlesungen/Interaktionssystem) * Hat Macken und wird neu geschrieben * Es gibt ein Facher, das großtenteils durch Unit-Test bestimmt wird (Software-Entwicklung) * ca 800 Leute am Anfang, ca600 bei Klausur (Algorithmen und Datenstruckturen, SS17)
* Backstage für die Korrektur (als Antowortsystem in Vorlesungen/Interaktionssystem)
** Hat Macken und wird neu geschrieben
* Es gibt ein Facher, das großtenteils durch Unit-Test bestimmt wird (Software-Entwicklung)
* ca 800 Leute am Anfang, ca600 bei Klausur (Algorithmen und Datenstruckturen, SS17)


=== Uni Augsburg ===
=== Uni Augsburg === * Zettelabgaben &amp; Code per E-mail
* Zettelabgaben & Code per E-mail


== Kritik ==
== Kritik == * Junit-Testcases sagen nur richtig oder falsch * Robustheit der Systeme (Hardwareseitig?) * Es werden, bei gleichem Arbeitsaufwand insgesamt, weniger Tutoren eingestellt
* Junit-Testcases sagen nur richtig oder falsch
* Robustheit der Systeme (Hardwareseitig?)
* Es werden, bei gleichem Arbeitsaufwand insgesamt, weniger Tutoren eingestellt


== Ausprägungen ==
== Ausprägungen == * Nur Unit-Tests als einziges Syystem für Bewertung * Unit Test Ruckgabe als Feedback + Bewertung * Unit-Tests als komplementäres Feedback/Korrektur + händische Korrektur * Rein händische Korrektur (evtl elektronische Einsendungen)
* Nur Unit-Tests als einziges Syystem für Bewertung
* Unit Test Ruckgabe als Feedback + Bewertung
* Unit-Tests als komplementäres Feedback/Korrektur + händische Korrektur
* Rein händische Korrektur (evtl elektronische Einsendungen)
 
== Ziel ==
* Reso evtl nächste KIF
* wenn zu viele Leute für manuelle Korrektur, dann macht es bitte auf diese/jene Art
* was wollen wir Universitäten empfehlen?
* Sind MassiveOpenOnlineCourses eine Alternative?


== Ziel == * Reso evtl nächste KIF * wenn zu viele Leute für manuelle Korrektur, dann macht es bitte auf diese/jene Art * was wollen wir Universitäten empfehlen? * Sind MassiveOpenOnlineCourses eine Alternative?


== Interessante Paper ==
== Interessante Paper ==
Bitte kopiere keine Webseiten, die nicht deine eigenen sind, benutze keine urheberrechtlich geschützten Werke ohne Erlaubnis des Urhebers!
Du gibst uns hiermit deine Zusage, dass du den Text selbst verfasst hast, dass der Text Allgemeingut (public domain) ist oder dass der Urheber seine Zustimmung gegeben hat. Falls dieser Text bereits woanders veröffentlicht wurde, weise bitte auf der Diskussionsseite darauf hin. Bitte beachte, dass alle KIF-Beiträge automatisch unter der „Namensnennung-Weitergabe unter gleichen Bedingungen 2.5 “ stehen (siehe KIF:Urheberrechte für Einzelheiten). Falls du nicht möchtest, dass deine Arbeit hier von anderen verändert und verbreitet wird, dann klicke nicht auf „Seite speichern“.
Abbrechen Bearbeitungshilfe (wird in einem neuen Fenster geöffnet)