KIF450:Automatisierte Auswertung von (Programmier-)Übungen aka. self service credits im Studium: Unterschied zwischen den Versionen

Aus KIF
(Die Seite wurde neu angelegt: „Hier ist der Link zum Pad: [https://pad.informatik.uni-goettingen.de/p/kifautograding Pad]“)
 
Keine Bearbeitungszusammenfassung
 
(Eine dazwischenliegende Version desselben Benutzers wird nicht angezeigt)
Zeile 1: Zeile 1:
Hier ist der Link zum Pad: [https://pad.informatik.uni-goettingen.de/p/kifautograding Pad]
Hier ist der Link zum Pad: [https://pad.informatik.uni-goettingen.de/p/kifautograding Pad]
= Ergebnisse =
== Einordnung ==
* NICHT: CampusManagmentSystems (CMS)
* E-Learning (Schnittmenge mit CMS)
** Alles was Übungsbetrieb betrifft
** z.B. ILIAS, LonCapa (parametriesierte Aufgaben), Programmieraufgaben, Moodle, <bitte ergaenzen>
** weiter Bereich
== Inhaltlich: Self-Service-Credits ==
* Grading/Noten
** Unit-testing
** kein Feedback
** unfair
** viele Unis haben eigenes System
* Feedback optimal
** wünschenswert die 1:1 Situation
** persönliches Feedback von _Experten_
* Feedback beim E-Learning
** soll möglichst nah ans Optimum
* EML
** es gibt Musterlösung
** es wird pro Fehler (bei typischen Fehlern) Feedback automatisch generiert
** vollständigkeit bei durchschnittlich xx%
== Fragen hier ==
* Was gibt es an Unis?
* Wie implementiert man so einen Ablauf in den Übungsbetrieb? (Basic how to)
* Wie werden Angebote wahrgenommen/evaluiert?
* Geht es nur um Programmieren Aufgaben, oder E-Lerning Aufgaben allgemein?
** Nein, E-lreaning Infrastruktur ist quasi Vorraussetzung
== Wo gibt es was? ==
=== Uni Göttingen ===
* hin und wieder verschiedenste Varianten eingesetzt
** ILIAS in Anfängervorlesungen sowie LonCapa (ca. 30% der Übungspunkte, mehrere hundert Abgaben/Woche)
** E-Klausur in Erstsemesterveranstaltung
** <wie heißt Ellas Zeug?>
** Online Abgaben, mit händischer Korrektur
** Unit-Testing bei verschiedenen Veranstaltungen mit Programmieraufgaben
** automatisiertes Grading mit Wettbewerbscharakter bei Algorithmenpraktikum (hier kein Feedback, Veranstaltung unbenotet)
* eher unstrukturiert, aber mit HiWis besetzt durch SQM und von ein paar Professoren unterstützt
* wird immer weiter und mehr verwendet
* wir finden es aber sehr interessant und würden gerne weiter gehen in den Bereich hochautomatisierter Korrektur
* Bis zu 700 Teilnhmer in INformatik  (stetig wachsend Veranstaltung)
=== Uni Erlangen ===
* haben Ilias-Instanz -> studienbegleitend (ab und zu Quiz, sehr selten)
* Virtuelle Hochschule Bayern, Online-Kurse für Selbststudium -> gibts halt
* Automatisierte Bewertung:
** automatische Testcase-Korrektur, aber nur Testcases
** kein Vergleich zu händischer Korrektur, bei der man gesagt bekommt, was genau falsch ist/was man besser machen kann
* 1000 pro Jahrgang (600 in der Algorithmik/ Programmierung)
* manche Module auch händisch (nach)korrigiert
=== Uni Heidelberg ===
* viele Zettelabgaben
* Python-Skripte => kein Feedback was genau falsch ist
* bei Einsteigervorlesungen alles per Hand
* 400 Teilnehmer
=== TU Graz ===
* ein paar die online korrigiert werden
* Online-Quiz
=== HU Berlin ===
* alles pro Hand soweit bekannt, nichts automatisch
* auch Ankreuztest wird per Hand korrigiert
=== Uni Bremen ===
* ersten 2 Semester Programmiereinführung: komplett manuelle Korrektur
* Junit-Tests zur Hilfe
* 400 bis 600 Teilnehmer
* elektronische Klausur => mit Junit-Tests-Korrektur, nur stellenweise von Hand nachkorrigiert
* keine Code-Qualität
=== Uni Bielefeld ===
* wohl nichts automatisiert
* Erstsemester-Vorlesung 400-500 Leute, komplett händisch
* automatisiertes Feedback in fortgrschrittener Haskellvorlesung wird Studierenden gereicht
=== Karlsruhe ===
* guckt immer noch Mensch drüber
* automatisiertes Abgabesystem: Junit-Tests im Vorhinein
===TU Darmstadt ===
* 1200 Studierende
* Tutoren lassen Junit-tests drüber laufen, jedoch Kontrolle auch noch händisch
* Code-Monkey https://nabla.algo.informatik.tu-darmstadt.de/codemonkeys/app/
** Feedback System nicht bekannt (Forum existiert, aber nicht spezifisch dazu)
** eigene Abgaben (im Browser) sind nicht speicherbar
** System stürzt ab
** Keine Musterlösungen
=== LMU München ===
* Backstage für die Korrektur (als Antowortsystem in Vorlesungen/Interaktionssystem)
** Hat Macken und wird neu geschrieben
* Es gibt ein Facher, das großtenteils durch Unit-Test bestimmt wird (Software-Entwicklung)
* ca 800 Leute am Anfang, ca600 bei Klausur (Algorithmen und Datenstruckturen, SS17)
=== Uni Augsburg ===
* Zettelabgaben & Code per E-mail
== Kritik ==
* Junit-Testcases sagen nur richtig oder falsch
* Robustheit der Systeme (Hardwareseitig?)
* Es werden, bei gleichem Arbeitsaufwand insgesamt, weniger Tutoren eingestellt
== Ausprägungen ==
* Nur Unit-Tests als einziges Syystem für Bewertung
* Unit Test Ruckgabe als Feedback + Bewertung
* Unit-Tests als komplementäres Feedback/Korrektur + händische Korrektur
* Rein händische Korrektur (evtl elektronische Einsendungen)
== Ziel ==
* Reso evtl nächste KIF
* wenn zu viele Leute für manuelle Korrektur, dann macht es bitte auf diese/jene Art
* was wollen wir Universitäten empfehlen?
* Sind MassiveOpenOnlineCourses eine Alternative?
== Interessante Paper ==
* http://www.kdd.org/kdd2016/papers/files/adf0798-singhA.pdf
* https://pub.uni-bielefeld.de/publication/2904509 und https://pub.uni-bielefeld.de/publication/2783224 von Benjamin Paaßen

Aktuelle Version vom 17. Juni 2017, 19:45 Uhr

Hier ist der Link zum Pad: Pad

Ergebnisse[Bearbeiten]

Einordnung[Bearbeiten]

  • NICHT: CampusManagmentSystems (CMS)
  • E-Learning (Schnittmenge mit CMS)
    • Alles was Übungsbetrieb betrifft
    • z.B. ILIAS, LonCapa (parametriesierte Aufgaben), Programmieraufgaben, Moodle, <bitte ergaenzen>
    • weiter Bereich

Inhaltlich: Self-Service-Credits[Bearbeiten]

  • Grading/Noten
    • Unit-testing
    • kein Feedback
    • unfair
    • viele Unis haben eigenes System
  • Feedback optimal
    • wünschenswert die 1:1 Situation
    • persönliches Feedback von _Experten_
  • Feedback beim E-Learning
    • soll möglichst nah ans Optimum
  • EML
    • es gibt Musterlösung
    • es wird pro Fehler (bei typischen Fehlern) Feedback automatisch generiert
    • vollständigkeit bei durchschnittlich xx%

Fragen hier[Bearbeiten]

  • Was gibt es an Unis?
  • Wie implementiert man so einen Ablauf in den Übungsbetrieb? (Basic how to)
  • Wie werden Angebote wahrgenommen/evaluiert?
  • Geht es nur um Programmieren Aufgaben, oder E-Lerning Aufgaben allgemein?
    • Nein, E-lreaning Infrastruktur ist quasi Vorraussetzung

Wo gibt es was?[Bearbeiten]

Uni Göttingen[Bearbeiten]

  • hin und wieder verschiedenste Varianten eingesetzt
    • ILIAS in Anfängervorlesungen sowie LonCapa (ca. 30% der Übungspunkte, mehrere hundert Abgaben/Woche)
    • E-Klausur in Erstsemesterveranstaltung
    • <wie heißt Ellas Zeug?>
    • Online Abgaben, mit händischer Korrektur
    • Unit-Testing bei verschiedenen Veranstaltungen mit Programmieraufgaben
    • automatisiertes Grading mit Wettbewerbscharakter bei Algorithmenpraktikum (hier kein Feedback, Veranstaltung unbenotet)
  • eher unstrukturiert, aber mit HiWis besetzt durch SQM und von ein paar Professoren unterstützt
  • wird immer weiter und mehr verwendet
  • wir finden es aber sehr interessant und würden gerne weiter gehen in den Bereich hochautomatisierter Korrektur
  • Bis zu 700 Teilnhmer in INformatik (stetig wachsend Veranstaltung)

Uni Erlangen[Bearbeiten]

  • haben Ilias-Instanz -> studienbegleitend (ab und zu Quiz, sehr selten)
  • Virtuelle Hochschule Bayern, Online-Kurse für Selbststudium -> gibts halt
  • Automatisierte Bewertung:
    • automatische Testcase-Korrektur, aber nur Testcases
    • kein Vergleich zu händischer Korrektur, bei der man gesagt bekommt, was genau falsch ist/was man besser machen kann
  • 1000 pro Jahrgang (600 in der Algorithmik/ Programmierung)
  • manche Module auch händisch (nach)korrigiert

Uni Heidelberg[Bearbeiten]

  • viele Zettelabgaben
  • Python-Skripte => kein Feedback was genau falsch ist
  • bei Einsteigervorlesungen alles per Hand
  • 400 Teilnehmer

TU Graz[Bearbeiten]

  • ein paar die online korrigiert werden
  • Online-Quiz

HU Berlin[Bearbeiten]

  • alles pro Hand soweit bekannt, nichts automatisch
  • auch Ankreuztest wird per Hand korrigiert

Uni Bremen[Bearbeiten]

  • ersten 2 Semester Programmiereinführung: komplett manuelle Korrektur
  • Junit-Tests zur Hilfe
  • 400 bis 600 Teilnehmer
  • elektronische Klausur => mit Junit-Tests-Korrektur, nur stellenweise von Hand nachkorrigiert
  • keine Code-Qualität

Uni Bielefeld[Bearbeiten]

  • wohl nichts automatisiert
  • Erstsemester-Vorlesung 400-500 Leute, komplett händisch
  • automatisiertes Feedback in fortgrschrittener Haskellvorlesung wird Studierenden gereicht

Karlsruhe[Bearbeiten]

  • guckt immer noch Mensch drüber
  • automatisiertes Abgabesystem: Junit-Tests im Vorhinein

TU Darmstadt[Bearbeiten]

  • 1200 Studierende
  • Tutoren lassen Junit-tests drüber laufen, jedoch Kontrolle auch noch händisch
  • Code-Monkey https://nabla.algo.informatik.tu-darmstadt.de/codemonkeys/app/
    • Feedback System nicht bekannt (Forum existiert, aber nicht spezifisch dazu)
    • eigene Abgaben (im Browser) sind nicht speicherbar
    • System stürzt ab
    • Keine Musterlösungen

LMU München[Bearbeiten]

  • Backstage für die Korrektur (als Antowortsystem in Vorlesungen/Interaktionssystem)
    • Hat Macken und wird neu geschrieben
  • Es gibt ein Facher, das großtenteils durch Unit-Test bestimmt wird (Software-Entwicklung)
  • ca 800 Leute am Anfang, ca600 bei Klausur (Algorithmen und Datenstruckturen, SS17)

Uni Augsburg[Bearbeiten]

  • Zettelabgaben & Code per E-mail

Kritik[Bearbeiten]

  • Junit-Testcases sagen nur richtig oder falsch
  • Robustheit der Systeme (Hardwareseitig?)
  • Es werden, bei gleichem Arbeitsaufwand insgesamt, weniger Tutoren eingestellt

Ausprägungen[Bearbeiten]

  • Nur Unit-Tests als einziges Syystem für Bewertung
  • Unit Test Ruckgabe als Feedback + Bewertung
  • Unit-Tests als komplementäres Feedback/Korrektur + händische Korrektur
  • Rein händische Korrektur (evtl elektronische Einsendungen)

Ziel[Bearbeiten]

  • Reso evtl nächste KIF
  • wenn zu viele Leute für manuelle Korrektur, dann macht es bitte auf diese/jene Art
  • was wollen wir Universitäten empfehlen?
  • Sind MassiveOpenOnlineCourses eine Alternative?


Interessante Paper[Bearbeiten]

Abgerufen von „https://wiki.kif.rocks/w/index.php?title=KIF450:Automatisierte_Auswertung_von_(Programmier-)Übungen_aka._self_service_credits_im_Studium&oldid=34227“