KIF450:Automatisierte Auswertung von (Programmier-)Übungen aka. self service credits im Studium: Unterschied zwischen den Versionen
Aus KIF
Keine Bearbeitungszusammenfassung |
Keine Bearbeitungszusammenfassung |
||
| Zeile 3: | Zeile 3: | ||
= Ergebnisse = | = Ergebnisse = | ||
== Einordnung == * NICHT: CampusManagmentSystems (CMS) * E-Learning (Schnittmenge mit CMS) * Alles was Übungsbetrieb betrifft * z.B. ILIAS, LonCapa (parametriesierte Aufgaben), Programmieraufgaben, Moodle, <bitte ergaenzen> * weiter Bereich | == Einordnung == | ||
* NICHT: CampusManagmentSystems (CMS) | |||
* E-Learning (Schnittmenge mit CMS) | |||
** Alles was Übungsbetrieb betrifft | |||
** z.B. ILIAS, LonCapa (parametriesierte Aufgaben), Programmieraufgaben, Moodle, <bitte ergaenzen> | |||
** weiter Bereich | |||
== Inhaltlich: Self-Service-Credits == * Grading/Noten * Unit-testing * kein Feedback * unfair * viele Unis haben eigenes System * Feedback optimal * wünschenswert die 1:1 Situation * persönliches Feedback von | == Inhaltlich: Self-Service-Credits == | ||
* Grading/Noten | |||
** Unit-testing | |||
** kein Feedback | |||
** unfair | |||
** viele Unis haben eigenes System | |||
* Feedback optimal | |||
** wünschenswert die 1:1 Situation | |||
** persönliches Feedback von _Experten_ | |||
* Feedback beim E-Learning | |||
** soll möglichst nah ans Optimum | |||
* EML | |||
** es gibt Musterlösung | |||
** es wird pro Fehler (bei typischen Fehlern) Feedback automatisch generiert | |||
** vollständigkeit bei durchschnittlich xx% | |||
== Fragen hier == * Was gibt es an Unis? * Wie implementiert man so einen Ablauf in den Übungsbetrieb? (Basic how to) * Wie werden Angebote wahrgenommen/evaluiert? * Geht es nur um Programmieren Aufgaben, oder E-Lerning Aufgaben allgemein? * Nein, E-lreaning Infrastruktur ist quasi Vorraussetzung | == Fragen hier == | ||
* Was gibt es an Unis? | |||
* Wie implementiert man so einen Ablauf in den Übungsbetrieb? (Basic how to) | |||
* Wie werden Angebote wahrgenommen/evaluiert? | |||
* Geht es nur um Programmieren Aufgaben, oder E-Lerning Aufgaben allgemein? | |||
** Nein, E-lreaning Infrastruktur ist quasi Vorraussetzung | |||
== Wo gibt es was? == | == Wo gibt es was? == | ||
=== Uni Göttingen === * hin und wieder verschiedenste Varianten eingesetzt * ILIAS in Anfängervorlesungen sowie LonCapa (ca. 30% der Übungspunkte, mehrere hundert Abgaben/Woche) * E-Klausur in Erstsemesterveranstaltung * <wie heißt Ellas Zeug?> * Online Abgaben, mit händischer Korrektur * Unit-Testing bei verschiedenen Veranstaltungen mit Programmieraufgaben * automatisiertes Grading mit Wettbewerbscharakter bei Algorithmenpraktikum (hier kein Feedback, Veranstaltung unbenotet) * eher unstrukturiert, aber mit HiWis besetzt durch SQM und von ein paar Professoren unterstützt * wird immer weiter und mehr verwendet * wir finden es aber sehr interessant und würden gerne weiter gehen in den Bereich hochautomatisierter Korrektur * Bis zu 700 Teilnhmer in INformatik (stetig wachsend Veranstaltung) | === Uni Göttingen === | ||
* hin und wieder verschiedenste Varianten eingesetzt | |||
** ILIAS in Anfängervorlesungen sowie LonCapa (ca. 30% der Übungspunkte, mehrere hundert Abgaben/Woche) | |||
** E-Klausur in Erstsemesterveranstaltung | |||
** <wie heißt Ellas Zeug?> | |||
** Online Abgaben, mit händischer Korrektur | |||
** Unit-Testing bei verschiedenen Veranstaltungen mit Programmieraufgaben | |||
** automatisiertes Grading mit Wettbewerbscharakter bei Algorithmenpraktikum (hier kein Feedback, Veranstaltung unbenotet) | |||
* eher unstrukturiert, aber mit HiWis besetzt durch SQM und von ein paar Professoren unterstützt | |||
* wird immer weiter und mehr verwendet | |||
* wir finden es aber sehr interessant und würden gerne weiter gehen in den Bereich hochautomatisierter Korrektur | |||
* Bis zu 700 Teilnhmer in INformatik (stetig wachsend Veranstaltung) | |||
=== Uni Erlangen === * haben Ilias-Instanz - | === Uni Erlangen === | ||
* haben Ilias-Instanz -> studienbegleitend (ab und zu Quiz, sehr selten) | |||
* Virtuelle Hochschule Bayern, Online-Kurse für Selbststudium -> gibts halt | |||
* Automatisierte Bewertung: | |||
** automatische Testcase-Korrektur, aber nur Testcases | |||
** kein Vergleich zu händischer Korrektur, bei der man gesagt bekommt, was genau falsch ist/was man besser machen kann | |||
* 1000 pro Jahrgang (600 in der Algorithmik/ Programmierung) | |||
* manche Module auch händisch (nach)korrigiert | |||
=== Uni Heidelberg === * viele Zettelabgaben * Python-Skripte = | === Uni Heidelberg === | ||
* viele Zettelabgaben | |||
* Python-Skripte => kein Feedback was genau falsch ist | |||
* bei Einsteigervorlesungen alles per Hand | |||
* 400 Teilnehmer | |||
=== TU Graz === * ein paar die online korrigiert werden * Online-Quiz | === TU Graz === | ||
* ein paar die online korrigiert werden | |||
* Online-Quiz | |||
=== HU Berlin === * alles pro Hand soweit bekannt, nichts automatisch * auch Ankreuztest wird per Hand korrigiert | === HU Berlin === | ||
* alles pro Hand soweit bekannt, nichts automatisch | |||
* auch Ankreuztest wird per Hand korrigiert | |||
=== Uni Bremen === * ersten 2 Semester Programmiereinführung: komplett manuelle Korrektur * Junit-Tests zur Hilfe * 400 bis 600 Teilnehmer * elektronische Klausur = | === Uni Bremen === | ||
* ersten 2 Semester Programmiereinführung: komplett manuelle Korrektur | |||
* Junit-Tests zur Hilfe | |||
* 400 bis 600 Teilnehmer | |||
* elektronische Klausur => mit Junit-Tests-Korrektur, nur stellenweise von Hand nachkorrigiert | |||
* keine Code-Qualität | |||
=== Uni Bielefeld === * wohl nichts automatisiert * Erstsemester-Vorlesung 400-500 Leute, komplett händisch * automatisiertes Feedback in fortgrschrittener Haskellvorlesung wird Studierenden gereicht | === Uni Bielefeld === | ||
* wohl nichts automatisiert | |||
* Erstsemester-Vorlesung 400-500 Leute, komplett händisch | |||
* automatisiertes Feedback in fortgrschrittener Haskellvorlesung wird Studierenden gereicht | |||
=== Karlsruhe === * guckt immer noch Mensch drüber * automatisiertes Abgabesystem: Junit-Tests im Vorhinein | === Karlsruhe === | ||
* guckt immer noch Mensch drüber | |||
* automatisiertes Abgabesystem: Junit-Tests im Vorhinein | |||
===TU Darmstadt === * 1200 Studierende * Tutoren lassen Junit-tests drüber laufen, jedoch Kontrolle auch noch händisch * Code-Monkey https://nabla.algo.informatik.tu-darmstadt.de/codemonkeys/app/ * Feedback System nicht bekannt (Forum existiert, aber nicht spezifisch dazu) * eigene Abgaben (im Browser) sind nicht speicherbar * System stürzt ab * Keine Musterlösungen | ===TU Darmstadt === | ||
* 1200 Studierende | |||
* Tutoren lassen Junit-tests drüber laufen, jedoch Kontrolle auch noch händisch | |||
* Code-Monkey https://nabla.algo.informatik.tu-darmstadt.de/codemonkeys/app/ | |||
** Feedback System nicht bekannt (Forum existiert, aber nicht spezifisch dazu) | |||
** eigene Abgaben (im Browser) sind nicht speicherbar | |||
** System stürzt ab | |||
** Keine Musterlösungen | |||
=== LMU München === * Backstage für die Korrektur (als Antowortsystem in Vorlesungen/Interaktionssystem) * Hat Macken und wird neu geschrieben * Es gibt ein Facher, das großtenteils durch Unit-Test bestimmt wird (Software-Entwicklung) * ca 800 Leute am Anfang, ca600 bei Klausur (Algorithmen und Datenstruckturen, SS17) | === LMU München === | ||
* Backstage für die Korrektur (als Antowortsystem in Vorlesungen/Interaktionssystem) | |||
** Hat Macken und wird neu geschrieben | |||
* Es gibt ein Facher, das großtenteils durch Unit-Test bestimmt wird (Software-Entwicklung) | |||
* ca 800 Leute am Anfang, ca600 bei Klausur (Algorithmen und Datenstruckturen, SS17) | |||
=== Uni Augsburg === * Zettelabgaben & | === Uni Augsburg === | ||
* Zettelabgaben & Code per E-mail | |||
== Kritik == * Junit-Testcases sagen nur richtig oder falsch * Robustheit der Systeme (Hardwareseitig?) * Es werden, bei gleichem Arbeitsaufwand insgesamt, weniger Tutoren eingestellt | == Kritik == | ||
* Junit-Testcases sagen nur richtig oder falsch | |||
* Robustheit der Systeme (Hardwareseitig?) | |||
* Es werden, bei gleichem Arbeitsaufwand insgesamt, weniger Tutoren eingestellt | |||
== Ausprägungen == * Nur Unit-Tests als einziges Syystem für Bewertung * Unit Test Ruckgabe als Feedback + Bewertung * Unit-Tests als komplementäres Feedback/Korrektur + händische Korrektur * Rein händische Korrektur (evtl elektronische Einsendungen) | == Ausprägungen == | ||
* Nur Unit-Tests als einziges Syystem für Bewertung | |||
* Unit Test Ruckgabe als Feedback + Bewertung | |||
* Unit-Tests als komplementäres Feedback/Korrektur + händische Korrektur | |||
* Rein händische Korrektur (evtl elektronische Einsendungen) | |||
== Ziel == | |||
* Reso evtl nächste KIF | |||
* wenn zu viele Leute für manuelle Korrektur, dann macht es bitte auf diese/jene Art | |||
* was wollen wir Universitäten empfehlen? | |||
* Sind MassiveOpenOnlineCourses eine Alternative? | |||
== Interessante Paper == | == Interessante Paper == | ||
Aktuelle Version vom 17. Juni 2017, 19:45 Uhr
Hier ist der Link zum Pad: Pad
Ergebnisse[Bearbeiten]
Einordnung[Bearbeiten]
- NICHT: CampusManagmentSystems (CMS)
- E-Learning (Schnittmenge mit CMS)
- Alles was Übungsbetrieb betrifft
- z.B. ILIAS, LonCapa (parametriesierte Aufgaben), Programmieraufgaben, Moodle, <bitte ergaenzen>
- weiter Bereich
Inhaltlich: Self-Service-Credits[Bearbeiten]
- Grading/Noten
- Unit-testing
- kein Feedback
- unfair
- viele Unis haben eigenes System
- Feedback optimal
- wünschenswert die 1:1 Situation
- persönliches Feedback von _Experten_
- Feedback beim E-Learning
- soll möglichst nah ans Optimum
- EML
- es gibt Musterlösung
- es wird pro Fehler (bei typischen Fehlern) Feedback automatisch generiert
- vollständigkeit bei durchschnittlich xx%
Fragen hier[Bearbeiten]
- Was gibt es an Unis?
- Wie implementiert man so einen Ablauf in den Übungsbetrieb? (Basic how to)
- Wie werden Angebote wahrgenommen/evaluiert?
- Geht es nur um Programmieren Aufgaben, oder E-Lerning Aufgaben allgemein?
- Nein, E-lreaning Infrastruktur ist quasi Vorraussetzung
Wo gibt es was?[Bearbeiten]
Uni Göttingen[Bearbeiten]
- hin und wieder verschiedenste Varianten eingesetzt
- ILIAS in Anfängervorlesungen sowie LonCapa (ca. 30% der Übungspunkte, mehrere hundert Abgaben/Woche)
- E-Klausur in Erstsemesterveranstaltung
- <wie heißt Ellas Zeug?>
- Online Abgaben, mit händischer Korrektur
- Unit-Testing bei verschiedenen Veranstaltungen mit Programmieraufgaben
- automatisiertes Grading mit Wettbewerbscharakter bei Algorithmenpraktikum (hier kein Feedback, Veranstaltung unbenotet)
- eher unstrukturiert, aber mit HiWis besetzt durch SQM und von ein paar Professoren unterstützt
- wird immer weiter und mehr verwendet
- wir finden es aber sehr interessant und würden gerne weiter gehen in den Bereich hochautomatisierter Korrektur
- Bis zu 700 Teilnhmer in INformatik (stetig wachsend Veranstaltung)
Uni Erlangen[Bearbeiten]
- haben Ilias-Instanz -> studienbegleitend (ab und zu Quiz, sehr selten)
- Virtuelle Hochschule Bayern, Online-Kurse für Selbststudium -> gibts halt
- Automatisierte Bewertung:
- automatische Testcase-Korrektur, aber nur Testcases
- kein Vergleich zu händischer Korrektur, bei der man gesagt bekommt, was genau falsch ist/was man besser machen kann
- 1000 pro Jahrgang (600 in der Algorithmik/ Programmierung)
- manche Module auch händisch (nach)korrigiert
Uni Heidelberg[Bearbeiten]
- viele Zettelabgaben
- Python-Skripte => kein Feedback was genau falsch ist
- bei Einsteigervorlesungen alles per Hand
- 400 Teilnehmer
TU Graz[Bearbeiten]
- ein paar die online korrigiert werden
- Online-Quiz
HU Berlin[Bearbeiten]
- alles pro Hand soweit bekannt, nichts automatisch
- auch Ankreuztest wird per Hand korrigiert
Uni Bremen[Bearbeiten]
- ersten 2 Semester Programmiereinführung: komplett manuelle Korrektur
- Junit-Tests zur Hilfe
- 400 bis 600 Teilnehmer
- elektronische Klausur => mit Junit-Tests-Korrektur, nur stellenweise von Hand nachkorrigiert
- keine Code-Qualität
Uni Bielefeld[Bearbeiten]
- wohl nichts automatisiert
- Erstsemester-Vorlesung 400-500 Leute, komplett händisch
- automatisiertes Feedback in fortgrschrittener Haskellvorlesung wird Studierenden gereicht
Karlsruhe[Bearbeiten]
- guckt immer noch Mensch drüber
- automatisiertes Abgabesystem: Junit-Tests im Vorhinein
TU Darmstadt[Bearbeiten]
- 1200 Studierende
- Tutoren lassen Junit-tests drüber laufen, jedoch Kontrolle auch noch händisch
- Code-Monkey https://nabla.algo.informatik.tu-darmstadt.de/codemonkeys/app/
- Feedback System nicht bekannt (Forum existiert, aber nicht spezifisch dazu)
- eigene Abgaben (im Browser) sind nicht speicherbar
- System stürzt ab
- Keine Musterlösungen
LMU München[Bearbeiten]
- Backstage für die Korrektur (als Antowortsystem in Vorlesungen/Interaktionssystem)
- Hat Macken und wird neu geschrieben
- Es gibt ein Facher, das großtenteils durch Unit-Test bestimmt wird (Software-Entwicklung)
- ca 800 Leute am Anfang, ca600 bei Klausur (Algorithmen und Datenstruckturen, SS17)
Uni Augsburg[Bearbeiten]
- Zettelabgaben & Code per E-mail
Kritik[Bearbeiten]
- Junit-Testcases sagen nur richtig oder falsch
- Robustheit der Systeme (Hardwareseitig?)
- Es werden, bei gleichem Arbeitsaufwand insgesamt, weniger Tutoren eingestellt
Ausprägungen[Bearbeiten]
- Nur Unit-Tests als einziges Syystem für Bewertung
- Unit Test Ruckgabe als Feedback + Bewertung
- Unit-Tests als komplementäres Feedback/Korrektur + händische Korrektur
- Rein händische Korrektur (evtl elektronische Einsendungen)
Ziel[Bearbeiten]
- Reso evtl nächste KIF
- wenn zu viele Leute für manuelle Korrektur, dann macht es bitte auf diese/jene Art
- was wollen wir Universitäten empfehlen?
- Sind MassiveOpenOnlineCourses eine Alternative?
