KIF460:Evaluation von Modulen

Evaluation von Modulen

Pad: https://md.kif.rocks/460-evaluation

Austausch

Chemnitz

• nach HSG soll FSR nur Mitwirkung an Evaluationen
• werden bald systemakkreditiert, QS kann dann nicht allein bei Fachschaft liege
• normalerweise Papier, ausprobiert mal Online, da war die Rücklaufquote grauenhaft
• abgesehen davon, wenn der PRof. freiwillig Formulare austeilt

Lübeck

• haben ein altes System, stellen auf neues um; wie und was evaluiert wird
• altes System: jedes Modul wird jedes Semester evaluiert
• Moodle: da stehen Veranstaltungen drin
• Eva in Moodle, läuft von der UNi aus
• Standardfragenkatalog "wie hilfreich war die LV, Interesse, bla + Freitextfeld (pos, neg)"
• insgesamt Studiengangsevaluation alle paar Jahre
• Es werden i.d.R. nur Vorlesung evaluiert, meist kommen aber auch Kommentare der Studenten zur Übung
• Rücklaufquote eher mäh, 32 %
• Zeitpunkt 3 Wochen vor Semesterschluss bis Klausur

neu: - jeder STudiengang FOrmular mit TOp3 und Flop3 Fächern -> nach 2 /3 Semestern, damit danach noch eine Eva ermöglicht ist - auswertung jedes Semester, top3 und flop3 werden evaluiert, neue Dozenten auch - plus Dozenten, Fachschaft, wenn es gewünscht - dann nur standardmäßig alle drei Jahre

was tun wir mit den Ergebnissen - FS hat Zugriff auf Ergebnisse, als Ordner - müssen den Ordner wieder zurück geben - Ergebnisse nicht anonymisiert

Veröffentlichung - Veröffentlichung der Ergebnisse ohne Freitexte auf der website, mit Freitexte nur an den Dozenten - als FS suchen wir uns die 10 schlechtesten Kurse raus, lesen sich Eva durch, und sprechen mit den Leuten, wenn die KRitik gerechtfertigt ist, wird mit dem Prof gereden, hilft eher naja - bei jungen Leuten oder Übungsleitern hilft das auch manchmal - Software von BlubbSoft - Zensus (seit 2016)

Göttingen

• Links:
  • (rechts oben Evaluationsordnung) https://www.uni-goettingen.de/de/484406.html
  • https://user.informatik.uni-goettingen.de/~anna.boesemann/Fragebogen.pdf
  • https://user.informatik.uni-goettingen.de/~anna.boesemann/Fragebogen_Lehrende.pdf
• EvaSys im großen Stil
• Umfragen haben drei Teile
• Uni, Fak, LV-spezifisch
• Codierung der Lehrveranstaltungsauswertungen sind problematisch (Evaluation VL PE), nicht so richtig ne Ahnung, welche das ist
• die es gibt frei formulierte Fragen auf dem Bogen, wenn man die vergessen hat als Dozent ist doof
• EvaOrdnung steht nicht drin, wer evaluiert, alle PostDocs, aller wiss. Nachwuchs, Jun-Profs werden evaluiert, Pflichtveranstaltungen, regelmäßig (alle 3 Jahre), alle anderen dürfen sich das aussuchen
• manche Profs wehren sich dagegen Tutorien zu evaluieren
• Papier, 20 ct pro Bogen, der ausgefüllt worden (an EvaSys)
• selbst online
• programmieren grade eigene Software
• Berichte sind öffentlich, alles was weniger Rücklaufquote als 5 oder 10 hat, wird rausgeworfen
• dann kein Rücklauf an die Profs
• es darf keine Beleidigung an den Prof gehen
• alles wo Namen drin sind, oder Beleidigungen wird rausgelöscht
• EvaOrdnung: Prof. soll mit Studis besprechen, Problem BLockkurse
• QM-Ansprach an sich selbst: 3 Tage
• Studi muss den Bogen selbst im Umschlag ans Sekretariat bringen
• Rücklauf: Stuko bekommt die Ergebnisse, Studiendekan hat Rohdatenzugriff
• Stuko bespricht den Bericht
• Profs fragen sich warum die Leute, wenn man mit den Ergebnissen in die VL geht, die Leute vergeben auf Zensurskala [1..6], aber begründen das nicht in der VL später nicht

neue Idee für Feedback: - 3 Etappen-Fahrplan: - rede mit Profs - was war, was ist, was soll in der Zukunft sein - was erwartet man von den Studierenden - Frage Studis von Veranstaltung - Merge Ergebnisse und rede mit Prof

Ilmenau

• Professoren sind Gott
• freiwillige Lehrevaluation, EvaSys
• jeder Prof / Dozent / Hiwi, kann Fragebogen zu einem beliebigen Zeitpunkt austeilen und selbst Feedback geben, VL, Ü, L, P
• Ergebnisse gehen an QM, die machen damit nichts
• wenn die VL schlecht ist, ist keiner mehr da am Ende
• evtl. nur 8 ausgefüllte Zettel bei 90 Leute VL

bald durch Qualitätsmanagment - jedes Jahre Fächer festgelegt, durch Fachschaft angeregt, mit Cooldown - QM evaluiert - Problem: es gibt Fächer, die gibt es höchstens einmal im Jahr, manche Profs umgehen die - $\exists$ QM handbuch, Ordnung zu Qualitätsmanagment - Fragen der Studierenden, quantitativ oder qualitativ mit wenigen Studis, - Profs können mit guter Begründung Teile davon aussetzen - Ergebnisse momentan nur für Professoren zu sehen, manche stellen das freiwillig online - Feedback für die Studis gibts an sich nicht, außer dass es Listen gibt, was die besten VEranstaltungen sind - Online-Befragung, für Dinge die sinnvoll online sind

Form: - Papier und online beides möglich, normalerweise Papier

Bonn

• grundsätzlich alle Module werden evaluiert jd. Semester
• Profs bekommt PDF, druckt die aus, verteilt das
• Hauspost -> leere Bögen an Profs, ausgeteilt, ausgefüllt, zurückgegeben
• Formulare gehen an FS zurück, halbautomagische Auswertung (software: sdaps)
• Software eher mäh
• Veröffentlichung auf der Website
• Namen von Profs nicht zensiert, Tutoren nur wenn negativ
• müssen die Freitextfelder abtippen
• grundsätzlich relativ viel Aufwand, teilweise in einem Modul rotieren drei Profs

Emden Leer

• Möglichkeit sehr regelmäßig zu evaluieren
• alle zwei Jahre muss man die VL evaluieren
• schlechte Lehre oder unmotivierte Studis -> werden evaluiert
• die bei denen es schlecht läuft, gehen halt mit den Ergebnissen nicht in die Vorlesung
• die Evaergebnisse können von den Studis nicht eingesehen werden
• QM bekommt Fragen aus dem Fachbereich und führt dann die Umfrage durch

EvaSys

• QM bekommt die Ergebnisse
• Software ist ultra-langsam
• Profs erstellen Templates, QM muss nochmal drüber gehen und ins EvaSys einpflegen
• generiert Berichte
• Freitextfelder als JPG gespeichert
• Funfacts:
• keine Tempaltes (eine Frage ändern auf allen Fragebögen, dann müssen die Dokumente auf allen Fragebögen geändert werden)
• eine Stunde für zwei Berichte (übelst langsam)
• Scanner ist hochleistungsscanner ist unglaublich laut, Mitarbeitix mit Kopfhörer
• Dozenten habens falsch ausgedruckt
• Kreuze korrigieren geht nicht, falls einmal erkannt oder verklickt

Arbeitszeiterfassung

• Chemnitz eher schwierig
• Arbeitsaufwand in den normalen Evabögen, mit Zahlen
• manche Unis machen Workload-Erfassung
• sowohl kleinere als auch größere Workloads wirken sich negativ auf Gesamtzufriedenheit aus
• "wie viele Stunden pro Woche verwenden Sie durchschnittlich für die Veranstaltung in der Vorlesungszeit"

Stolperfallen

• Englischsprachig
• Daten nicht zusammen werfen, weil sprachliche Unterschiede
• oder professionell übersetzen lassen
• Datenschutz
• Freitext
• es werden keine konstruktiven Dinge reingeschrieben oder leer gelassen
• man erkennt aber grob in welche Richtung es geht, geht es um die Übungen, VL, Folien, manchmal sind sie auch sehr gut, was sie schreien, amnchaml haben sie auch einfach Kritik am Studium an sich, und schreiben das dann für eine bestimmte Veranstaltung

Evaluation an die Dozierenden bringen

Situation: Wir haben evaluiert und Ergebnisse sind da. Ziel: Wie sorgt man dafür, dass die Ergebnisse wünschenswerte Auswirkungen haben?

Franzi:

• Mit welchem Ziel evaluiert man ?
  • 1/3 Vorlesungsstil verändern
  • 2/3 haben sich die Änderungen ausgewirkt, was muss ich weiter verbessern
  • im letzten viertel evaluierst du alles, du kannst das nicht mehr realisieren, dafür haben die nächsten was davon, aber Workload geht da nicht abzugreifen
  • Vortragstil: 1. oder 2. Drittel, aber Ergebnisse mit den Studierenden besprechen, manchmal schreiben die Studis was hin und wisse genau was sie meinen, aber der Dozent nicht
• Nach der Klausur: keine Möglichkeit zum Feedback an die Studierenden? Zumindest sehr schwierig. Vielleicht auch geringere Rücklaufquote
  • von Dozenten oft: "Wird nur bewertet, wie schwer die Klausur war"
• Workload-Evaluation:
  • Tagebuch (inkl. mit Komilitonen über Fach beim Mensen reden)
  • man kriegt das nicht exakt raus, aber besser als "wie lange durchschnittlich, bla"
    • Problem: Last von der Prüfungsvorbereiten nicht mit drin
• Wie oft sollte man evaluieren? (kontinuierliche Evaluation)
  • kontinuierliche Evaluation
  • Eva im Semester 1 führt nicht nur zu Veränderung der Vorlesung in Semester 1, sondern auch später noch, Vergleiche der Indikatoren sinnvoll
  • wie wirkt sich häufige Eva auf die Beteiligung aus?
    • option negativ, weil Studierende mit Evaluationen zugespamt werden
    • option positiv, weil die Studierenden die Auswirkungen ihrer Beteiligung sehen
• Pro/Contra: Online vs. Papier
• Problem: Dozierende tun nichts/weigern sich gegen "Aktion" auf Evaluationsergebnisse
  • Es braucht eine Stelle, die Befugnisse hat Professoren zu beeinflussen (Ordnung, Mittel)
    • z.B. über StudiendekanInnen, Studienkommission
    • Beschwerdemanagement (Göttingen: direkt im Präsidium, aber nicht Rechenschaftspflichtig, Lehre-Schlichtungsstelle, Beschwerde auch bspw. gegen Präsidenten möglich, Haken für streng vertraulich, Beschwerde-Stelle sucht sich dann ihre Ansprechpartner um die Beschwerde zu bearbeiten)
  • Reinforcement (Belohnung und Bestrafung)
    • Lehrstuhl-Etat
    • SQM-Mittel Zusagen an Evaluation hängen (aktive Verbesserung)
  • Lehrpreise (Beispiel Ilmenau)
    • z.B. Ilmenau und München
    • Profs bekommen Kekse für gute Lehre und öffentliches Klatschen
    • Uniweiter Lehrpreis (unter Studierenden nicht angesehen)
    • Fakultätsweiter Lehrpreis mit 4 Kategorien (Pflicht VL, Pflicht Ü, Wahlpflicht VL, Wahlpflicht Ü) mit besten Evaluationsergebnissen in Sommer+Winter zusammen
    • Minimalanzahl Menschen in VL als stat. Größe und Qualität
• Studierende erzählen nichts von ihren Problemen
  • FSR erzählt EXZESSIV wie sie auf Probleme von Studierenden reagiert haben und was dabei rumgekommen ist -> Egebnis war, dass langsam häufiger Dinge bei uns landen

Datenschutz bei Evaluationen

• sehr schwierige Angelegenheit
• man darf personenbezogene Daten (personalisiert oder pseudonym) darf man nicht speichern ihne Verschlüsselung, auf Nachfrage sämtliche Daten zur Verfügung stellen, löschen
• man darf keine daten erheben bevor man per opt-in gefragt hat, ob man die Daten erheben, wenn Person nein sagt, darf man sie nie wieder fragen.
• Wenn sie nicht mehr gebraucht werden, per Definition, sind sie zu löschen

Mögliche AK Vorschläge

• Prüfungslast im Studium