KIF420:Evaluierung Optimal

Beschreibung

Arbeitskreise zu Evaluationen finden häufig statt. In der Vergangenheit waren dies eher Austausch AK, womit ich nicht ganz glücklich bin. Ich würde gerne in der Gruppe zu einer Meinung finden wie Evaluierungen optimal ausgestaltet sein sollen. Dazu trage ich vergangene Resolutionen und AK Inhalte zusammen, bringe meine mehrere Jahre aktive Erfahrung im Qualitätsmanagement an Hochschulen mit ein und erwarte Diskussionen und Beiträge. Ziel ist es mindestens Best Practices zu erstellen, konkrete Forderungen sind durchaus auch realistisch.

Schon bestehende Resolutionen

KIF320:Resolutionen/Datenschutz_Evaluation

 Die 32,0te Konferenz der Informatik-Fachschaften (KIF) fordert alle Studierendenvertretungen auf, 
 bei Evaluationen auf die Einhaltung des geltenden Datenschutzrechtes zu achten.

Sonst keine gefunden :/

Schon stattgefundene Arbeitskreise

• KIF415:Dozentenbewertung
• 41,0: nichts gefunden
• 40,5: nichs gefunden (aber da war was(?))
• 40,0: nichts gefunden
• KIF 39.5 Formen von Lehrevaluationen
• KIF 38.5 Evaluation von Fachschaften
• KIF 38.5 Studentische Veranstaltungskritik
• KIF 38.0 Anerkennung guter Lehre

Inhalte

• Definition Evaluierung
• Evaluierung als Oberbegriff. Lehrveranstaltungsevaluierung, Studieneinstiegsbefragung, Absolventenbefragung, Studiengangserfolgsevaluierung, Forschungsevaluierung

... (wird gleich losgefahren, noch packen)

Mitschrift AK Evaluierung Optimal

Definition Evaluierung

Evaluierung: Ein Instrument zur Qualitätssicherung durch sach- und fachgerechte Bewertung.

• Ein Instrument zur Qualitätssicherung: Es gibt auch andere Instrumente. Evaluierung ist eines von Vielen.
• Ein Instrument zur Qualitätssicherung: Evaluierung ist ein Instrument, kein Wundermittel, Methode, Glaubensrichtung oder Kultur.
• Ein Instrument zur Qualitätssicherung: Evaluierung sicher die Qualität. Qualitätsmanagement wird mit Hilfe eines Qualitätszyklus betrieben: PDCA – Plan, Do, Check, Act. Evaluierung fällt unter „Check“. Evaluierung ist keine Qualitätsentwicklung. Das können erst nachfolgende Tätigkeiten erreichen.
• Evaluierung bewertet. Die Bewertung ist optimalerweise sach- und fachgerecht. Nicht sach- und fachgerechte Evaluierung ist keine, mindestens nutzlos.

Ziele einer Evaluierung

Das Ziel einer Evaluierung ist es zu einem bestimmten Zeitpunkt den Erfüllungsgrad von Zielen zu überprüfen.

• Daraus folgert dass eine Evaluierung die vorherige Formulierung von Zielen bedingt.

Arten von Evaluierungen

Evaluierung die aus studentischer Sicht relevant sein können: Lehrveranstaltungsevaluierung, Studieneinstiegsevaluierung, Absolventenevaluierung, Studiengangserfolgsevaluierung, Fachschaftsevaluierung, "Produktevaluierungen" (Campus Management Systeme, Software, Technik), Klausur/Übungsaufgabenevaluierung

• Nicht relevant z.B.: Forschungsevaluierung, Mitarbeiterevaluierung

Notwendigkeit von Evaluierungen

Evaluierung ist ein Instrument zur Qualitätssicherung. Auch andere Instrumente können den Erfüllungsgrad von Zielen überprüfen. Notwendigkeit einer Evaluation prüfen: Ist eine Überprüfung der Ziele schon durch andere Instrumente gegeben? (Z.B. Gespräche/Kommunikation, Statistiken). Ist diese aussagekräftig? (1 Gespräch vs. 20 ausgefüllten Evaluationen).

Lehrveranstaltungsevaluierungen

Zeitpunkt

Zu 2/3 des Semesters, sodass die Lehrenden die Ergebnisse mit den Studierenden besprechen können. Die Hochschule sollte in Projekten auch mit anderen Zeitpunkten experimentieren. Es kann sein für spezielle Veranstaltungen verschiedene Zeitpunkte zu wählen. Möglichkeit eines ständigen Rücklaufkanals überprüfen.

Diskussion über verschiedene Varianten

• Nach 2/3 des Semesters, sodass die Lehrenden die Ergebnisse mit den Studierenden besprechen können.

Pro: Diskussion der Ergebnisse mit den Studierenden sinnvoll. Ermöglicht es Unklarheiten im Diskurs zu klären. Hebt die Bedeutung der Evaluation. Nach 2/3 ist ein Kompromiss zwischen ausreichend Fortschritt und rechtzeitig vor Ende.

Contra:

• Beginn des Semester

Pro: Ermöglicht es die Veranstaltung noch anzupassen

Contra Zweimalige Evaluierung notwendig. Umfangreichere Anpassungen in der Veranstaltung unrealistisch. Keine Meinung über Punkte möglich die mehr Zeit brauchen

• Am Ende der Veranstaltung

Pro:Die gesamte Veranstaltung wird überblickt, inklusive der Lernphase

Contra: Keine Diskussion mehr möglich, zum nächsten Semester unrealistisch. Lernphasen sind sehr unterschiedlich ausgestaltet.

• Nach der Klausur

Pro: Alle die Interesse (unterschiedlicher Art) an der Veranstaltung haben sind anwesend. Evaluierungsergebnisse können nicht die Erstellung der Klausur beeinflussen. Möglichkeit die Klausur in die Evaluierung einfließen zu lassen.

Contra: Keine Diskussion mehr möglich, zum nächsten Semester unrealistisch. Klausurbeeinflussung durch Evaluierungsergebnisse sollte anders angegangen werde, wegen einzelnen Fällen sollte nicht eine generelle Verschlechterung für alle andere erfolgen. Evaluierung zur Klausur führt zu unerwünschter Unruhe.

• Anderer Zeitpunkt als 2/3

2/3 ist ein guter Kompromiss und leicht verständlich. Aufsplittung in mehr oder andere Zeiträume hat keine gewichtigen Vorteile.

Häufigkeit

Muss jede Hochschule in Rücksprache mit den Studierenden anhand ihrer Qualitätskultur selbst festlegen. Möglichst alle Veranstaltungen jedes Semester wird als vorteilhaft gesehen, insbesondere für die ersten Semester. Eine Drittelevaluierung ist auch ein gangbarer Weg. Dabei sollte ein Plan erstellt werden sodass für jede etablierte Veranstaltung innerhalb von 3 Semestern Abstand eine Evaluierung vorliegt. Bei neuen Veranstaltungen, neuen Lehrenden, Änderungen oder auf gezielt bei Wunsch (der Lehrenden oder der Studierenden) ist häufiger zu evaluieren.

Diskussion über verschiedene Varianten

• Alle Veranstaltungen jedes Semester

Pro: Bei häufigen Wechsel sinnvoll. Es werden negative Abweichungen direkt festgestellt und es kann reagiert werden.

Contra: Hoher Aufwand und Belastung. Evaluationsmüdigkeit. Werden überhaupt neue Daten gewonnen?

• Drittelevaluierung

Pro: Reduzierter Aufwand und Belastung. Alle drei Semester ist ausreichend um immer wieder zu sehen ob alles passt. 3 Semester Zyklus gibt die Möglichkeit in einem Semester mit Änderungen zu experimentieren, im zweiten Semester zu festigen und im dritten zu evaluieren.

Contra: Bei häufigen Wechsel oder negativen Änderungen wird zu selten erfasst und es kann zu spät reagiert werden.

• Andere Zyklen als Drittelevaluierung

Pro: Bei geringeren: Schnellere Reaktion möglich. Bei längeren: Weniger Belastung

Contra: 3 wird als guter Kompromiss gesehen. Zu viele Alternativen sind konfus.

• Jetzige Formulierung

Die jetzige Formulierung ist ein Kompromiss aus den verschiedenen Wünschen. Gerade Erstsemestervorlesungen sind häufiger zu evaluieren, da dort die Auswirkungen weitreichend sind. Ebenso soll bei den Studierenden eine entsprechende Qualitätskultur etabliert werden, bei welcher eine Evaluierung als Standard angesehen wird. Wenn eine Hochschule einen stabilen Lehrplan hat, kann auch auf eine Drittelevaluierung umgestellt werden. Dabei sind die aufgeführten Öffnungsklauseln zu beachten.

Geltungsbereich

Spezielle Bögen erstellen und gezielt nutzen (Übung, Vorlesung, Labor, …). Basisteil kann gleich sein (z.B. überall Freitextfeld)

Diskussion über verschiedene Varianten

• Ein Bogen für alles

Pro: Wenig Aufwand

Contra: Konsens, dass es Fragen gibt die nur bei bestimmten Veranstaltungstypen Sinn machen (Zufriedenheit bzgl. persönlicher Betreuung bei Praxisphasen sinnvoll, bei Vorlesung weniger üblich)

• Spezielle Bögen erstellen und gezielt nutzen

Pro: Unterschiedliche Veranstaltungstypen haben unterschiedliche Ziele. Evaluierung prüft Ziele ab. Unterschiedliche Bögen damit logisch notwendig.

Contra: Mehr Aufwand.

Umfang

Max 1 Din A4 bei sinnvoller Schrift und Freitext.

Besonderheit digital: Vertiefungsblöcke bei Bedarf. Z.B. bei Übung nur gezieltere Fragen anzeigen wenn eine Eingangsfrage negativ beantwortet wurde.

Diskussion über verschiedene Varianten

• Jetzige Formulierung

Pro: Aufwand wird reduziert. Evaluierungsmüdigkeit wird reduziert. Lächerlichkeit des Bogens wird reduziert. Eine zu große Menge an Daten hat keinen Nutzen, da es zu keinen weiteren Ergebnissen oder Reaktionen führt.

Contra: Eine Seite reduziert die Menge an Daten die gewonnen werden kann.

Hinweis: Zur Feststellung ob mehr als eine Seite notwendig ist kann auch die Evaluierung evaluiert werden ob ihr Ziel (Ziele zu überprüfen) erreicht wird. Dazu können Studierende und Lehrende über Nutzen, Verständnis, Klarheit, … von allen Fragen gefragt werden. Wenn von allen Seiten kein Nutzen erkannt wird, ist das ein gutes Argument zur Reduzierung.

Form

Analog oder digital ist beides ok. Besonderheiten kommunizieren. Bei Papier ist zu erwarten dass alle ausgeteilten Bögen ausgefüllt werden. Bei digital ist typischerweise die Rücklaufquote geringer (Mögliche Reaktion: Digital, aber zur Vorlesung mit Laptops oder Labor mit Rechnern). Bei digital sind die Rückmeldungen negativer, da eher diejenigen Studierenden evaluieren, bei denen als Motivation Gründe vorliegen die sie loswerden wollen. Die Form sollte so gewählt sein dass möglichst viele erreicht werden (im Sinne einer Evaluierung, d.h. Zeitraum für Rückmeldung zu dehnen ist nicht hilfreich, da dies die Rahmenedingungen ändern kann)

Diskussion über verschiedene Varianten

• Nur Papier

Pro: Höhere Rücklaufquote, keine Fälschungen möglich

Contra: Aufwand und Kosten ausdrucken + einscannen. Nicht anwesende Personen können nicht evaluieren. Schnelle Bearbeitung.

• Nur digital

Pro: Aufwand gering, Kosten gering (nach Initial). Schnelle Bearbeitung. Keine Anwesenheit erforderlich.

Contra: Anonymität nicht für alle klar. Verzerrungen möglich durch evtl. Mehrfachabgaben. Geringe Rücklaufquote. Ggbfs. Rückmeldung nicht von allen, sondern nur von denen die ein Anliegen haben.

• Analog oder digital ist beides ok

Beide Varianten haben Stärken und Schwächen. Nutzung der Situation anpassen.

Hinweis: Bei Papierform hat sich etabliert dass die Bögen nicht durch die Lehrenden ausgeteilt werden, sondern durch eine unabhängige Hilfskraft oder Mitglieder der Studierendenvertretung. Wenn die Befürchtung besteht können Manipulationen verhindert werden indem die Ergebnisse unter Aufsicht der Studierenden in einen versiegelten Umschlag gesammelt werden.

Bei Digitalform hat sich etabliert entweder Codes auszuteilen (Hinweis: Gefahr der multiplen Abgabe) oder Codes per E-Mail zuzusenden (Unklarheiten der Anonymität).

Freitext

Freitextfelder zur Rückmeldung sind generell sinnvoll.

Diskussion über verschiedene Varianten

Freitextfelder ermöglichen individuelle Rückmeldung. Manche Lehrenden erachten dies sogar als wichtigsten Teil der Evaluierung.

Ergebnisse Verwendung

Ergebnisse sind hochschulöffentlich in digitaler Form bereitzustellen. Sie enthalten die Ergebnisse der Veranstaltung (Für alle Items wenn möglich Mittelwert, Standard-Abweichung, Anzahl). Sie enthalten die Namen der jeweils Lehrenden und die Kommentare der Freitextfelder. Die Freitextfelder sind redaktionell aufzubereiten vor der Weitergabe an die Lehrenden (Handschrift zu Text, Ehrverletzende Kommentare entfernen, Mehrfachnennungen mit Angabe der Anzahl zusammenfassen) Den Lehrenden ist vor der Veröffentlichung die Möglichkeit zu geben das veröffentlichte Dokument mit einer Stellungnahme zu versehen.

Diskussion über verschiedene Varianten

• „öffentliche Veröffentlichung“

Pro: Größtmöglichste Transparenz

Contra: Lehrveranstalungsevaluierungen finden im Umfeld einer Hochschule unter bestimmten entsprechenden Rahmenbedingungen statt. Ohne deren Kenntnis ist die Interpretation und Einordnung schwierig bis nicht möglich. Insbesondere ist ein Vergleich der Ergebnissen von Lehrveranstaltungsevaluierungen zwischen verschiedenen Hochschulen nicht sinnvoll.

• hochschulöffentliche Veröffentlichung

Pro: Allen Mitgliedern der Hochschule sind die Ergebnisse zur Verfügung zu stellen. ' Contra':

TODO ... TODO

Festlegung von Formalia und Varianten mit Öffnungsklausel

Hochschulweite Evaluationsordnung/Satzung Hochschulweite oder Fachbereich/Fakultätsweite Arbeitsgremien welche paritätisch besetzt sind, können sich regelmäßig austauschen.

Anonymität

Größe Gedanken über Mindestgröße

fachschaft evaluiert? Stelle an der Hochschule welche die Evaluation verantwortet, finanziell von der Hochschule getragen. Verbreitung + Digitalisierung.

interpretation Mit den Evaluationsergebnissen beschäftigt sich ein paritätisch besetztes Arbeitsgremium.

Optimalerweise wird den Ergebnissen eine Kurzinterpretation durch Fachpersonal beigefügt.

1. -#

Lehrveranstaltungsevaluierung, Studieneinstiegsevaluierung, Absolventenevaluierung, Studiengangserfolgsevaluierung, Fachschaftsevaluierung, "Produktevaluierungen" (Campus Management Systeme, Software, Technik), Klausur/Übungsaufgabenevaluierung

Absolventenevaluierung hochschulöffentlich. Gremien drüber diskutieren.

Bei Notwendigkeit punktuell Studiengangserfolgsevaluierungen.

Fachschaftsevaluierungen. Finden wir sinnvoll.

Bei Notwendigkeit Produktevaluierungen ermöglichen.

Sinnvolle Ergänzung zu Lehrevaluierung. Ausprobieren.