KIF420:Evaluierung Optimal: Unterschied zwischen den Versionen

Aus KIF
(temp)
K (evaluation -> evaluierung. eine form, jedenfalls nicht beides gemischt)
 
(5 dazwischenliegende Versionen desselben Benutzers werden nicht angezeigt)
Zeile 1: Zeile 1:
== Beschreibung ==
== Beschreibung ==


Arbeitskreise zu Evaluationen finden häufig statt. In der Vergangenheit waren dies eher Austausch AK, womit ich nicht ganz glücklich bin. Ich würde gerne in der Gruppe zu einer Meinung finden wie Evaluierungen optimal ausgestaltet sein sollen. Dazu trage ich vergangene Resolutionen und AK Inhalte zusammen, bringe meine mehrere Jahre aktive Erfahrung im Qualitätsmanagement an Hochschulen mit ein und erwarte Diskussionen und Beiträge. Ziel ist es mindestens Best Practices zu erstellen, konkrete Forderungen sind durchaus auch realistisch.
Arbeitskreise zu Evaluierungen finden häufig statt. In der Vergangenheit waren dies eher Austausch AK, womit ich nicht ganz glücklich bin. Ich würde gerne in der Gruppe zu einer Meinung finden wie Evaluierungen optimal ausgestaltet sein sollen. Dazu trage ich vergangene Resolutionen und AK Inhalte zusammen, bringe meine mehrere Jahre aktive Erfahrung im Qualitätsmanagement an Hochschulen mit ein und erwarte Diskussionen und Beiträge. Ziel ist es mindestens Best Practices zu erstellen, konkrete Forderungen sind durchaus auch realistisch.


== Schon bestehende Resolutionen ==
== Schon bestehende Resolutionen ==
Zeile 29: Zeile 29:
== Temporäre Gedanken ==
== Temporäre Gedanken ==


Evaluierung Optimal
== Mitschrift AK Evaluierung Optimal==


===Definition Evaluierung===
Evaluierung: Ein Instrument zur Qualitätssicherung durch sach- und fachgerechte Bewertung.
Evaluierung: Ein Instrument zur Qualitätssicherung durch sach- und fachgerechte Bewertung.
* '''Ein''' Instrument zur Qualitätssicherung: Es gibt auch andere Instrumente. Evaluierung ist eines von Vielen.
* Ein '''Instrument''' zur Qualitätssicherung: Evaluierung ist ein Instrument, kein Wundermittel, Methode, Glaubensrichtung oder Kultur.
* Ein Instrument zur '''Qualitätssicherung''': Evaluierung sicher die Qualität. Qualitätsmanagement wird mit Hilfe eines Qualitätszyklus betrieben: PDCA – Plan, Do, Check, Act. Evaluierung fällt unter „Check“. Evaluierung ist keine Qualitätsentwicklung. Das können erst nachfolgende Tätigkeiten erreichen.
* Evaluierung bewertet. Die Bewertung ist optimalerweise sach- und fachgerecht. Nicht sach- und fachgerechte Evaluierung ist keine, mindestens nutzlos.


Ziel: Ziele zu überprüfen.
===Ziele einer Evaluierung===
(Momentaufnahme)
Das Ziel einer Evaluierung ist es zu einem bestimmten Zeitpunkt den Erfüllungsgrad von Zielen zu überprüfen.
* Daraus folgert dass eine Evaluierung die vorherige Formulierung von Zielen bedingt.


Lehrveranstaltungsevaluierung, Studieneinstiegsbefragung, Absolventenbefragung, Studiengangserfolgsevaluierung, Fachschaftsevaluierungen, "Produktevaluierungen" (Campus Management Systeme, Software, Technik), Klausur/Übungsaufgabenevaluierung
===Arten von Evaluierungen===


Notwendigkeit einer Evaluation prüfen? Ist eine Überprüfung der Ziele schon durch andere Instrumente gegeben? (Z.B. Gespräche/Kommunikation, Statistiken). Ist diese aussagekröftig? (1 Gespräch vs. 20 ausgefüllten Evaluationen).
Evaluierung die aus studentischer Sicht relevant sein können:
* Lehrveranstaltungsevaluierung: bekannt
* Studieneinstiegsevaluierung: Fragen zur Situation vor dem Studium (Gründe für Studienwahl, Angemessenheit von Informations- und Werbematerialien, Servicequalität der Verwaltung, ...)
* Alumnievaluierungen oder Absolventenevaluierung: Fragen zur Situation nach dem Studium (Berufsbefähigung, Befähigung gesellschaftliches Engagement, Aktuelität der Inhalte des Studiums, ...), Fragen zum Gesamtstudium aus der Retroperspektive (Inhalte, Ablauf, Aufbau, Ausirchtung, ...)
* Studiengangserfolgsevaluierung: Konkrete Fragen nach dem Studiengangserfolg oder Misserfolg. Z.B. Nur 10% der Studierenden vervollständigen 90 CP nach 3 Semester, woran liegt es? Niemand interessiert sich für Vertiefungsfächer xyz, ...)
* Fachschaftsevaluierung: Evaluierung der studentischen Arbeit
* "Produktevaluierungen": Campus Management Systeme, Software, Technik
* Klausur/Übungsaufgabenevaluierung: Passen Klausur/Übung zu Vorlesung? Umfang/Schwierigkeit angemessen? ...
* Nicht relevant z.B.: Forschungsevaluierung, Mitarbeiterevaluierung


Lehrveranstaltungsevaluierungen
===Notwendigkeit von Evaluierungen===
Zeitpunkt
Evaluierung ist '''ein''' Instrument zur Qualitätssicherung. Auch andere Instrumente können den Erfüllungsgrad von Zielen überprüfen.
Notwendigkeit einer Evaluierung prüfen: Ist eine Überprüfung der Ziele schon durch andere Instrumente gegeben? (Z.B. Gespräche/Kommunikation, Statistiken). Ist diese aussagekräftig? (1 Gespräch vs. 20 ausgefüllten Evaluierungen).
 
==Lehrveranstaltungsevaluierungen==
===Zeitpunkt===
Zu 2/3 des Semesters, sodass die Lehrenden die Ergebnisse mit den Studierenden besprechen können.
Zu 2/3 des Semesters, sodass die Lehrenden die Ergebnisse mit den Studierenden besprechen können.
Die Hochschule sollte in Projekten auch mit anderen Zeitpunkten experimentieren.
Die Hochschule sollte in Projekten auch mit anderen Zeitpunkten experimentieren. Es kann sein für spezielle Veranstaltungen verschiedene Zeitpunkte zu wählen.
Möglichkeit eines ständigen Rücklaufkanals überprüfen.
Möglichkeit eines ständigen Rücklaufkanals überprüfen.
====Diskussion über verschiedene Varianten====
* Nach 2/3 des Semesters, sodass die Lehrenden die Ergebnisse mit den Studierenden besprechen können.
'''Pro''': Diskussion der Ergebnisse mit den Studierenden sinnvoll. Ermöglicht es Unklarheiten im Diskurs zu klären. Hebt die Bedeutung der Evaluierung. Nach 2/3 ist ein Kompromiss zwischen ausreichend Fortschritt und rechtzeitig vor Ende.
'''Contra''':
*Beginn des Semester
'''Pro''': Ermöglicht es die Veranstaltung noch anzupassen
'''Contra''' Zweimalige Evaluierung notwendig. Umfangreichere Anpassungen in der Veranstaltung unrealistisch. Keine Meinung über Punkte möglich die mehr Zeit brauchen
*Am Ende der Veranstaltung
'''Pro''':Die gesamte Veranstaltung wird überblickt, inklusive der Lernphase
'''Contra''': Keine Diskussion mehr möglich, zum nächsten Semester unrealistisch. Lernphasen sind sehr unterschiedlich ausgestaltet.
*Nach der Klausur
'''Pro''': Alle die Interesse (unterschiedlicher Art) an der Veranstaltung haben sind anwesend. Evaluierungsergebnisse können nicht die Erstellung der Klausur beeinflussen. Möglichkeit die Klausur in die Evaluierung einfließen zu lassen.
'''Contra''': Keine Diskussion mehr möglich, zum nächsten Semester unrealistisch. Klausurbeeinflussung durch Evaluierungsergebnisse sollte anders angegangen werde, wegen einzelnen Fällen sollte nicht eine generelle Verschlechterung für alle andere erfolgen. Evaluierung zur Klausur führt zu unerwünschter Unruhe.
*Anderer Zeitpunkt als 2/3
2/3 ist ein guter Kompromiss und leicht verständlich. Aufsplittung in mehr oder andere Zeiträume hat keine gewichtigen Vorteile.
===Häufigkeit===
Muss jede Hochschule in Rücksprache mit den Studierenden anhand ihrer Qualitätskultur selbst festlegen. Möglichst alle Veranstaltungen jedes Semester wird als vorteilhaft gesehen, insbesondere für die ersten Semester.
Eine Drittelevaluierung ist auch ein gangbarer Weg. Dabei sollte ein Plan erstellt werden sodass für jede etablierte Veranstaltung innerhalb von 3 Semestern Abstand eine Evaluierung vorliegt. Bei neuen Veranstaltungen, neuen Lehrenden, Änderungen oder auf gezielt bei Wunsch (der Lehrenden oder der Studierenden) ist häufiger zu evaluieren.
====Diskussion über verschiedene Varianten====
*Alle Veranstaltungen jedes Semester
'''Pro''':
Bei häufigen Wechsel sinnvoll. Es werden negative Abweichungen direkt festgestellt und es kann reagiert werden.
'''Contra''':
Hoher Aufwand und Belastung. Evaluierungsmüdigkeit. Werden überhaupt neue Daten gewonnen?
*Drittelevaluierung
'''Pro''':
Reduzierter Aufwand und Belastung. Alle drei Semester ist ausreichend um immer wieder zu sehen ob alles passt. 3 Semester Zyklus gibt die Möglichkeit in einem Semester mit Änderungen zu experimentieren, im zweiten Semester zu festigen und im dritten zu evaluieren.
'''Contra''':
Bei häufigen Wechsel oder negativen Änderungen wird zu selten erfasst und es kann zu spät reagiert werden.
*Andere Zyklen als Drittelevaluierung
'''Pro''':
Bei geringeren: Schnellere Reaktion möglich. Bei längeren: Weniger Belastung


Wir haben uns Gedanken gemacht über: Beginn des Semesters, Nach der Klausur, Nach Ende
'''Contra''':
Häufigkeit
3 wird als guter Kompromiss gesehen. Zu viele Alternativen sind konfus.
Muss jede Hochschule in Rücksprache mit den Studierenden anhand ihrer Qualitätskultur selbst festlegen. Möglichst alle Veranstaltungen jedes Semester wird als vorteilhaft gesehen, insbesondere bei den ersten Semestern. Drittelevaluierung auch als gangbarer Weg (mit Neuem immer).
 
Geltungsbereich
*Jetzige Formulierung
Die jetzige Formulierung ist ein Kompromiss aus den verschiedenen Wünschen. Gerade Erstsemestervorlesungen sind häufiger zu evaluieren, da dort die Auswirkungen weitreichend sind. Ebenso soll bei den Studierenden eine entsprechende Qualitätskultur etabliert werden, bei welcher eine Evaluierung als Standard angesehen wird. Wenn eine Hochschule einen stabilen Lehrplan hat, kann auch auf eine Drittelevaluierung umgestellt werden. Dabei sind die aufgeführten Öffnungsklauseln zu beachten.
===Geltungsbereich===
Spezielle Bögen erstellen und gezielt nutzen (Übung, Vorlesung, Labor, …). Basisteil kann gleich sein (z.B. überall Freitextfeld)
Spezielle Bögen erstellen und gezielt nutzen (Übung, Vorlesung, Labor, …). Basisteil kann gleich sein (z.B. überall Freitextfeld)
Umfang
====Diskussion über verschiedene Varianten====
*Ein Bogen für alles
'''Pro''':
Wenig Aufwand
 
'''Contra''':
Konsens, dass es Fragen gibt die nur bei bestimmten Veranstaltungstypen Sinn machen (Zufriedenheit bzgl. persönlicher Betreuung bei Praxisphasen sinnvoll, bei Vorlesung weniger üblich)
 
*Spezielle Bögen erstellen und gezielt nutzen
'''Pro''':
Unterschiedliche Veranstaltungstypen haben unterschiedliche Ziele. Evaluierung prüft Ziele ab. Unterschiedliche Bögen damit logisch notwendig.
 
'''Contra''':
Mehr Aufwand.
===Umfang===
Max 1 Din A4 bei sinnvoller Schrift und Freitext.
Max 1 Din A4 bei sinnvoller Schrift und Freitext.


Besonderheit digital: Vertiefungsblöcke bei Bedarf
Besonderheit digital: Vertiefungsblöcke bei Bedarf. Z.B. bei Übung nur gezieltere Fragen anzeigen wenn eine Eingangsfrage negativ beantwortet wurde.
Form
 
Analog oder digital ist beides ok. Besonderheiten kommunizieren.
====Diskussion über verschiedene Varianten====
Möglichst viele erreichen. (im Sinne einer Evaluierung)
*Jetzige Formulierung
'''Pro''':
Aufwand wird reduziert. Evaluierungsmüdigkeit wird reduziert. Lächerlichkeit des Bogens wird reduziert. Eine zu große Menge an Daten hat keinen Nutzen, da es zu keinen weiteren Ergebnissen oder Reaktionen führt.
 
'''Contra''':
Eine Seite reduziert die Menge an Daten die gewonnen werden kann.
 
Hinweis: Zur Feststellung ob mehr als eine Seite notwendig ist kann auch die Evaluierung evaluiert werden ob ihr Ziel (Ziele zu überprüfen) erreicht wird. Dazu können Studierende und Lehrende über Nutzen, Verständnis, Klarheit, … von allen Fragen gefragt werden. Wenn von allen Seiten kein Nutzen erkannt wird, ist das ein gutes Argument zur Reduzierung.
 
===Form===
Analog oder digital ist beides ok. Besonderheiten kommunizieren. Bei Papier ist zu erwarten dass alle ausgeteilten Bögen ausgefüllt werden. Bei digital ist typischerweise die Rücklaufquote geringer (Mögliche Reaktion: Digital, aber zur Vorlesung mit Laptops oder Labor mit Rechnern). Bei digital sind die Rückmeldungen negativer, da eher diejenigen Studierenden evaluieren, bei denen als Motivation Gründe vorliegen die sie loswerden wollen.
Die Form sollte so gewählt sein dass möglichst viele erreicht werden (im Sinne einer Evaluierung, d.h. Zeitraum für Rückmeldung zu dehnen ist nicht hilfreich, da dies die Rahmenedingungen ändern kann)
====Diskussion über verschiedene Varianten====
*Nur Papier
'''Pro''':
Höhere Rücklaufquote, keine Fälschungen möglich
 
'''Contra''':
Aufwand und Kosten ausdrucken + einscannen. Nicht anwesende Personen können nicht evaluieren. Schnelle Bearbeitung.
 
*Nur digital
'''Pro''':
Aufwand gering, Kosten gering (nach Initial). Schnelle Bearbeitung. Keine Anwesenheit erforderlich.
 
'''Contra''':
Anonymität nicht für alle klar. Verzerrungen möglich durch evtl. Mehrfachabgaben. Geringe Rücklaufquote. Ggbfs. Rückmeldung nicht von allen, sondern nur von denen die ein Anliegen haben.
 
*Analog oder digital ist beides ok
Beide Varianten haben Stärken und Schwächen. Nutzung der Situation anpassen.
 
Hinweis: Bei Papierform hat sich etabliert dass die Bögen nicht durch die Lehrenden ausgeteilt werden, sondern durch eine unabhängige Hilfskraft oder Mitglieder der Studierendenvertretung. Wenn die Befürchtung besteht können Manipulationen verhindert werden indem die Ergebnisse unter Aufsicht der Studierenden in einen versiegelten Umschlag gesammelt werden.
 
Bei Digitalform hat sich etabliert entweder Codes auszuteilen (Hinweis: Gefahr der multiplen Abgabe) oder Codes per E-Mail zuzusenden (Unklarheiten der Anonymität).
 
===Freitext===
Freitextfelder zur Rückmeldung sind generell sinnvoll.
 
====Diskussion über verschiedene Varianten====
Freitextfelder ermöglichen individuelle Rückmeldung. Manche Lehrenden erachten dies sogar als wichtigsten Teil der Evaluierung.
 
===Ergebnisse Verwendung===
Ergebnisse sind hochschulöffentlich in digitaler Form bereitzustellen. Sie enthalten die Ergebnisse der Veranstaltung (Für alle Items wenn möglich Mittelwert, Standard-Abweichung, Anzahl).
Sie enthalten die Namen der jeweils Lehrenden und die Kommentare der Freitextfelder. Die Freitextfelder sind redaktionell aufzubereiten vor der Weitergabe an die Lehrenden (Handschrift zu Text, Ehrverletzende Kommentare entfernen, Mehrfachnennungen mit Angabe der Anzahl zusammenfassen)
Den Lehrenden ist vor der Veröffentlichung die Möglichkeit zu geben das veröffentlichte Dokument mit einer Stellungnahme zu versehen.
 
====Diskussion über verschiedene Varianten====
* „öffentliche Veröffentlichung“
'''Pro''':
Größtmöglichste Transparenz
 
'''Contra''':
Lehrveranstalungsevaluierungen finden im Umfeld einer Hochschule unter bestimmten entsprechenden Rahmenbedingungen statt. Ohne deren Kenntnis ist die Interpretation und Einordnung schwierig bis nicht möglich. Insbesondere ist ein Vergleich der Ergebnissen von Lehrveranstaltungsevaluierungen zwischen verschiedenen Hochschulen nicht sinnvoll.
 
* hochschulöffentliche Veröffentlichung
'''Pro''':
Allen Mitgliedern der Hochschule sind die Ergebnisse zur Verfügung zu stellen. Durch Transparenz entsteht die Möglichkeit zur Anerkennung von guter Leistung und zur Diskussion von Verbesserungen. Die Befürchtung dass die Veröffentlichung zu einem Negativbild führt sind dahingehend nicht verständlich dass sich dieses an einer Hochschule auch ohne Evaluierung etabliert, nur diffuses, ungerechter und ohne Verbesserungsmöglichkeiten. Datenschutzrechtliche Argumente sind dahingehend nicht treffend, da es sich um die Ausübung einer Berufstätigkeit in öffentlicher Funktion (an öffentlichen Hochschulen) handelt. Dies hat schon das BGH (VI ZR 196/08) in Bestätigung durch das BverfG (1 BvR 1750/09) grundsätzlich festgestellt.
''Contra''':
Negative Evaluierungen erzeugen ein negatives Bild. Datenschutz.
 
* Keine Veröffentlichung, nur an die jeweiligen Lehrenden und ggbfs. Studiendekan/Studienausschuss
'''Pro''': Lehrenden haben Kontrolle über ihre Evaluierungsergebnisse.
 
'''Contra''': Ergebnisse sind unbekannt. Keine effektive Einbindung in PDCA Zyklus möglich.
 
* Niemand bekommt Ergebnisse, wird nur aggregiert auf Fachbereichsebene
'''Pro''': Unklar. Gibt aber Hochschulen die das machen. Möglicherweise um jegliche Diskussion darüber zu vermeiden oder (gesetzlichen) Anforderungen minimal zu entsprechen.
 
'''Contra''': Nutzen nicht vorhanden, Ziel einer Evaluierung verfehlt.
 
* Ergebnisse in digitaler Form bereitstellen
'''Pro''': Einfacher Zugriff. Publikationen sind auch für immer erreichbar, auch wenn die ersten vlt. geringere Qualität haben als solche nach 20 Jahren.
 
'''Contra''': Ggbfs. für immer erreichbar. Negativwirkung kann haften bleiben.
 
* Ergebnisse nur ausgedruckt z.B. in Bibliothek oder auf Anfrage herausgeben
'''Pro''': Verbreitung stark eingeschränkt. Eher unwahrscheinlich dass es über die eigene Hochschule hinausgeht.
 
'''Contra''': Hohe Hürden für Zugriff. Ineffizient wenn viele zugreifen möchten.
 
* Für alle Items Mittelwert, Standard Abweichung und Anzahl an Werte
'''Pro''': Notwendige Angaben zur Einschätzung von gemittelten Werten. Aufwand ist bei digitaler Auswertung vernachlässigbar.
 
'''Contra''': Mehraufwand.
 
*Sie enthalten die Namen der Lehrenden
'''Pro''': Eine Zuordnung ermöglicht eine Würdigung der Leistungen und Diskussion von Verbesserungen. Wenn kein Namen angegeben wird ist trotzdem mittels Vorlesungsverzeichnis die Zuordnung möglich, nur der Aufwand ist ohne weiteren Nutzen höher.
 
'''Contra''': Eine direkte Zuordnung kann zu einer negativen Meinung über Lehrende führen.
 
*Sie enthalten die Namen der Lehrenden bei Wunsch
'''Pro''': Siehe enthalten immer die Namen. Zusätzlich: Lehrende können bei Befürchtungen vor negativen Auswirkungen ihre Nennung ablehnen.
 
'''Contra''': Namen lassen sich über Vorlesungsverzeichnis trotzdem zuordnen. Tendenz dazu dass alle ohne Namen verdächtig sind.
 
* Sie enthalten keine Namen der Lehrenden
'''Pro''': Zuordnung wird vermieden, es kommt zu keiner negativen Meinung über Lehrende.
 
'''Contra''': Zuordnung ist über Vorlesungsverzeichnis trotzdem möglich, nur der Aufwand ist höher. Die in der Mehrzahl positiven Ergebnisse lassen sich nicht würdigen.
 
* Sie enthalten die Kommentare der Freitextfelder (Bei Negation sind Argumente umgekehrt)
'''Pro''': Freitextfelder sind Bestandteil der Evaluierung, gehören zu den Ergebnissen dazu.
 
'''Contra''': Freitextfelder können unterschiedlicher Qualität sein.
 
* Freitextfelder sind redaktionell aufzubereiten vor der Weitergabe an die Lehrenden und der Veröffentlichung. (Bei Negation sind Argumente vertauscht)
'''Pro''': Notwendig um Handschriftenerkennung zu vermeiden. Notwendig um Ehrverletzende Kommentare und Schmähkritik zu entfernen. Zusammenfassung von Mehrfachnennungen reduziert Umfang.
 
'''Contra''': Aufwand. Lehrende können selbst Rückmeldungen umgehen.
 
Hinweis: Nach Ansicht des AK gibt es Menschen, welche sich persönliche Angriffe zu Herzen nehmen. Wir möchten kein Umfeld in dem sich beleidigt wird und tolerieren es nicht. An der Stelle hat auch der Gesetzgeber in Deutschland die Meinungsfreiheit eingeschränkt. Schmähkritik, Beleidigungen, ehrverletzende Behauptungen, etc sind eine Straftat. Dagegen können Lehrende aktiv werden bis hin zu Anzeigen.
 
* Den Lehrenden ist vor der Veröffentlichung die Möglichkeit zu geben das veröffentlichte Dokument mit einer Stellungnahme zu versehen. (Bei Negation sind Argumente vertauscht)
'''Pro''': Um Lehrenden die Möglichkeit zu geben Gründe für ggbfs. Negative Ergebnisse  zu erklären oder positive Ergebnisse zu erläutern ist die Möglichkeit einer Stellungnahme zielführend. Dies insbesondere unter dem Grundansatz dass die Ergebnisse digital veröffentlicht werden. Die Ausgestaltung der Stellungnahme (Frist, Umfang, etc) regelt ein Arbeitsgremium.
 
'''Contra''': Aufwand.
 
===Festlegung von Formalia und Varianten mit Öffnungsklausel===
Basis für Evaluierungen ist eine Hochschulweite Evaluierungsordnung/Satzung.
Basis für Festlegung von offenen Punkten und zu treffende Entscheidungen (Wann wird die Evaluierung genau durchgeführt, Welche Veranstaltungen genau, wie lange Frist für Stellungnahme, etc) ist ein Fachbereich/Fakultätsweites Arbeitsgremium welches paritätisch besetzt ist. Diese sollten sich auf einer regelmäßigen austauschen.
Je nach Größe der Hochschule ist auch ein hochschulweites Gremium zielführend.
 
====Diskussion über verschiedene Varianten====
* Hochschulweite Evaluierungsordnung/Satzung
'''Pro''': Durch eine hochschulweite Evaluierungsordnung/Satzung ist Rechtssicherheit geschaffen. Zum einen ist damit allen Mitgliedern der Hochschule bewusst dass es eine Regelung gibt, zum anderen können sich alle darauf berufen. Die hochschulweite Ordnung/Satzung kann auch offene Punkte enthalten bzw. Regelungen den Fachbereichen/Fakultäten überlassen.
 
'''Contra''': Formaler Bürokratismus. Wenn es alle selbst regeln sind individuellere und angepasste Abläufe möglich.
 
* Fakultäts/Fachbereichsweite Evaluierungsordnung/Satzung
'''Pro''': Autonomie der Fakultäten/Fachbereich wird gestärkt, individuelle Regelungen möglich.
 
'''Contra''': Auch hochschulweite Regelungen ermöglichen es wenn notwendig bestimmte Inhalte den Fakultäten/Fachbereichen zu überlassen. Es können auch Experimentierklauseln integriert werden. Zu große Divergenz zwischen den Fachbereichen/Fakultäten führt zu Unklarheiten und redundanten oder inkompatiblen Abläufen.
 
*Fachbereich/Fakultätsweites Arbeitsgremium
'''Pro''': Detailaspekte sind für jede Hochschule selbst zu klären. Dies muss irgendwo geschehen. Ein Arbeitsgremium ermöglicht die Einbindung aller Beteiligten. Arbeitsgremium ist bewusst formuliert, typischerweise ist z.B. ein Fachbereichs/Fakultätsrat nicht dafür geeignet Detailfragen zur Evaluierung zu klären. Manche Details sind Fachbereichs/Fakultätsabhängig, somit ist ein Arbeitsgremium auf dieser Ebene anzusiedeln. Wenn die Hochschule in der Größe überschaubar ist, erscheint auch ein hochschulweites Gremium zielführend.
 
'''Contra''': Zeitaufwand durch Tätigkeit in Gremium.
 
*Hochschulweites Gremium
'''Pro''': (nur bzgl. hochschulweit) Reduzierung der Anzahl von Gremien, einheitliche hochschulweite Regelungen.
 
'''Contra''': Zu viel Arbeit für ein Gremium bei größeren Hochschulen, Berücksichtigung von Besonderheiten bei Fachbereichen/Fakultäten in hochschulweiten Gremien oft schwierig.
 
* Entscheidungen durch Studiendekan/Einzelperson
'''Pro''': Kurze Wege, schnelle Entscheidungen
 
'''Contra''': Keine Mitwirkungsmöglichkeit für alle Beteiligten. Entscheidungsfindung nicht transparent.
 
===Anonymität===
Evaluierungen sind so zu gestalten, dass keine Zuordnung der Bögen und Ergebnisse zu den Evaluierenden möglich ist. Dabei ist auch die Gruppengröße und deren Zusammensetzung zu berücksichtigen.
 
====Diskussion über verschiedene Varianten====
* Anonymität der Evaluierenden (Negation mit vertauschten Argumenten)
'''Pro''': In Deutschland hat sich gesellschaftlich historisch die Form der anonymen Evaluierung etabliert. Studierende fühlen sich unwohl bei der Möglichkeit einer direkten Zuordnung.
 
'''Contra''': Evaluierende die mit einem Namen verbunden sind haben ein höheres Gewicht, da sie mit ihrem Namen für ihre Meinung stehen.
 
* Gruppengröße und Zusammensetzung berücksichtigen
'''Pro''': Bei einer Abgabenanzahl von 1 Person ist die Anonymität offensichtlich nicht mehr gewährleistet. Auch bei 2-5 kann dies beispielsweise ähnlich sein. Zumal sind <= 5 Rückmeldungen statistisch fraglich. Bei der Zusammensetzung der Gruppe sind ggbfs. Bestimmte Spezifika zu berücksichtigen. Beispiel 9w, 1m: Wenn nach Geschlechtern getrennt wird ist die Anonymität offensichtlich nicht mehr gewährleistet. Die genauen Grenzen sind in der Diskussion festzulegen.
Bei geringer Anzahl an Anwesenden ist ggbfs ein Gespräch hilfreicher, dessen Ergebnisse schriftlich festgehalten werden.
 
'''Contra''': Veranstaltungen mit geringer Anzahl an Teilnehmenden oder Anwesenden können nicht evaluiert werden.
 
===Verantwortung der Evaluierung===
Die Verantwortung zur Durchführung (Verteilung Bögen, Erfassung Ergebnisse) der Evaluierung liegt bei der Hochschule. Insbesondere werden die Kosten von der Hochschule getragen. Wenn die Hochschule andere beauftragt, sind diese finanziell für die Arbeit zu entschädigen.
====Diskussion über verschiedene Varianten====
* Verantwortung bei Hochschule
'''Pro''': Durchführung und Kontinuität sichergestellt. Wenn Verantwortung z.B. bei Fachschaften liegt, ist es abhängig von der Aktivität der Fachschaft. Auch wenn die Fachschaften über die Evaluierung entscheiden wird sich die Hochschule bei unerwünschten Abläufen verwehren.
 
'''Contra''': Wenn die Verantwortung bei einer Fachschaft liegt können sie einfacher und freier entscheiden wie die Evaluierung vonstatten geht.
 
* Kosten tragen die Hochschulen
'''Pro''': Einen Finanzierung von Aufgaben der Hochschule durch studentische Gelder ist abzulehnen. Andere Finanzierungswege erscheinen unrealistisch. Auch wenn kein Geld vorhanden ist, wäre es die Pflicht der Hochschule dies einzufordern.
 
'''Contra''': Wenn kein Geld vorhanden ist kann z.B. mit Finanzierung durch studentische Gelder eine Evaluierung grundsätzlich durchgeführt werden.
 
=== Interpretation der Evaluierungsergebnisse ===
Mit den Evaluierungsergebnissen beschäftigt sich ein paritätisch besetztes Arbeitsgremium.
 
Optimalerweise wird den Ergebnissen eine Kurzinterpretation durch Fachpersonal beigefügt.
 
====Diskussion über verschiedene Varianten====
*Beschäftigung durch Arbeitsgremium
'''Pro''': Qualitätsmanagement wird durch einen PDCA Zyklus betrieben. Evaluierung ist im Check Part, danach folgt der Act. Ohne Act ist eine Evaluierung nutzlos. Die Ergebnisse und mögliche Maßnahmen müssen somit besprochen werden. Ein Gremium welches sich bewusst damit beschäftigt ist der natürliche Weg dafür. Das Arbeitsgremium kann ggbfs. auch Maßnahmen an weitere Gremien oder Personen empfehlen oder delegieren. Das Gremium kann auch feststellen dass keine weitere Schritte notwendig sind und alle Ziele erfolgreich erreicht wurden.
 
'''Contra''': Aufwand
 
*Kurzinterpretation durch Fachpersonal
'''Pro''': Evaluierungen sind methodisch komplex. Eine Kurzinterpretation durch Fachpersonal vereinfacht Lehrenden, Studierenden und Gremien, kurzum allen Interessierten, den Zugang.
 
'''Contra''': Fachpersonal benötigt.
 
== Studieneinstiegsevaluierungen ==
Keine Besonderheiten aus studentischer Sicht.
 
== Absolventenevaluierung==
Ergebnisse von Absolvenbefragungen sind hochschulöffentlich.
Mit den Ergebnissen beschäftigt sich ein paritätisch besetztes Arbeitsgremium.
 
== Studiengangserfolgsevaluierungen ==
Bei Notwendigkeit sind punktuell Studiengangserfolgsevaluierungen durchzuführen.
 
====Diskussion über verschiedene Varianten====
* Durchführung
'''Pro''': Kann z.B. ein hilfreiches Instrument sein wenn überprüft werden soll ob Regelstudienzeiten eingehalten werden können.
 
'''Contra''': Aufwand.
 
== Produkevaluierungen ==
Bei Notwendigkeit sind punktuell Produkevalierungen durchzuführen
 
====Diskussion über verschiedene Varianten====
* Durchführung
'''Pro''': Kann z.B. ein hilfreiches Instrument sein wenn überprüft werden soll ob ein Campus Management System das Studierendenleben erleichtert.
 
'''Contra''': Aufwand.
 
== Klausur/Übungsaufgabenevaluierung ==
Für Evaluierungen von Klausuren und Übungsaufgaben ist eine Experimentierklausel zu schaffen.
 
====Diskussion über verschiedene Varianten====
'''Pro''': Solche Evaluierungen können hilfreich sein um verschiedene Ziele im Zusammenhang mit Klausuren und Übungen zu überprüfen. Beispielsweise ob eine Prüfung zur Vorlesung passt. Ob Übungsaufgaben angemessen sind in zeitlichem Aufwand oder Anspruch oder Zusammenhang zur Vorlesung. Solche Evaluierungen gibt es bisher nur sehr selten. Mit entsprechenden Experimentierklauseln können damit Erfahrungen gesammelt werden.
 
'''Contra''': Aufwand.
 
== Fachschaftsevaluierungen ==
Die Etablierung von Evaluierungen bei studentische Vertretungen ist voranzutreiben. Auch wir haben den Anspruch qualitativ gute Arbeit zu leisten. Ob wir das machen wissen wir erst wenn wir die Erreichung unserer Ziele prüfen. Die Ziele der studentischen Vertretung finden sich typischerweise in den Landeshochschulgesetzen, können aber auch lokal definiert werden. Z.B. hat auch eine Orientierungs-Woche diverse Ziele deren Erfüllung sich am Ende durch eine Evaluierung festhalten lassen.


Eine gute Evaluierung soll (kann???) die Lehrbeurteilung ermöglichen.
== Resolution ==


Ergebnisse Verwendung
Text hier: [[KIF420:Evaluierung_Optimal/Resolution]]

Aktuelle Version vom 13. Juni 2014, 15:36 Uhr

Beschreibung[Bearbeiten]

Arbeitskreise zu Evaluierungen finden häufig statt. In der Vergangenheit waren dies eher Austausch AK, womit ich nicht ganz glücklich bin. Ich würde gerne in der Gruppe zu einer Meinung finden wie Evaluierungen optimal ausgestaltet sein sollen. Dazu trage ich vergangene Resolutionen und AK Inhalte zusammen, bringe meine mehrere Jahre aktive Erfahrung im Qualitätsmanagement an Hochschulen mit ein und erwarte Diskussionen und Beiträge. Ziel ist es mindestens Best Practices zu erstellen, konkrete Forderungen sind durchaus auch realistisch.

Schon bestehende Resolutionen[Bearbeiten]

KIF320:Resolutionen/Datenschutz_Evaluation

 Die 32,0te Konferenz der Informatik-Fachschaften (KIF) fordert alle Studierendenvertretungen auf, 
 bei Evaluationen auf die Einhaltung des geltenden Datenschutzrechtes zu achten.

Sonst keine gefunden :/

Schon stattgefundene Arbeitskreise[Bearbeiten]

Inhalte[Bearbeiten]

  • Definition Evaluierung
  • Evaluierung als Oberbegriff. Lehrveranstaltungsevaluierung, Studieneinstiegsbefragung, Absolventenbefragung, Studiengangserfolgsevaluierung, Forschungsevaluierung

... (wird gleich losgefahren, noch packen)

Temporäre Gedanken[Bearbeiten]

Mitschrift AK Evaluierung Optimal[Bearbeiten]

Definition Evaluierung[Bearbeiten]

Evaluierung: Ein Instrument zur Qualitätssicherung durch sach- und fachgerechte Bewertung.

  • Ein Instrument zur Qualitätssicherung: Es gibt auch andere Instrumente. Evaluierung ist eines von Vielen.
  • Ein Instrument zur Qualitätssicherung: Evaluierung ist ein Instrument, kein Wundermittel, Methode, Glaubensrichtung oder Kultur.
  • Ein Instrument zur Qualitätssicherung: Evaluierung sicher die Qualität. Qualitätsmanagement wird mit Hilfe eines Qualitätszyklus betrieben: PDCA – Plan, Do, Check, Act. Evaluierung fällt unter „Check“. Evaluierung ist keine Qualitätsentwicklung. Das können erst nachfolgende Tätigkeiten erreichen.
  • Evaluierung bewertet. Die Bewertung ist optimalerweise sach- und fachgerecht. Nicht sach- und fachgerechte Evaluierung ist keine, mindestens nutzlos.

Ziele einer Evaluierung[Bearbeiten]

Das Ziel einer Evaluierung ist es zu einem bestimmten Zeitpunkt den Erfüllungsgrad von Zielen zu überprüfen.

  • Daraus folgert dass eine Evaluierung die vorherige Formulierung von Zielen bedingt.

Arten von Evaluierungen[Bearbeiten]

Evaluierung die aus studentischer Sicht relevant sein können:

  • Lehrveranstaltungsevaluierung: bekannt
  • Studieneinstiegsevaluierung: Fragen zur Situation vor dem Studium (Gründe für Studienwahl, Angemessenheit von Informations- und Werbematerialien, Servicequalität der Verwaltung, ...)
  • Alumnievaluierungen oder Absolventenevaluierung: Fragen zur Situation nach dem Studium (Berufsbefähigung, Befähigung gesellschaftliches Engagement, Aktuelität der Inhalte des Studiums, ...), Fragen zum Gesamtstudium aus der Retroperspektive (Inhalte, Ablauf, Aufbau, Ausirchtung, ...)
  • Studiengangserfolgsevaluierung: Konkrete Fragen nach dem Studiengangserfolg oder Misserfolg. Z.B. Nur 10% der Studierenden vervollständigen 90 CP nach 3 Semester, woran liegt es? Niemand interessiert sich für Vertiefungsfächer xyz, ...)
  • Fachschaftsevaluierung: Evaluierung der studentischen Arbeit
  • "Produktevaluierungen": Campus Management Systeme, Software, Technik
  • Klausur/Übungsaufgabenevaluierung: Passen Klausur/Übung zu Vorlesung? Umfang/Schwierigkeit angemessen? ...
  • Nicht relevant z.B.: Forschungsevaluierung, Mitarbeiterevaluierung

Notwendigkeit von Evaluierungen[Bearbeiten]

Evaluierung ist ein Instrument zur Qualitätssicherung. Auch andere Instrumente können den Erfüllungsgrad von Zielen überprüfen. Notwendigkeit einer Evaluierung prüfen: Ist eine Überprüfung der Ziele schon durch andere Instrumente gegeben? (Z.B. Gespräche/Kommunikation, Statistiken). Ist diese aussagekräftig? (1 Gespräch vs. 20 ausgefüllten Evaluierungen).

Lehrveranstaltungsevaluierungen[Bearbeiten]

Zeitpunkt[Bearbeiten]

Zu 2/3 des Semesters, sodass die Lehrenden die Ergebnisse mit den Studierenden besprechen können. Die Hochschule sollte in Projekten auch mit anderen Zeitpunkten experimentieren. Es kann sein für spezielle Veranstaltungen verschiedene Zeitpunkte zu wählen. Möglichkeit eines ständigen Rücklaufkanals überprüfen.

Diskussion über verschiedene Varianten[Bearbeiten]

  • Nach 2/3 des Semesters, sodass die Lehrenden die Ergebnisse mit den Studierenden besprechen können.

Pro: Diskussion der Ergebnisse mit den Studierenden sinnvoll. Ermöglicht es Unklarheiten im Diskurs zu klären. Hebt die Bedeutung der Evaluierung. Nach 2/3 ist ein Kompromiss zwischen ausreichend Fortschritt und rechtzeitig vor Ende.

Contra:

  • Beginn des Semester

Pro: Ermöglicht es die Veranstaltung noch anzupassen

Contra Zweimalige Evaluierung notwendig. Umfangreichere Anpassungen in der Veranstaltung unrealistisch. Keine Meinung über Punkte möglich die mehr Zeit brauchen

  • Am Ende der Veranstaltung

Pro:Die gesamte Veranstaltung wird überblickt, inklusive der Lernphase

Contra: Keine Diskussion mehr möglich, zum nächsten Semester unrealistisch. Lernphasen sind sehr unterschiedlich ausgestaltet.

  • Nach der Klausur

Pro: Alle die Interesse (unterschiedlicher Art) an der Veranstaltung haben sind anwesend. Evaluierungsergebnisse können nicht die Erstellung der Klausur beeinflussen. Möglichkeit die Klausur in die Evaluierung einfließen zu lassen.

Contra: Keine Diskussion mehr möglich, zum nächsten Semester unrealistisch. Klausurbeeinflussung durch Evaluierungsergebnisse sollte anders angegangen werde, wegen einzelnen Fällen sollte nicht eine generelle Verschlechterung für alle andere erfolgen. Evaluierung zur Klausur führt zu unerwünschter Unruhe.

  • Anderer Zeitpunkt als 2/3

2/3 ist ein guter Kompromiss und leicht verständlich. Aufsplittung in mehr oder andere Zeiträume hat keine gewichtigen Vorteile.

Häufigkeit[Bearbeiten]

Muss jede Hochschule in Rücksprache mit den Studierenden anhand ihrer Qualitätskultur selbst festlegen. Möglichst alle Veranstaltungen jedes Semester wird als vorteilhaft gesehen, insbesondere für die ersten Semester. Eine Drittelevaluierung ist auch ein gangbarer Weg. Dabei sollte ein Plan erstellt werden sodass für jede etablierte Veranstaltung innerhalb von 3 Semestern Abstand eine Evaluierung vorliegt. Bei neuen Veranstaltungen, neuen Lehrenden, Änderungen oder auf gezielt bei Wunsch (der Lehrenden oder der Studierenden) ist häufiger zu evaluieren.

Diskussion über verschiedene Varianten[Bearbeiten]

  • Alle Veranstaltungen jedes Semester

Pro: Bei häufigen Wechsel sinnvoll. Es werden negative Abweichungen direkt festgestellt und es kann reagiert werden.

Contra: Hoher Aufwand und Belastung. Evaluierungsmüdigkeit. Werden überhaupt neue Daten gewonnen?

  • Drittelevaluierung

Pro: Reduzierter Aufwand und Belastung. Alle drei Semester ist ausreichend um immer wieder zu sehen ob alles passt. 3 Semester Zyklus gibt die Möglichkeit in einem Semester mit Änderungen zu experimentieren, im zweiten Semester zu festigen und im dritten zu evaluieren.

Contra: Bei häufigen Wechsel oder negativen Änderungen wird zu selten erfasst und es kann zu spät reagiert werden.

  • Andere Zyklen als Drittelevaluierung

Pro: Bei geringeren: Schnellere Reaktion möglich. Bei längeren: Weniger Belastung

Contra: 3 wird als guter Kompromiss gesehen. Zu viele Alternativen sind konfus.

  • Jetzige Formulierung

Die jetzige Formulierung ist ein Kompromiss aus den verschiedenen Wünschen. Gerade Erstsemestervorlesungen sind häufiger zu evaluieren, da dort die Auswirkungen weitreichend sind. Ebenso soll bei den Studierenden eine entsprechende Qualitätskultur etabliert werden, bei welcher eine Evaluierung als Standard angesehen wird. Wenn eine Hochschule einen stabilen Lehrplan hat, kann auch auf eine Drittelevaluierung umgestellt werden. Dabei sind die aufgeführten Öffnungsklauseln zu beachten.

Geltungsbereich[Bearbeiten]

Spezielle Bögen erstellen und gezielt nutzen (Übung, Vorlesung, Labor, …). Basisteil kann gleich sein (z.B. überall Freitextfeld)

Diskussion über verschiedene Varianten[Bearbeiten]

  • Ein Bogen für alles

Pro: Wenig Aufwand

Contra: Konsens, dass es Fragen gibt die nur bei bestimmten Veranstaltungstypen Sinn machen (Zufriedenheit bzgl. persönlicher Betreuung bei Praxisphasen sinnvoll, bei Vorlesung weniger üblich)

  • Spezielle Bögen erstellen und gezielt nutzen

Pro: Unterschiedliche Veranstaltungstypen haben unterschiedliche Ziele. Evaluierung prüft Ziele ab. Unterschiedliche Bögen damit logisch notwendig.

Contra: Mehr Aufwand.

Umfang[Bearbeiten]

Max 1 Din A4 bei sinnvoller Schrift und Freitext.

Besonderheit digital: Vertiefungsblöcke bei Bedarf. Z.B. bei Übung nur gezieltere Fragen anzeigen wenn eine Eingangsfrage negativ beantwortet wurde.

Diskussion über verschiedene Varianten[Bearbeiten]

  • Jetzige Formulierung

Pro: Aufwand wird reduziert. Evaluierungsmüdigkeit wird reduziert. Lächerlichkeit des Bogens wird reduziert. Eine zu große Menge an Daten hat keinen Nutzen, da es zu keinen weiteren Ergebnissen oder Reaktionen führt.

Contra: Eine Seite reduziert die Menge an Daten die gewonnen werden kann.

Hinweis: Zur Feststellung ob mehr als eine Seite notwendig ist kann auch die Evaluierung evaluiert werden ob ihr Ziel (Ziele zu überprüfen) erreicht wird. Dazu können Studierende und Lehrende über Nutzen, Verständnis, Klarheit, … von allen Fragen gefragt werden. Wenn von allen Seiten kein Nutzen erkannt wird, ist das ein gutes Argument zur Reduzierung.

Form[Bearbeiten]

Analog oder digital ist beides ok. Besonderheiten kommunizieren. Bei Papier ist zu erwarten dass alle ausgeteilten Bögen ausgefüllt werden. Bei digital ist typischerweise die Rücklaufquote geringer (Mögliche Reaktion: Digital, aber zur Vorlesung mit Laptops oder Labor mit Rechnern). Bei digital sind die Rückmeldungen negativer, da eher diejenigen Studierenden evaluieren, bei denen als Motivation Gründe vorliegen die sie loswerden wollen. Die Form sollte so gewählt sein dass möglichst viele erreicht werden (im Sinne einer Evaluierung, d.h. Zeitraum für Rückmeldung zu dehnen ist nicht hilfreich, da dies die Rahmenedingungen ändern kann)

Diskussion über verschiedene Varianten[Bearbeiten]

  • Nur Papier

Pro: Höhere Rücklaufquote, keine Fälschungen möglich

Contra: Aufwand und Kosten ausdrucken + einscannen. Nicht anwesende Personen können nicht evaluieren. Schnelle Bearbeitung.

  • Nur digital

Pro: Aufwand gering, Kosten gering (nach Initial). Schnelle Bearbeitung. Keine Anwesenheit erforderlich.

Contra: Anonymität nicht für alle klar. Verzerrungen möglich durch evtl. Mehrfachabgaben. Geringe Rücklaufquote. Ggbfs. Rückmeldung nicht von allen, sondern nur von denen die ein Anliegen haben.

  • Analog oder digital ist beides ok

Beide Varianten haben Stärken und Schwächen. Nutzung der Situation anpassen.

Hinweis: Bei Papierform hat sich etabliert dass die Bögen nicht durch die Lehrenden ausgeteilt werden, sondern durch eine unabhängige Hilfskraft oder Mitglieder der Studierendenvertretung. Wenn die Befürchtung besteht können Manipulationen verhindert werden indem die Ergebnisse unter Aufsicht der Studierenden in einen versiegelten Umschlag gesammelt werden.

Bei Digitalform hat sich etabliert entweder Codes auszuteilen (Hinweis: Gefahr der multiplen Abgabe) oder Codes per E-Mail zuzusenden (Unklarheiten der Anonymität).

Freitext[Bearbeiten]

Freitextfelder zur Rückmeldung sind generell sinnvoll.

Diskussion über verschiedene Varianten[Bearbeiten]

Freitextfelder ermöglichen individuelle Rückmeldung. Manche Lehrenden erachten dies sogar als wichtigsten Teil der Evaluierung.

Ergebnisse Verwendung[Bearbeiten]

Ergebnisse sind hochschulöffentlich in digitaler Form bereitzustellen. Sie enthalten die Ergebnisse der Veranstaltung (Für alle Items wenn möglich Mittelwert, Standard-Abweichung, Anzahl). Sie enthalten die Namen der jeweils Lehrenden und die Kommentare der Freitextfelder. Die Freitextfelder sind redaktionell aufzubereiten vor der Weitergabe an die Lehrenden (Handschrift zu Text, Ehrverletzende Kommentare entfernen, Mehrfachnennungen mit Angabe der Anzahl zusammenfassen) Den Lehrenden ist vor der Veröffentlichung die Möglichkeit zu geben das veröffentlichte Dokument mit einer Stellungnahme zu versehen.

Diskussion über verschiedene Varianten[Bearbeiten]

  • „öffentliche Veröffentlichung“

Pro: Größtmöglichste Transparenz

Contra: Lehrveranstalungsevaluierungen finden im Umfeld einer Hochschule unter bestimmten entsprechenden Rahmenbedingungen statt. Ohne deren Kenntnis ist die Interpretation und Einordnung schwierig bis nicht möglich. Insbesondere ist ein Vergleich der Ergebnissen von Lehrveranstaltungsevaluierungen zwischen verschiedenen Hochschulen nicht sinnvoll.

  • hochschulöffentliche Veröffentlichung

Pro: Allen Mitgliedern der Hochschule sind die Ergebnisse zur Verfügung zu stellen. Durch Transparenz entsteht die Möglichkeit zur Anerkennung von guter Leistung und zur Diskussion von Verbesserungen. Die Befürchtung dass die Veröffentlichung zu einem Negativbild führt sind dahingehend nicht verständlich dass sich dieses an einer Hochschule auch ohne Evaluierung etabliert, nur diffuses, ungerechter und ohne Verbesserungsmöglichkeiten. Datenschutzrechtliche Argumente sind dahingehend nicht treffend, da es sich um die Ausübung einer Berufstätigkeit in öffentlicher Funktion (an öffentlichen Hochschulen) handelt. Dies hat schon das BGH (VI ZR 196/08) in Bestätigung durch das BverfG (1 BvR 1750/09) grundsätzlich festgestellt. Contra': Negative Evaluierungen erzeugen ein negatives Bild. Datenschutz.

  • Keine Veröffentlichung, nur an die jeweiligen Lehrenden und ggbfs. Studiendekan/Studienausschuss

Pro: Lehrenden haben Kontrolle über ihre Evaluierungsergebnisse.

Contra: Ergebnisse sind unbekannt. Keine effektive Einbindung in PDCA Zyklus möglich.

  • Niemand bekommt Ergebnisse, wird nur aggregiert auf Fachbereichsebene

Pro: Unklar. Gibt aber Hochschulen die das machen. Möglicherweise um jegliche Diskussion darüber zu vermeiden oder (gesetzlichen) Anforderungen minimal zu entsprechen.

Contra: Nutzen nicht vorhanden, Ziel einer Evaluierung verfehlt.

  • Ergebnisse in digitaler Form bereitstellen

Pro: Einfacher Zugriff. Publikationen sind auch für immer erreichbar, auch wenn die ersten vlt. geringere Qualität haben als solche nach 20 Jahren.

Contra: Ggbfs. für immer erreichbar. Negativwirkung kann haften bleiben.

  • Ergebnisse nur ausgedruckt z.B. in Bibliothek oder auf Anfrage herausgeben

Pro: Verbreitung stark eingeschränkt. Eher unwahrscheinlich dass es über die eigene Hochschule hinausgeht.

Contra: Hohe Hürden für Zugriff. Ineffizient wenn viele zugreifen möchten.

  • Für alle Items Mittelwert, Standard Abweichung und Anzahl an Werte

Pro: Notwendige Angaben zur Einschätzung von gemittelten Werten. Aufwand ist bei digitaler Auswertung vernachlässigbar.

Contra: Mehraufwand.

  • Sie enthalten die Namen der Lehrenden

Pro: Eine Zuordnung ermöglicht eine Würdigung der Leistungen und Diskussion von Verbesserungen. Wenn kein Namen angegeben wird ist trotzdem mittels Vorlesungsverzeichnis die Zuordnung möglich, nur der Aufwand ist ohne weiteren Nutzen höher.

Contra: Eine direkte Zuordnung kann zu einer negativen Meinung über Lehrende führen.

  • Sie enthalten die Namen der Lehrenden bei Wunsch

Pro: Siehe enthalten immer die Namen. Zusätzlich: Lehrende können bei Befürchtungen vor negativen Auswirkungen ihre Nennung ablehnen.

Contra: Namen lassen sich über Vorlesungsverzeichnis trotzdem zuordnen. Tendenz dazu dass alle ohne Namen verdächtig sind.

  • Sie enthalten keine Namen der Lehrenden

Pro: Zuordnung wird vermieden, es kommt zu keiner negativen Meinung über Lehrende.

Contra: Zuordnung ist über Vorlesungsverzeichnis trotzdem möglich, nur der Aufwand ist höher. Die in der Mehrzahl positiven Ergebnisse lassen sich nicht würdigen.

  • Sie enthalten die Kommentare der Freitextfelder (Bei Negation sind Argumente umgekehrt)

Pro: Freitextfelder sind Bestandteil der Evaluierung, gehören zu den Ergebnissen dazu.

Contra: Freitextfelder können unterschiedlicher Qualität sein.

  • Freitextfelder sind redaktionell aufzubereiten vor der Weitergabe an die Lehrenden und der Veröffentlichung. (Bei Negation sind Argumente vertauscht)

Pro: Notwendig um Handschriftenerkennung zu vermeiden. Notwendig um Ehrverletzende Kommentare und Schmähkritik zu entfernen. Zusammenfassung von Mehrfachnennungen reduziert Umfang.

Contra: Aufwand. Lehrende können selbst Rückmeldungen umgehen.

Hinweis: Nach Ansicht des AK gibt es Menschen, welche sich persönliche Angriffe zu Herzen nehmen. Wir möchten kein Umfeld in dem sich beleidigt wird und tolerieren es nicht. An der Stelle hat auch der Gesetzgeber in Deutschland die Meinungsfreiheit eingeschränkt. Schmähkritik, Beleidigungen, ehrverletzende Behauptungen, etc sind eine Straftat. Dagegen können Lehrende aktiv werden bis hin zu Anzeigen.

  • Den Lehrenden ist vor der Veröffentlichung die Möglichkeit zu geben das veröffentlichte Dokument mit einer Stellungnahme zu versehen. (Bei Negation sind Argumente vertauscht)

Pro: Um Lehrenden die Möglichkeit zu geben Gründe für ggbfs. Negative Ergebnisse zu erklären oder positive Ergebnisse zu erläutern ist die Möglichkeit einer Stellungnahme zielführend. Dies insbesondere unter dem Grundansatz dass die Ergebnisse digital veröffentlicht werden. Die Ausgestaltung der Stellungnahme (Frist, Umfang, etc) regelt ein Arbeitsgremium.

Contra: Aufwand.

Festlegung von Formalia und Varianten mit Öffnungsklausel[Bearbeiten]

Basis für Evaluierungen ist eine Hochschulweite Evaluierungsordnung/Satzung. Basis für Festlegung von offenen Punkten und zu treffende Entscheidungen (Wann wird die Evaluierung genau durchgeführt, Welche Veranstaltungen genau, wie lange Frist für Stellungnahme, etc) ist ein Fachbereich/Fakultätsweites Arbeitsgremium welches paritätisch besetzt ist. Diese sollten sich auf einer regelmäßigen austauschen. Je nach Größe der Hochschule ist auch ein hochschulweites Gremium zielführend.

Diskussion über verschiedene Varianten[Bearbeiten]

  • Hochschulweite Evaluierungsordnung/Satzung

Pro: Durch eine hochschulweite Evaluierungsordnung/Satzung ist Rechtssicherheit geschaffen. Zum einen ist damit allen Mitgliedern der Hochschule bewusst dass es eine Regelung gibt, zum anderen können sich alle darauf berufen. Die hochschulweite Ordnung/Satzung kann auch offene Punkte enthalten bzw. Regelungen den Fachbereichen/Fakultäten überlassen.

Contra: Formaler Bürokratismus. Wenn es alle selbst regeln sind individuellere und angepasste Abläufe möglich.

  • Fakultäts/Fachbereichsweite Evaluierungsordnung/Satzung

Pro: Autonomie der Fakultäten/Fachbereich wird gestärkt, individuelle Regelungen möglich.

Contra: Auch hochschulweite Regelungen ermöglichen es wenn notwendig bestimmte Inhalte den Fakultäten/Fachbereichen zu überlassen. Es können auch Experimentierklauseln integriert werden. Zu große Divergenz zwischen den Fachbereichen/Fakultäten führt zu Unklarheiten und redundanten oder inkompatiblen Abläufen.

  • Fachbereich/Fakultätsweites Arbeitsgremium

Pro: Detailaspekte sind für jede Hochschule selbst zu klären. Dies muss irgendwo geschehen. Ein Arbeitsgremium ermöglicht die Einbindung aller Beteiligten. Arbeitsgremium ist bewusst formuliert, typischerweise ist z.B. ein Fachbereichs/Fakultätsrat nicht dafür geeignet Detailfragen zur Evaluierung zu klären. Manche Details sind Fachbereichs/Fakultätsabhängig, somit ist ein Arbeitsgremium auf dieser Ebene anzusiedeln. Wenn die Hochschule in der Größe überschaubar ist, erscheint auch ein hochschulweites Gremium zielführend.

Contra: Zeitaufwand durch Tätigkeit in Gremium.

  • Hochschulweites Gremium

Pro: (nur bzgl. hochschulweit) Reduzierung der Anzahl von Gremien, einheitliche hochschulweite Regelungen.

Contra: Zu viel Arbeit für ein Gremium bei größeren Hochschulen, Berücksichtigung von Besonderheiten bei Fachbereichen/Fakultäten in hochschulweiten Gremien oft schwierig.

  • Entscheidungen durch Studiendekan/Einzelperson

Pro: Kurze Wege, schnelle Entscheidungen

Contra: Keine Mitwirkungsmöglichkeit für alle Beteiligten. Entscheidungsfindung nicht transparent.

Anonymität[Bearbeiten]

Evaluierungen sind so zu gestalten, dass keine Zuordnung der Bögen und Ergebnisse zu den Evaluierenden möglich ist. Dabei ist auch die Gruppengröße und deren Zusammensetzung zu berücksichtigen.

Diskussion über verschiedene Varianten[Bearbeiten]

  • Anonymität der Evaluierenden (Negation mit vertauschten Argumenten)

Pro: In Deutschland hat sich gesellschaftlich historisch die Form der anonymen Evaluierung etabliert. Studierende fühlen sich unwohl bei der Möglichkeit einer direkten Zuordnung.

Contra: Evaluierende die mit einem Namen verbunden sind haben ein höheres Gewicht, da sie mit ihrem Namen für ihre Meinung stehen.

  • Gruppengröße und Zusammensetzung berücksichtigen

Pro: Bei einer Abgabenanzahl von 1 Person ist die Anonymität offensichtlich nicht mehr gewährleistet. Auch bei 2-5 kann dies beispielsweise ähnlich sein. Zumal sind <= 5 Rückmeldungen statistisch fraglich. Bei der Zusammensetzung der Gruppe sind ggbfs. Bestimmte Spezifika zu berücksichtigen. Beispiel 9w, 1m: Wenn nach Geschlechtern getrennt wird ist die Anonymität offensichtlich nicht mehr gewährleistet. Die genauen Grenzen sind in der Diskussion festzulegen. Bei geringer Anzahl an Anwesenden ist ggbfs ein Gespräch hilfreicher, dessen Ergebnisse schriftlich festgehalten werden.

Contra: Veranstaltungen mit geringer Anzahl an Teilnehmenden oder Anwesenden können nicht evaluiert werden.

Verantwortung der Evaluierung[Bearbeiten]

Die Verantwortung zur Durchführung (Verteilung Bögen, Erfassung Ergebnisse) der Evaluierung liegt bei der Hochschule. Insbesondere werden die Kosten von der Hochschule getragen. Wenn die Hochschule andere beauftragt, sind diese finanziell für die Arbeit zu entschädigen.

Diskussion über verschiedene Varianten[Bearbeiten]

  • Verantwortung bei Hochschule

Pro: Durchführung und Kontinuität sichergestellt. Wenn Verantwortung z.B. bei Fachschaften liegt, ist es abhängig von der Aktivität der Fachschaft. Auch wenn die Fachschaften über die Evaluierung entscheiden wird sich die Hochschule bei unerwünschten Abläufen verwehren.

Contra: Wenn die Verantwortung bei einer Fachschaft liegt können sie einfacher und freier entscheiden wie die Evaluierung vonstatten geht.

  • Kosten tragen die Hochschulen

Pro: Einen Finanzierung von Aufgaben der Hochschule durch studentische Gelder ist abzulehnen. Andere Finanzierungswege erscheinen unrealistisch. Auch wenn kein Geld vorhanden ist, wäre es die Pflicht der Hochschule dies einzufordern.

Contra: Wenn kein Geld vorhanden ist kann z.B. mit Finanzierung durch studentische Gelder eine Evaluierung grundsätzlich durchgeführt werden.

Interpretation der Evaluierungsergebnisse[Bearbeiten]

Mit den Evaluierungsergebnissen beschäftigt sich ein paritätisch besetztes Arbeitsgremium.

Optimalerweise wird den Ergebnissen eine Kurzinterpretation durch Fachpersonal beigefügt.

Diskussion über verschiedene Varianten[Bearbeiten]

  • Beschäftigung durch Arbeitsgremium

Pro: Qualitätsmanagement wird durch einen PDCA Zyklus betrieben. Evaluierung ist im Check Part, danach folgt der Act. Ohne Act ist eine Evaluierung nutzlos. Die Ergebnisse und mögliche Maßnahmen müssen somit besprochen werden. Ein Gremium welches sich bewusst damit beschäftigt ist der natürliche Weg dafür. Das Arbeitsgremium kann ggbfs. auch Maßnahmen an weitere Gremien oder Personen empfehlen oder delegieren. Das Gremium kann auch feststellen dass keine weitere Schritte notwendig sind und alle Ziele erfolgreich erreicht wurden.

Contra: Aufwand

  • Kurzinterpretation durch Fachpersonal

Pro: Evaluierungen sind methodisch komplex. Eine Kurzinterpretation durch Fachpersonal vereinfacht Lehrenden, Studierenden und Gremien, kurzum allen Interessierten, den Zugang.

Contra: Fachpersonal benötigt.

Studieneinstiegsevaluierungen[Bearbeiten]

Keine Besonderheiten aus studentischer Sicht.

Absolventenevaluierung[Bearbeiten]

Ergebnisse von Absolvenbefragungen sind hochschulöffentlich. Mit den Ergebnissen beschäftigt sich ein paritätisch besetztes Arbeitsgremium.

Studiengangserfolgsevaluierungen[Bearbeiten]

Bei Notwendigkeit sind punktuell Studiengangserfolgsevaluierungen durchzuführen.

Diskussion über verschiedene Varianten[Bearbeiten]

  • Durchführung

Pro: Kann z.B. ein hilfreiches Instrument sein wenn überprüft werden soll ob Regelstudienzeiten eingehalten werden können.

Contra: Aufwand.

Produkevaluierungen[Bearbeiten]

Bei Notwendigkeit sind punktuell Produkevalierungen durchzuführen

Diskussion über verschiedene Varianten[Bearbeiten]

  • Durchführung

Pro: Kann z.B. ein hilfreiches Instrument sein wenn überprüft werden soll ob ein Campus Management System das Studierendenleben erleichtert.

Contra: Aufwand.

Klausur/Übungsaufgabenevaluierung[Bearbeiten]

Für Evaluierungen von Klausuren und Übungsaufgaben ist eine Experimentierklausel zu schaffen.

Diskussion über verschiedene Varianten[Bearbeiten]

Pro: Solche Evaluierungen können hilfreich sein um verschiedene Ziele im Zusammenhang mit Klausuren und Übungen zu überprüfen. Beispielsweise ob eine Prüfung zur Vorlesung passt. Ob Übungsaufgaben angemessen sind in zeitlichem Aufwand oder Anspruch oder Zusammenhang zur Vorlesung. Solche Evaluierungen gibt es bisher nur sehr selten. Mit entsprechenden Experimentierklauseln können damit Erfahrungen gesammelt werden.

Contra: Aufwand.

Fachschaftsevaluierungen[Bearbeiten]

Die Etablierung von Evaluierungen bei studentische Vertretungen ist voranzutreiben. Auch wir haben den Anspruch qualitativ gute Arbeit zu leisten. Ob wir das machen wissen wir erst wenn wir die Erreichung unserer Ziele prüfen. Die Ziele der studentischen Vertretung finden sich typischerweise in den Landeshochschulgesetzen, können aber auch lokal definiert werden. Z.B. hat auch eine Orientierungs-Woche diverse Ziele deren Erfüllung sich am Ende durch eine Evaluierung festhalten lassen.

Resolution[Bearbeiten]

Text hier: KIF420:Evaluierung_Optimal/Resolution