Festlegen von Bewertungskriterien und Erstellung eines Bewertungsrasters
Welche Funktion erfüllen Bewertungskriterien für Aufgaben?
Bewertungskriterien reichen von der Festlegung, welche Antworten als richtig, teilrichtig oder falsch gewertet werden, bis hin zu genauen Regeln für die Punktevergabe. Die Objektivität, Zuverlässigkeit und Gültigkeit der Leistungseinschätzung können Sie durch gute und transparente Bewertungskriterien deutlich erhöhen. Stellen Sie sich ein Bewertungsraster als ein nummerisches Abbild Ihrer Lehrziele vor, wobei Sie durch eine gezielte Punktevergabe auch eine Gewichtung einzelner Lehrziele vornehmen können. Bedeutend sind klare Bewertungskriterien aber vor allem auch hinsichtlich der Reliabilität einer Prüfung: Je transparenter und klarer Sie die Bewertungskriterien definiert haben, desto zuverlässiger (und damit auch valider) können Sie bei der Korrektur der Aufgaben vorgehen.
Fünf Schritte zum Erstellen eines Bewertungsrasters
1. Schritt: Erstellen einer Musterlösung
Dieser Schritt ist optional, erleichtert Ihnen aber das weitere Vorgehen. Eine Musterlösung beinhaltet „ideale“ Antworten zu allen in der Prüfung gestellten Aufgaben. Erstellen Sie dabei idealerweise bereits bei der Gestaltung der Aufgaben eine solche Musterlösung. Sie werden dadurch auch bei der Aufgabengestaltung erfahrungsgemäß reflektierter und genauer vorgehen.
2. Schritt: Festlegen von Bewertungskategorien
Überlegen Sie im nächsten Schritt, wie viele Bewertungsstufen für eine Aufgabe jeweils sinnvoll sind. Machen Sie dies davon abhängig, wie spezifisch die Aufgabe jeweils ein Lehrziel abbildet und wie differenziert Sie das erreichte Niveau jeweils erfassen möchten. Zum Beispiel kann die Fähigkeit, ein Integral aufzustellen, in mehrere Lösungsschritte unterteilt werden. Sie können entsprechend überlegen, inwieweit diese einzelnen Schritte unterschiedliche Niveaustufen der zu überprüfenden Kompetenz abbilden. Müssen zum Beispiel bei zwei aufeinanderfolgenden Schritten jeweils ähnliche Rechenregeln erinnert und angewandt werden, so könnten Sie diese zwei Schritte in einem Punkt zusammenfassen. Würden Sie stattdessen zwei Punkte vergeben, so würden Sie dadurch eine stärkere (unerwünschte?) Gewichtung der niedrigen Niveaustufe vornehmen. Alternativ könnten Sie zum Beispiel davon ausgehen, dass die Studierenden – wenn Sie zum Beispiel eine Vertiefungsveranstaltung anbieten – von Beginn an dazu in der Lage sein müssen, Integrale aufzustellen. Sie müssten diese Fähigkeit dann entsprechend in der Prüfung nicht mehr „belohnen“. Je nach der Mindestanforderung, die Sie stellen, könnte also auch eine dichotome Bewertung (richtig oder falsch) sinnvoll sein.
Beachten Sie beim Festlegen von Bewertungskategorien in allen Fällen, dass damit unterschiedliche Bewertungsskalen für die jeweiligen Aufgaben entstehen können. Durch unterschiedliche Skalierungen (also verschiedene Maximalpunktzahlen) innerhalb einer Aufgabe können schnell unerwünschte Gewichtungseffekte in der Gesamtbewertung entstehen. Sollten Sie dennoch unterschiedliche Skalenniveaus verwenden, überlegen Sie deshalb unbedingt, inwieweit im Anschluss einzelne Aufgaben noch einmal nachgewichten sollten. Zum Beispiel können Sie eine bestimmte Aufgabe doppelt zur Gesamtbewertung zählen, weil bei dieser – im Vergleich zu differenzierteren Aufgaben – nur halb so viele Punkte erreicht werden können, die Aufgabe aber mit Blick auf die zu überprüfende Leistung dasselbe Gewicht haben. Im Idealfall gelingt es Ihnen, Aufgaben (im Sinne von Teilaufgaben) so zu einer Prüfung zusammenzustellen, dass durch die Addition einzelner Punkte für jeweils eine Teilaufgabe eine für das „Gesamtmerkmal“ repräsentative Bewertung entsteht (wobei das Konzept eines „Gesamtmerkmals“ mit Blick auf die Prüfung als Test kritisch zu hinterfragen ist, meist bestehen Prüfungen aus mehreren Teilfacetten, die idealerweise auch separat bewertet werden müssten).
3. Schritt: Beschreibung der einzelnen Niveaustufen
In einem weiteren Schritt sollten Sie festlegen, unter welchen Bedingungen eine bestimmte Lösung einer entsprechenden Lösungskategorie zuzuordnen ist, was also zum Beispiel eine richtige, teilrichtige oder falsche Lösung auszeichnet. Auch hier sollten Sie Ihre Überlegungen auf Basis der Anforderungen im Sinne der Lehrziele vornehmen. Bei geschlossenen Antworten mit klar definierter Lösungsmenge ist dieser Schritt verhältnismäßig einfach. Sobald Sie jedoch offene Antworttypen einsetzen, müssen Sie sich mit unterschiedlichen Darstellungsformen bei den Lösungen auseinandersetzen. Statt einer benennbaren Menge an Lösungen müssen Sie für solche Aufgaben Entscheidungsregeln finden, die die Zuordnung einer Antwort zu einer bestimmten Kategorie erlauben (z. B. „Die Verwendung von Fachsprache wird bei der Lösung der Aufgabe mitbewertet, entsprechend ist eine Lösung, die zwar inhaltlich richtig ist, aber alltagssprachlich formuliert wurde auch nur als teilrichtig zu bewerten“). Überlegen Sie also systematisch, was genau die Aufgabe bewerten soll und wie Sie Lösungsvarianten angemessen charakterisieren können.
4. Schritt: Erstellen von Ankerbeispielen
Ankerbeispiele sind Beispiele für konkrete Lösungsvarianten. Dies können Antworten von Studierenden aus vergangenen Prüfungen, aber auch „fiktive“ Lösungen sein, die möglichst authentisch formuliert sind. Ebenso können Ankerbeispiele beim Probelöse von Aufgaben entstehen. Ankerbeispiele konkretisieren dabei noch einmal die im vorherigen Schritt festgelegten Zuordnungsregeln und machen die Zuordnung für die Korrigierenden „greifbarer“.
5. Schritt: Regeln für die Vergabe von Punkten festlegen
Ziel der Punktevergabe ist es – wie bereits erwähnt –, die Leistung eines Studierenden in einem nummerischen Wert abzubilden, sodass die das erreichte Niveau differenziert beurteilt werden kann. In der gängigen Prüfungspraxis werden dabei häufig die Punkte aufaddiert und anhand eines Notenschlüssels die Gesamtnote gebildet. Auf Basis der der vorangegangenen Erklärungen sollte Ihnen aber an dieser Stelle ersichtlich werden, dass es auf diese Weise zu Gewichtungsproblemen kommen kann, zum Beispiel durch unterschiedliche Punkteskalen bei Aufgaben. Die größte Herausforderung bei der Definition von Regeln für die Punktevergabe ist es deshalb für Sie, zu entscheiden, mit welchem Gewicht die einzelnen Aufgabenlösungen in die Gesamtnote einfließen sollen. Insofern einzelne Lehrziele häufig mal mehr und mal weniger wichtig für die Gesamtbewertung eines Studierenden sind, stelle Sie sich die Frage, welchen Anteil eine einzelne Aufgabe zur Bewertung eines jeweiligen Lehrziels beiträgt. Im Anschluss gewichten Sie die Lehrziele noch einmal mit Blick auf die Gesamtprüfung. Sie haben dann eine zweistufige Gewichtung vorgenommen.
Das Reglement an Hochschulen sieht allerdings häufig vor, dass sich die Punktevergabe am Zeitaufwand für die Lösung einer Aufgabe zu orientieren habe. Aus Sicht einer kriterienorientierten Beurteilung ist ein solches „fremdes“ Kriterium allerdings problematisch, insofern der Zeitaufwand nicht immer ein valider Maßstab mit Bezug auf die Beurteilung des Erreichens eines Lehrziels ist. Einer einfachen, aber nur mit hohem Zeitaufwand zu lösenden, Aufgabe zu einem untergeordneten Lehrziel, können auf diese Weise mehr Punkte zukommen als einer kürzeren, aber voraussetzungsreicheren, zu einem wichtigen Lehrziel. Insofern der Zeitaufwand von der jeweiligen Hochschule als Kriterium strikt vorausgesetzt wird, haben Sie dieses natürlich entsprechend mit einzubeziehen. Dies kann bedeuten, dass Sie eine Aufgabe mit geringerer Bedeutung, deren Lösung aber zeitaufwendiger ist, geschickt einkürzen, sodass sich der Zeitaufwand mit der von Ihnen angestrebten Gewichtung deckt.
Grafiken zu „Beispiele für die Festlegung von Bewertungskriterien“
Prüfen II - Abbildung 1 - Beispiel für ein Bewertungsraster
Grafik 5 - Aufgabenbeispiel aus dem VERA-Vergleichsarbeiten
Abbildung 2 - Beispiel für ein Bewertungsraster mit offenem Antwortformat
