Bewerten von Abschlussarbeiten
20.11.2023
Einblicke in die Hintergründe einer Bewertung von Abschlussarbeiten sowie Normen und Gütekriterien.
Ziele von Abschlussarbeiten und ihrer Bewertung
In Workshops zum Betreuen von Abschlussarbeiten wurden u.a. folgende Ziele genannt, weshalb Studierende überhaupt Abschlussarbeiten schreiben sollen: Die Studierenden sollen zeigen, dass sie
- Wissenschaftlich arbeiten und schreiben können
- Selbständig arbeiten können
- Sich trauen, Schwerpunkte in der eigenen Arbeit zu setzen
- Die gelernten Methoden und Werkzeuge anwenden können
- Ergebnisse klar und verständlich präsentieren können.
Diese Liste ist nicht vollständig und muss in verschiedenen Fächern unterschiedlich ergänzt werden. Wenn dies aber die Lehr-/Lernziele sind, dann sollten sie in der Bewertung von Abschlussarbeiten auch alle berücksichtigt werden. Nur so lässt sich messen, ob die Ziele erreicht wurden und die Studierenden die Qualifikationen haben, die von Absolvent_innen des Studiengangs erwartet werden. Die Bewertung der Abschlussarbeit erfüllt dann die didaktischen, Rekrutierungs- und Selektionsfunktionen einer Prüfung.
Bewertungskriterien
Prinzipiell gilt es drei Arten von Bewertungsnormen zu unterscheiden: kriterial, sozial und individuell. Allgemein wird vermutlich die kriteriale Bewertung in der universitären Lehre am häufigsten eingesetzt und sie sollte auch bei der Bewertung von Abschlussarbeiten angewandt werden. Die studentische Leistung wird an den im Vorhinein festgelegten Kriterien gemessen und bewertet. Dies ermöglicht es am ehesten die Gütekriterien bei der Bewertung zu erfüllen.
Gütekriterien in der Bewertung von Abschlussarbeiten
Generell sollten alle Arten von Leistungsmessung die Gütekritierien Objektivität, Reliabilität und Validität möglichst gut erfüllen (vgl. Beitrag Faires Prüfen ). Wünschenswert wäre außerdem, dass die Betreuung und Bewertung für die Betreuer_innen ökonomisch sind.
Objektivität (Unabhängigkeit) bedeutet bezogen auf Abschlussarbeiten, dass mehrere Bewerter_innen bei derselben Arbeit zur selben Note kämen. Völlige Objektivität ist bei Abschlussarbeiten schon deshalb nicht möglich, weil in den wenigsten Fällen anonym bewertet wird, d.h. potenziell können Bewertungsfehler (siehe Kapitel „Potenzielle Fehlerquellen“) einfließen.
Reliabilität, d.h. die Zuverlässigkeit und die Messgenauigkeit, ist bei Abschlussarbeiten sehr schwer zu erreichen, denn Abschlussarbeiten werden weder unter genau denselben Bedingungen erstellt noch unter solchen korrigiert.
Die Chancen auf Objektivität und Reliabilität werden jedoch deutlich erhöht, wenn analytisch, d.h. kriterienbasiert (siehe Kapitel „Kriterien für analytische Bewertung entwickeln“) bewertet wird.
Das wichtigste Kriterium bei der Bewertung ist die Validität: Eine Abschlussarbeit sollte so angelegt und das Thema so formuliert sein, dass die Studierenden damit die Fähigkeiten und Fertigkeiten, die gemessen werden sollen, auch unter Beweis stellen können. Daran gilt es schon bei der Vergabe von Themen und dem Entwickeln des Kriterienkatalogs zu denken.
Wann immer Lehrende bewerten, sollten sie sich bewusst sein, dass Bewertung immer durch Interpretation vermittelt ist, das heißt, dass echte Objektivität nicht erreichbar ist. Dazu kommt erschwerend, dass es eine Vielzahl von Faktoren gibt, die bewusst, v.a. aber auch unbewusst die Bewertung einer Leistung beeinflussen können (Vgl. Beitrag Wahrnehmungs- und Beurteilungsfehler
). Hier soll kurz an die wichtigsten Faktoren, die bei der Bewertung von Abschlussarbeiten eine Rolle spielen können, erinnert werden:
- Der Primacy und der Recency Effekt beziehen sich auf den ersten und den letzten Eindruck, diese zählen. Beginnt eine Abschlussarbeit brillant sind Korrekteure so beeindruckt, dass sie eventuell nicht merken, welche Schwächen sich im Laufe der Arbeit auftun und zu gut bewerten. Enthält die Diskussion am Ende der Abschlussarbeit viele Rechtschreib- und Zitierfehler und ist dadurch schwer zu lesen, kann der Ärger darüber dazu führen, dass die gute Einleitung und klare Darstellung der Ergebnisse vergessen bzw. zu wenig berücksichtigt werden. Von der gesamten Arbeit entsteht dann ein zu schlechter Eindruck.
- Vorinformationen und Erwartungseffekte können die Bewertung ebenfalls positiv oder negativ beeinflussen. Ist die/der Studierende z.B. in Lehrveranstaltungen immer durch gute Beiträge und viel Engagement aufgefallen, besteht die Gefahr, dass Prüfer_innen auch von einer sehr guten Abschlussarbeit ausgehen und Mängel in der Arbeit übersehen oder wegen negativer Erwartungen, die positiven Aspekte in einer Arbeit nicht anerkennen.
- Von Mildefehlern sprechen wir, wenn keine ganz schlechten Noten gegeben werden, bei Strengefehlern wird die Notenskala nach oben nicht ausgenutzt, nach dem Motto „Eine 1,0 kann niemand schaffen!“. Eine Kombination dieser beiden Fehlerquellen führt dazu, dass nur Noten im mittleren Bereich gegeben werden; die sogenannte Zentraltendenz
- Der Halo-Effekt beschreibt die Situation, in der eine Eigenschaft der/des Studierenden alles andere positiv oder negativ überstrahlt. Dies kann beispielsweise dazu führen, dass eine exzellent gelayoutete Arbeit insgesamt zu gut für ihren Inhalt bewertet wird oder dass ein schwerfälliger Schreibstil zu einer schlechteren Bewertung führt als der Inhalt der Arbeit es rechtfertigen würde oder dass bei Studierenden, die zu Beginn einer experimentellen Abschlussarbeit Probleme haben, sich in die Methoden einzuarbeiten dann auch die schriftliche Zusammenfassung der Ergebnisse schlechter bewertet wird.
- Auch wenn es nicht so sein sollte, können Lehrende sich kaum dagegen wehren Sympathie/Antipathie für Studierende zu empfinden und dies kann ebenfalls einen Einfluss auf die Bewertung haben.
Komplett ausschließen können Prüfer_innen diese Faktoren nicht; es hilft aber, sich ihrer bewusst zu werden und immer wieder bewusst gegenzusteuern.
Formative und Summative Bewertung
Summative Bewertung erfüllt vor allem gesellschaftliche Funktionen: Sie übt Kontrolle aus und führt zur Selektion der Besten. Sie soll Lernende in der und für die Leistungsgesellschaft sozialisieren. Sie sorgt für eine (zentrale) Kontrolle über Kompetenzniveaus in bestimmten Fächern und Berufen. Außerdem soll sie die künftigen Leistungen der Studierenden/Absolvent_innen prognostizieren.
Formative Bewertung verfolgt hingegen vor allem didaktische Ziele. Sie dient
- der Steuerung und Optimierung von Lehr-Lern-Prozessen
- der Diagnose von Lehr-Lern-Prozessen
- der differenzierten Rückmeldung an die Studierenden
- der Rückmeldung an die Lehrenden darüber, was „angekommen“ ist und
- als Anregung zur Selbststeuerung des Lernprozesses an die Studierenden.
Bei der Bewertung von Abschlussarbeiten wird in den allermeisten Fällen wohl kombiniert bewertet: formativ in Form von Feedbackgesprächen (vgl. Beitrag Abschlussarbeiten betreuen ) und eventuellen Vorkorrekturen, (vgl. Kapitel "Vorkorrekturen) summativ durch das Abschlussgutachten und die Endnote. Wenn Feedbackgespräche und Vorkorrekturen die Funktionen formativer Bewertung erfüllen sollen, ist eine differenzierte und informative Rückmeldung besonders wichtig.
Soll man Vorversionen einer Abschlussarbeit lesen? Wie genau soll man diese korrigieren?
Der Vorteil von Vorkorrektur ist, dass Studierende ein differenziertes und genaues Feedback zum jeweiligen Stand ihrer Arbeit bekommen. Zudem sind Betreuer_innen einigermaßen realistisch über den Stand und die potenzielle Qualität der Arbeit informiert. Gleichzeitig haben Vorkorrekturen aber auch gravierende Nachteile:
- Sie bedeuten einen hohen Zeitaufwand für die Betreuer_innen.
- Es ist unter Umständen nicht mehr deutlich, wieviel Eigenanteil die Studierenden an der Arbeit haben.
Dieser Nachteile muss man sich als Betreuer_in bewusst sein und entscheiden, ob man sie in Kauf nehmen will oder kann. Unter Umständen geraten Betreuer_innen hier auch in einen Zielkonflikt, wenn studentische Arbeiten z. B. in der Bibliothek öffentlich gemacht werden: Einerseits sollen die Studierenden selbständig arbeiten, andererseits sollen vom Lehrstuhl keine schwachen Arbeiten eingestellt werden. Doch man sollte sich unbedingt klarmachen: Die Autor_innen sind die Studierenden und wenn sie während der Anfertigung der Arbeit gut betreut waren, muss sich der Lehrstuhl keine Vorwürfe machen. Nicht alle Abschlussarbeiten können Einserarbeiten sein.
Ein Mittelweg wäre, sich ein- oder zweimal einen kurzen Auszug aus der Arbeit schicken zu lassen und diesen detailliert zu korrigieren und zu kommentieren. Kluge Studierenden können aus den Anmerkungen und Korrekturen extrapolieren, wie die Prüfer_innen die fertige Arbeit lesen und bewerten und ihre Arbeit gegebenenfalls noch entsprechend korrigieren, schwächere Studierende können das oft nicht und bekommen dann eben eine schlechtere Note als die klugen.
Lernzieltaxononie und Bewertung
Lernzieltaxonomien gehen davon aus, dass es unterschiedlich anspruchsvolle Lernzielstufen gibt (vgl. u.a. Biggs & Tang 2009, Bloom & Engelhardt 1976). Die niedrigste, aber auch grundlegende, ohne die nichts geht, ist die Wissensstufe. Darauf folgen: anwenden können, analysieren und synthetisieren können sowie bewerten können. Die angestrebten Lehr-Lernziele sollten den Studierenden für alle Lehrveranstaltungen und die dazugehörigen Prüfungen von Anfang an transparent kommuniziert werden. Dies gilt auch für Abschlussarbeiten. Es sollte von Anfang an klar sein, was die Erwartungen sind und dass es nicht nur um Wissensdemonstration geht, sondern das Erreichen höherer Lernziele erwartet wird. Nur dann können die Studierenden sich daran orientieren.
Kompetenzorientiertes Bewerten
Bei den meisten Leistungen, die Studierende erbringen müssen, geht es nicht nur um Fachkompetenz. Sehr oft ist auch Methodenkompetenz (z. B. gelernten Methoden und Werkzeuge anwenden können) und Personalkompetenz (z. B. selbständig arbeiten können) gefordert. Je nach Fach und Veranstaltung geht es manchmal auch um Sozialkompetenz. Diese Kompetenzen sind teils auch in den Modulkatalogen genannt, entsprechend sollten sie auch abgeprüft und bewertet werden. Aus dieser Vielfalt an Kompetenzen, deren Erwerb überprüft werden soll, wird schon klar, dass es eigentlich vielfältigere studentische Leistungen als die klassischen Prüfungsformen Klausur, mündliche Prüfung und wissenschaftliche Arbeit (d.h. Haus- oder Seminararbeiten, Bachelor- und Masterarbeiten) geben sollte.
Sacher (2014) weist darauf hin, dass konvergente Leistungen (z. B. Klausuren mit geschlossenen und halboffenen Fragen) zwar eindeutige und klare Lösungen haben, aber meist nur die beiden untersten Kompetenzstufen der Fachkompetenz (wissen und anwenden) messen. Divergente Aufgaben, wie Abschlussarbeiten, hingegen können viele verschiedene und gleichwertige Lösungen haben; sie sind deshalb wesentlich schwerer zu beurteilen. Doch nur mit solchen divergenten Aufgaben können die höheren Lernzielstufen (und ggf. auch soziale und personale Kompetenzen) geprüft werden. Für Abschlussarbeiten bedeutet dies, dass wir idealerweise eine Kombination aus ganzheitlicher und analytischer Bewertung brauchen.
Leistung ganzheitlich und analytisch bewerten
Je komplexer die Aufgabe und je erfahrener Bewerter_innen, desto eher wird sich beim Korrigieren und Bewerten ein ganzheitlicher Eindruck einstellen. Daran ist nichts verwerfliches, dieser Gesamteindruck sollte aber immer auch mit einer analytisch ermittelten Note für diese Leistung verglichen und rückgekoppelt werden (Abb. 1). Gleiches gilt insgesamt für Fächer, in denen traditionell eher ganzheitliche Noten gegeben werden, wie z. B. oft in den Literaturwissenschaften. Dies unterstützt einerseits das Erreichen der Gütekriterien in der Bewertung und andererseits ist es für die Studierenden als Rückmeldung transparenter und informativer.
Analytische Noten kann man durch die Unterteilung der Leistung beispielsweise in kleinere Analyseeinheiten erreichen. Bei wissenschaftlichen Arbeiten könnten dies die Teile der Arbeit sein: Einleitung, Theorieteil, Datenpräsentation … Schlussfolgerung und Ausblick. Es können aber auch unterschiedliche Ebenen der Arbeit separat bewertet werden: Inhalt, Methode, Form, … oder es wird ein engmaschiger Kriterienkatalog entwickelt.
Zudem müssen Ausprägungsgrade der diversen Einheiten/Ebenen/Kriterien definiert werden. Dies kann numerisch in Prozent oder in Schulnoten geschehen oder es kann auch sprachlich beschrieben werden, was eine „sehr gute“, „gute“ etc. Erfüllung des jeweiligen Kriteriums darstellt, dann hat man ein Bewertungsraster (Bsp BA Thesis Engl) erstellt. Ein positiver Nebeneffekt eines solchen verbalisierten Rasters ist, dass es sehr beim Schreiben des abschließenden Gutachtens hilft, weil es einem bereits Formulierungsbausteine liefert.
Ein Bewertungsraster kann z. B. in Form eines didaktischen Rasters (Lehner 2012), auch „didaktisches Strukturgitter“ genannt (ursprünglich Blankertz 1974) erstellt werden. Dann werden Wissensdimensionen mit Leistungskategorien korreliert. Hierzu werden in einer Matrix die Stufen der Bloomschen Lernzieltaxonomie (reproduzieren, verstehen/anwenden, reflektieren/kritisieren können) mit den Wissensbereichen Fakten, Konzepte und Prozeduren bzw. dem Verfügungs- und Orientierungswissen in Zusammenhang gebracht (Siehe auch Tipps für die Praxis Tabelle 1: Didaktisches Raster). So werden dann verschiedene Kompetenzstufen definiert und beschrieben aus denen sich die Note ableiten lässt.
Kriterien für die analytische Bewertung entwickeln
In vielen Fächern gibt es schon Bewertungsraster für Abschlussarbeiten. Falls das nicht der Fall ist, sollte unbedingt ein Kriterienkatalog entwickelt werden, auch unabhängig davon wie groß die Bedeutung einer ganzheitlichen Bewertung ist. Bestehende Bewertungsbögen, sollten von Zeit zu Zeit kritisch überdacht und ggf. angepasst werden. Es ist wichtig, den Kriterienkatalog den Studierenden klar und transparent zu kommunizieren; dann haben die Studierenden eine faire Chance zu wissen, was von ihnen erwartet wird. Ganz nach dem Motto: Nur wer weiß, wo die Pfosten stehen, kann auch ein Tor schießen.
Wie sollte ein solcher Kriterienkatalog aussehen?
Wenn wir die Ziele aus dem Abschnitt Ziele von Abschlussarbeiten und ihrer Bewertung noch einmal betrachten, lassen sich daraus folgende Kriterien ableiten:
| Ziel | Kriterium/Kriterien |
|---|---|
| Wissenschaftlich arbeiten und schreiben können | Hier fließen alle Aspekte zu Form, Sprache, Inhalt, Methode, Umgang mit Literatur etc. ein. Es handelt sich also um ein Metaziel, das durch Teilziele operationalisierbar gemacht werden muss (s.u.). |
| Sich trauen, Schwerpunkte in der eigenen Arbeit zu setzen |
Enthält die Arbeit klar und nachvollziehbar begründete Schwerpunkte? Versteht man die Auswahl der diskutierten Fachliteratur? |
| Die gelernten Methoden und Werkzeuge anwenden können |
Passt die gewählte Methode zur Forschungsfrage? Wurde die Methode adäquat um- und eingesetzt? |
| Ergebnisse klar und verständlich präsentieren können |
Sind die Ergebnisse dem Fach und der Forschungsfrage entsprechend präsentiert? Sind sie verständlich und nachvollziehbar präsentiert? |
| Selbständig arbeiten können |
Wie oft und wieviel Unterstützung wurde in der Bearbeitungsphase benötig? Kam der/die Studierende mit einer Haltung von „Ich habe ein Problem, hilf mir!“ was wenig Selbständigkeit entspricht oder mit der Haltung „Ich habe ein Problem, mir Folgendes überlegt, geht das so?“ was einer hohen Selbständigkeit entspricht. |
Abhängig von den Lehr-/Lernzielen, die mit der Abschlussarbeit dokumentiert werden sollen, müssen Kriterien ausgewählt und auch gewichtet werden. Zum Metaziel „Wissenschaftlich arbeiten und schreiben können“ könnten unter anderem folgende Kriterien gehören:
Falls die Präsentation der Arbeit in die Endnote eingeht, muss auch hier festgelegt werden, welche Aspekte wie stark gewertet werden. Beispiele für Bewertungskataloge finden Sie im Materialpool in den Marginalien. |
|
