Artikel und Medien

Der Begriff der Operationalisierung ist ein Begriff aus der Forschung und bezeichnet die Messbarmachung eines (zumeist theoretischen) Konstrukts (Bühner, 2011). Dahinter steht das – bereits im Beitrag zu den Gütekriterien der Testtheorie – angesprochene Bezugsproblem, das von einem gezeigten Verhalten im Sinne einer manifesten Beobachtungsebene auf die Ausprägung eines bestimmten Wissensstands oder bestimmter Fähigkeiten oder Kompetenzen geschlossen werden muss. In diesem Sinne lassen sich Aufgaben auch als Verhaltensstichproben bezeichnen und es stellt sich für Sie als Lehrende – auch mit Hinblick auf die Zusammenstellung von Aufgaben zu einer Prüfung – immer die Frage, wie eine solche Stichprobe aussehen muss, um die Gesamtheit der Lehrziele repräsentativ abzubilden. Prüfungsaufgaben dienen Ihnen also dazu, aus dem gezeigten Verhalten eines Studierenden in einer Anforderungssituation gültige Rückschlüsse auf das Erreichen von Lehrzielen – im Sinne der Verallgemeinerbarkeit dieses Verhaltens – zu ziehen.

Die Wahl eines Prüfungsformats und einzelner Aufgabentypen sollten Sie also immer von den zugrundeliegenden Lehrzielen abhängig machen. Überlegen Sie dabei, welcher Wissensbestand, welche Fähigkeiten und Kompetenzen bei einer bestimmten Aufgabe vermutlich relevant werden. Geht es zum Beispiel um die Fähigkeit, sicher mit einem Auto am Straßenverkehr teilzunehmen, kann das zur Beurteilung notwendige Verhalten kaum in einem schriftlichen Test gezeigt werden. Soll jedoch getestet werden, ob eine Person das benötigte Wissen über Verkehrsregeln besitzt, um sicher am Straßenverkehr teilnehmen zu können, kann dieses Wissen sehr wohl in einer schriftlichen Prüfung abgefragt werden, indem die Testpersonen die Antwort entweder selber formulieren oder aus vorgefertigten Wahlantworten auswählt. An diesem Beispiel sollte Ihnen auch deutlich werden, dass es beachtliche Unterschiede in der „Praxisnähe“ der einzelnen Prüfungsformen gibt.

Betrachten Sie die Auswahl eines bestimmten Prüfungsformats einmal aus einer anderen Perspektive: Welchen Beitrag zum Erwerb von Kompetenzen möchten Sie mit Ihrer Veranstaltung leisten und wie möchten Sie Ihren Lehrerfolg beurteilen? Wie verhalten sich Ihre Lehrziele mit Blick auf den langfristigen Kompetenzerwerb (Vgl. Beitrag zu Kompetenzorientiert lehren – kompetenzorientiert prüfen )? Zielen Sie mit einem bestimmten Lehrziel auf den vollständigen Erwerb einer Kompetenz ab, oder möchten Sie damit den Grundstein für kompetentes Handeln legen? Auf welcher Kompetenzstufe bewegen Sie sich also mit Ihren Lehrzielen? Je nachdem können unterschiedliche Prüfungsformen zum Einsatz können. Unterscheiden können Sie dabei in einem ersten Schritt zwischen einem Kompetenztest, einem kompetenzorientierten Test oder einem kompetenzorientierten Wissenstest (Schindler, 2015).

Während ein Kompetenztest die direkte Beobachtung einer zu erzielenden Kompetenz anstrebt, etwa im Rahmen von Praktika, überprüft ein kompetenzorientier Wissenstest die Voraussetzungen für kompetentes Handeln in Form von Wissensbeständen. Kompetenzorientierte Tests sind dagegen solche, in denen eine Situation möglichst praxisnah simuliert werden soll, etwa in der Nachstellung eines Beratungsgesprächs oder eines Laboraufbaus. Die grösste Validität erreichen Sie dabei sicherlich mit einem Kompetenztest, insofern das beobachtete Verhalten tatsächlich den Erwerb einer bestimmten Kompetenz voraussetzt. Sie beobachten damit gewissermaßen die Gesamtkompetenz. Bei kompetenzorientierten Tests stellt sich darüber hinaus die Frage, wie authentisch und realistisch die simulierte Situation ist bzw. welche Fehlerquellen bei der Beurteilung sich aus ihrer „Künstlichkeit“ ergeben. Noch diffiziler ist die Beurteilung der Validität eines kompetenzorientierten Wissenstests: Hier benötigen Sie sinnvolle Annahmen darüber, welche Struktur eine Kompetenz aufweist. Sie müssen die Kompetenz also in Bausteine und Stufen zerlegen und deshalb auch sicherstellen, dass das gewählte Konstrukt (also die Beziehung einzelner Facetten zueinander, die in ihrer Gesamtheit eine oder mehrere Kompetenzen ergeben) valide ist. Ein Kompetenztest gibt Ihnen also die grösste Sicherheit bei der Beurteilung. Sie wissen aber sicherlich, dass es auch eine Frage der Prüfungsökonomie ist, welche Prüfungsform für Ihre Veranstaltung infrage kommt.

Halten Sie eine Vorlesung mit vielen Studierenden? Es wird Ihnen dann wohl kaum möglich sein, Kompetenztests oder kompetenzorientierte Tests durchzuführen. Konzentrieren Sie sich deshalb auf die Stärken kompetenzorientierter Wissenstests und seien Sie sich dabei bewusst, dass Sie Voraussetzungen für spätere Kompetenzen überprüfen und nicht diese Kompetenzen selbst (es sei denn, Sie bieten einen Schreibkurs an, zum Beispiel zum wissenschaftlichen Schreiben). Berücksichtigen Sie diese Einschränkung in Ihren Lehrzielen und weisen Sie Ihre Studierenden auf das Zusammenwirken dieser Lehrziele im Hinblick auf den längerfristigen Kompetenzerwerb hin. Kaum etwas ist für motiviertes Lernen hinderlicher als fehlende Relevanzerleben. Führen Sie dagegen ein Seminar durch? Sie haben entsprechend weniger Studierende und deshalb eventuell auch die Möglichkeit, realitätsnahe Situationen zu simulieren, im Sinne eines kompetenzorientierten Tests. Haben Sie darüber hinaus die Möglichkeit, berufspraktische Anteile in Ihre Veranstaltung einzubauen? Könnten Sie diese Schnittstelle eventuell nutzen, um ihren Lernerfolg tatsächlich direkt in der Berufspraxis zu beobachten? Sie bewegen sich dann auf Ebene eines Kompetenztests.

Welche Möglichkeiten sich in Ihren Veranstaltungen auch immer bieten: Vermeiden Sie zu hohe Ansprüche gegenüber einzelnen Prüfungsformaten. Nicht selten kommt es vor, dass sich Lehrende in schriftlichen Prüfungen mit dem Grad an Komplexität und Anwendungsbezug in den Aufgaben übernehmen, um möglichst realitätsnahe Aufgaben zu stellen. Erfahrungsgemäß kommt es dadurch jedoch zu beträchtlichen Einschränkungen hinsichtlich der Beurteilungen, weil die Anforderungen meist nicht mehr analytisch aufgeschlüsselt und bewertet werden können. Achten Sie stattdessen darauf, dass sich im Zusammenspiel der Anforderungen ein stimmiges Bild ergibt. So oder so stellt der kompetenzorientierte Wissenstest eine der größeren Herausforderungen dar, insofern es weitaus schwieriger ist, begründet festzustellen, welche Voraussetzungen für spätere Kompetenzen relevant sind, insofern eine korrekte Prognose von vielen weiteren Faktoren abhängt. Sehen Sie deshalb insbesondere auch schriftliche Prüfungen als eine Paradisziplin, die Sie meistern können.

Jede Aufgabenstellung besteht grundsätzlich aus zwei Komponenten: dem Aufgabenstamm und dem Antwortformat.

Der Aufgabenstamm stellt ganz allgemein die Anforderungssituation dar, um Beispiel in Form einer Frage, einer Aussage, eines Bildes, einer Geschichte, Zeichnung oder Rechenaufgabe. Die Anforderungssituationen sollten Sie dabei so gestalten, dass das fragliche Verhalten herbeigeführt wird, Ihre Studierenden also zum Zeigen des relevanten Verhaltens angeregt und angeleitet werden. Dies gilt im Übrigen für alle „klassischen“ Prüfungsformen, ob Sie nun eine schriftliche Prüfung, eine mündliche Prüfung oder eine Simulation als Prüfungsrahmen wählen. Immer geht es darum, die Potenziale und Grenzen der jeweiligen Anforderungssituationen mit Blick auf ein zu evozierendes Verhalten (begründet an einem Lehrziel) gut einzuschätzen und somit die kognitive Validität einer Aufgabe zu begründen (Vgl. Beitrag zu Validität, Reliabilität, Objektivität: Fair Prüfen ). Entsprechend sollten für Sie bei der Aufgabengestaltung folgende Überlegungen leitend sein: Welches Verhalten evoziere ich mit der Aufgabenstellung (dem Aufgabenstamm), welches systematische Wissen, welche Fähigkeiten oder welche Kompetenzen werden mit der Aufforderung aktiviert?

Passend zu dieser Frage ist auch ein adäquates Antwortformat zu wählen. Das Antwortformat dient zur Registrierung des Testverhaltens und beeinflusst ebenfalls die Validität der Beurteilung. Mit dem Testverhalten ist dabei die Menge an Handlungen gemeint, die Studierende an einer bestimmten Aufgabenstellung ausführen können. So ist bei schriftlichen Prüfungen das Testverhalten schon insoweit eingeschränkt, dass Studierende keine mündliche Antwort geben können, wobei natürlich auch die Kombination mit schriftlichen Antwortformaten eine Option ist. Innerhalb einer schriftlichen Prüfung können Antwortformate hingegen unterschiedlich standardisiert sein. Mit jeder Veränderung des Antwortformats kann (nicht muss) sich der Anspruch an die Lösung einer Aufgabe ändern. So könnten Studierende zum Beispiel bei einem kleinen Antwortfeld bereits einschätzen, dass die Antwort wohl knapp ausfallen kann/sollte und auf dieser Grundlage eine bestimmte Menge an möglichen Lösungen mittels Ausschlussverfahren eingrenzen. Sie müssen als Prüfungsstellende entscheiden, inwieweit eine Standardisierung des Antwortformats mit Blick auf die Lehrziele gewollt ist. Eine grundlegende Unterscheidung müssen Sie dabei erst einmal zwischen offenen (oder freien) und geschlossenen (gebundenen) Antwortformaten treffen.

Bei einem offenen Antwortformat lassen Sie ihre Studierenden selbst eine Antwort in einem allgemein verständlichen Zeichensystem formulieren. Das offene Antwortformat können Sie vorzugsweise zur Messung von konzeptionellem Verständnis, der Fähigkeit, Sachverhalte in einer Domäne schriftlich oder grafisch darzustellen und zu erläutern, sowie für Berechnungs-, Bewertungs-, Analyse- und Problemlöseaufgaben einsetzen (Schindler, 2015). Grundsätzlich sollten Sie aber beachten, dass ein offenes Antwortformat erhöhte Ansprüche an die Bewertung (siehe: Festlegen von Bewertungskriterien und Erstellung eines Bewertungsrasters ) stellt und deshalb tendenziell eine geringere Objektivität und Reliabilität als geschlossene Antwortformate aufweist. Außerdem sollten Sie mit Blick auf die Validität der Beurteilung bei offenen Antwortformaten beachten, dass viel eher auch „nebensächliche“ Fähigkeiten und Kompetenzen in die Lösung der Aufgabe mit hineinspielen, wie zum Beispiel die schriftliche Ausdrucksfähigkeit der jeweiligen Person. Prüfen Sie also am besten immer erst, ob Sie ein bestimmtes Lehrziel nicht auch in Form eines geschlossenen Antwortformats überprüfen können und öffnen Sie Ihre Aufgaben sukzessive mit steigendem Anwendungsbezug/Komplexität Ihrer Lehrziele.

Dazu stehen Ihnen auch innerhalb offener Antwortformate verschiedene „Standardisierungsgrade“ zur Verfügung. Bei sogenannten Kurzantwortaufgaben lassen Sie Ihre Studierenden selbstständig eine (kurze) Antwort formulieren. Die Antworten beschränken sich auf das Aufzählen von Begriffen, Aussagen, Definitionen oder Fakten oder dienen der Lösung von Berechnungsaufgaben. Kurzantwortaufgaben sollten Sie deshalb unbedingt so stellen, dass die Antwort auch tatsächlich in aller Kürze erfolgen kann. Kurzantwortformate werden häufig eingesetzt, wenn zum Beispiel überprüft werden soll, inwieweit bestimmte Rechenprozeduren selbstständig durchgeführt werden können.

Bei erweiterten offenen Antwortformaten sind die erwarteten Antworten dagegen länger und erfordern mehrere verschiedene Konzepte, Lösungs- oder Konstruktionsschritte oder Wissenseinheiten, Argumentationen oder die Bewertung mehrerer Konzepte. Grundsätzlich sollten Sie beim Einsatz offener Antwortformate immer überlegen, inwieweit eine Erweiterung oder Einschränkung der Antwortmöglichkeiten dazu führt, dass bei ihrer Beantwortung Fähigkeiten oder Kompetenzen zum Tragen kommen, die Sie mit der Aufgabe gar nicht bewerten möchten, wie zum Beispiel die bereits genannte Ausdrucksfähigkeit oder – im Falle einer Beschränkung des Antwortformats – ein Rückschluss vom verfügbaren Platz auf den Charakter der Lösung. Bei Unsicherheiten kann es für Sie deshalb durchaus sinnvoll sein, eine umfangreiche Aufgabe noch einmal in Teilaufgaben zu unterteilen, die jeweils einen klaren Fähigkeits- oder Kompetenzaspekt abbilden.

Bei geschlossenen Antwortformaten bieten Sie demgegenüber Ihren Studierenden eine Auswahl von Antworten (Wahlantwortformat) an, so dass eigens keine Antwort formuliert werden, sondern lediglich aus den gewählten Alternativen gewählt werden muss. Jede Wahlantwort besteht aus einem Aufgabenstamm, einer richtigen Antwort sowie mehreren (idealerweise 2-3) falschen Antworten (sogenannten Distraktoren). Insofern dieses Format (1) in der Durchführung und Auswertung besonders ökonomisch, (2) sehr anspruchsvoll in der Umsetzung ist und (3) in seinem Potenzial oft unterschätzt wird, können Sie sich auf unserer Seite eingehender mit den Möglicheiten und Grenzen von Prüfungen im Wahl-Antwort-Format auseinandersetzen.

Generell lässt sich zu den Vorteilen geschlossener Antwortformate sagen, dass sich recht genau steuern lässt, welche Fähigkeits- oder Kompetenzfacetten für die Lösung einer Aufgabe benötigt werden. Die kognitive Validität einer Beurteilung (Vgl. Beitrag zu Validität, Reliabilität und Objektivität – Faires Prüfen ) lässt sich relativ zuverlässig bestimmen. Auch treten eher seltener Probleme unterschiedlicher Bewertung gleichwertiger Lösungen bei der Korrektur auf, was auch die Reliabilität der Beurteilung erhöht. Dies wird dadurch begünstigt, dass ein auf diese Weise standardisiertes Format eine hohe Objektivität aufweist. Auch hier gilt also: Überlegen Sie immer erst, inwieweit Sie eine Aufgabe standardisieren können und öffnen Sie die Aufgabe erst, wenn Sie komplexere Voraussetzungen für Kompetenzen (z. B. konzeptuelles oder metakognitives Wissen) überprüfen möchten. Reizen Sie die Möglichkeiten standardisierter Antwortformate also aus.

Im Folgenden finden Sie weitere Kriterien in Form von Rückfragen, die Sie bei der Auswahl (oder auch der Gestaltung) einer Aufgabe zu jeweils spezifischen Lehrzielen unterstützen. Die Kriterien basieren auf einem allgemeindidaktischen Kategoriensystem zur Analyse des kognitiven Aufgabenpotenzials nach Maier, Kleinknecht, Metz und Bohl (2010):

1. Welche Inhalte und Wissensstufen sollen durch die Aufgabenstellung abgedeckt werden? Bezieht sich die Aufgabe auf Faktenwissen oder sollen Prozesse beschrieben werden? Möchten Sie mit der Aufgabe überprüfen, ob Konzepte verstanden wurden, ob also Konzeptwissen erlernt wurde? Oder soll die Aufgabe gar metakognitives Wissen beanspruchen, im Sinne reflexivem Verständnis der Lösungsstrategien?
2. Auf welchem kognitiven Niveau soll die Aufgabe gelöst werden? Soll etwas reproduziert werden, soll ein naher oder weiter Transfer auf Grundlage bereits geübter Situationen erfolgen, oder sollen kreativ Probleme gelöst werden?
3. Soll die Aufgabe einen Realitätsbezug beinhalten? Gerade bei kompetenzorientierten Wissenstests sollte überlegt werden, in welchem Masse ein Realitätsbezug sinnvoll ist. Gerade auch mit Blick auf den Bearbeitungsaufwand ist es zum Beispiel fraglich, ob zum Beispiel um Aufgaben zu einfachem Faktenwissen unbedingt ein Beispiel gesponnen werden muss. Insofern dieses von Ihren Studierenden möglichweiße nicht als authentisch erlebt wird, könnten Sie dadurch auch ungewollte, negative Effekte auslösen. Achten Sie also darauf, dass Realitätsbezüge möglichst authentisch sind und nicht konstruiert wirken.
4. Wie hoch soll die sprachlogische Komplexität der Aufgabe sein? Gehört das Verständnis komplexer Fachsprache zum Beispiel zum Lehrziel, soll es also mitbewertet werden? Oder sollte im Sinne der Fairness eine möglichst voraussetzungslose Sprache zum Einsatz kommen?
5. Entscheiden Sie auf dieser Grundlage schließlich: Wie offen müsste die Aufgabe mindestens gestaltet sein? Gibt es einen klaren Ausgangs- und Zielzustand? Sollen mehrere Lösungswege erlaubt sein?

Stellen Sie sich diese Fragen jeweils mit Blick auf die einzelnen Lehrziele und charakterisieren Sie so einzelne Aufgabentypen. Sieht zum Beispiel ein Lehrziel vor, eine fachliche Definition wiederzugeben, so charakterisieren Sie die Aufgabe wie folgt: Anzustreben ist eine Aufgabe zur Überprüfung der Reproduktionsfähigkeit von Faktenwissen, ein Realitätsbezug ist an dieser Stelle noch nicht unbedingt nötig, die sprachlogische Komplexität ist gering zu halten. Es sollte also eine Aufgabe mit geschlossenem Antwortformat sein. Sie haben nun eine (allgemeine) Konstruktionsregel für Aufgaben zu diesem Lehrzieltypus, die sie immer wieder auf unterschiedliche Inhalte anwenden können. Analog können Sie mit weiteren Lehrzieltypen verfahren. Legen Sie sich dazu gerne eine Tabelle an.

Bühner, M. (2011). Einführung in die Test-und Fragebogenkonstruktion. München: Pearson Studium.

Maier, U; Kleinknecht, M.; Metz, K.; Bohl, T. (2010): Ein allgemeindidaktisches Kategoriensystem zur Analyse des kognitiven Potenzials von Aufgaben. In: Beiträge zur Lehrerbildung, 28 (19), 2010.

Schindler, C. (2015): Herausforderung Prüfen. Eine fallbasierte Untersuchung der Prüfungspraxis von Hochschullehrenden im Rahmen eines Qualitätsentwicklungsprogramms. Dissertation. Online verfügbar unter: https://mediatum.ub.tum.de/doc/1271273/1271273.pdf.