Abgleich von Prüfungsaufgaben und Lehrzielen
Sind Sie den vorangegangenen Schritten gefolgt, sollten Sie bereits bei der Aufgabenkonzeption weitestgehend sichergestellt haben, dass Ihre Aufgaben einen guten Lehrzielbezug aufweisen. Oftmals entsteht aber auch im laufenden Prozess immer wieder Änderungsbedarf an bestehenden Aufgaben bzw. werden von extern Prüfungsaufgaben hinzugenommen. Entsprechend sollten Sie die erstellten und ausgewählten Aufgaben vor deren Verwendung noch einmal systematisch auf ihre Passung zu den Lehrzielen hin überprüfen. Als Technik steht Ihnen hierzu insbesondere die „logische Aufgabenanalyse“ zur Verfügung, die in diesem Beitrag näher vorgestellt werden soll.
Ziel der logischen Aufgabenanalyse ist es, zu entscheiden, ob die in den Aufgaben dargestellten Anforderungssituationen und das in der Aufgabe erwartete Verhalten entsprechend auf die Erreichung des zugrundeliegenden Lehrzieles rückschließen lässt. Dabei wird vorausgesetzt, dass eine entsprechende Festlegung des Prüfungsgegenstands entlang von Lehrzielen stattgefunden hat.
Wichtiger Hinweis: Als eine Aufgabe wird jeweils eine Aufforderung betrachtet. Das können – im Sinne umfangreicherer Aufgaben – auch Teilaufgaben (a, b, c) oder einzelne Aspekte einer Aufgabe sein, die bereits für sich Aufgabencharakter aufweisen. Für eine analytische Auseinandersetzung sollten Sie also Ihre Aufgaben nach konzeptionellen Kriterien so weit wie möglich analytisch differenzieren.
Sieben Schritte hin zu guten Lehrzielen
Die Qualität Ihrer Lehrziele sollten Sie unbedingt sichern, bevor mit der Aufgabenanalyse beginnen. Sollten Sie dies nicht bereits bei Identifikation Ihrer Lehrziele erledigt haben (Vgl, Abschnitt zu Gute Lehrziele als Grundlage guten Prüfens ), sollten Sie an dieser Stelle Inhalts- und Verhaltenskomponente in den jeweiligen Lernergebnissen differenzieren, das heißt, kenntlich machen, welches Verhalten Ihre Studierenden an welchem Inhalt unter Beweis stellen sollen.
Dies wird im Folgenden an vier Lehrzielen aus der Lehrerbildung veranschaulicht. Markiert ist darin jeweils die Inhaltskomponente (=kursiv) und die Verhaltenskomponente (=fett).
Die Studierenden sind in der Lage:
- Fragestellungen, theoretische Hintergründe und zentrale Ergebnisse aktueller Studien aus der Berufsbildungsforschung zu beschreiben.
- Forschungsmethodische Vorgehensweisen und Befunde aktueller empirischer Studien aus der Berufsbildungsforschung zu erklären.
- Befunde aus aktuellen Studien hinsichtlich ihrer wissenschaftlichen Geltungskraft und berufspraktischen Relevanz einzuschätzen und zu bewerten.
- Theoretische Annahmen und empirische Befunde aktueller Studien auf den Schulkontext anzuwenden.
Der folgende Schritt erlaubt Ihnen nun eine Zuordnung von Inhalts- und Verhaltenskomponente stattfinden. Anhand dieser Zuordnung können Sie überprüfen, inwieweit die für einen bestimmten Inhalt vorausgesetzten Fähigkeiten (=Verhaltenskomponente) ausreichend sind.
Hierzu können Sie die entsprechend Verhaltenskomponenten als Spaltenbeschriftung und die Inhalte als Zeilenbeschriftung in eine Matrix übertragen.
Die einzelnen Zellen enthalten nun die entsprechenden Lehrziele, jeweils als Kombination einer Verhaltens- mit einer Inhaltskomponente (Tabelle 1). Zusätzlich können Sie ein Kommentarfeld für Lehrziele hinzufügen, die Sie nach der bestehenden Systematik nicht angemessen zuordnen konnten.
Anmerkung: Sie müssen eine solche Matrix nicht zwingend erstellen, um die Passung zwischen Aufgaben und Lehrzielen zu überprüfen. Sie gibt Ihnen aber vor allem dann eine Hilfestellung, wenn Ihnen nicht ganz klar ist, inwieweit Ihre Lehrziele systematisch durch Aufgaben abgedeckt sind bzw. ob Sie bestimmte Lehrziele möglicherweise noch durch entsprechende Aufgaben ergänzen sollten.
Im dritten Schritt ordnen Sie nun die erstellten Prüfungsaufgaben den Zellen der Matrix zu (vgl. Tabelle 1, vorheriger Abschnitt 1). Stellen Sie sich dabei immer die Frage, wie die Studierenden die Aufgabe aller Wahrscheinlichkeit lösen werden. Welches Wissen, welche Fähigkeiten oder welche Kompetenzen werden sie wohl zur Lösung benötigen?
In einem ersten Schritt können Sie dabei relativ frei überlegen. Verlassen Sie sich also gerne auf ihr fachliches Wissen, sichern Sie sich aber im nächsten Schritt ab. Dafür kann es hilfreich sein, die Aufgaben von Kolleginnen und Kollegen probelösen und die Herangehensweise an die Lösungen reflektieren lassen. Dieses „Probelösen“ ist ein anerkanntes Verfahren in der Testkonstruktion und wird als „Lautes Denken“ bezeichnet. Ziel ist es, die kognitive Validität der mit der Aufgabe verbundenen Messung sicherzustellen.
Neben fachlichen Überlegungen können Sie darüber hinaus auch die folgenden Kriterien heranziehen:
Inhaltliche Übereinstimmung
Stimmen die Inhalte des Lehrziels mit den Inhalten der Aufgabe überein?
Zum Beispiel könnte ein Lehrziel als Inhalt mechanische Fragen zur Stereo-Statik beinhalten. Überprüfen sollten Sie entsprechend, ob die fragliche Aufgabe ebenfalls eine Problemstellung mit einer mechanischen Fragestellung zur Stereostatik beinhaltet. Sollten dabei mit einer Aufgabe nicht sämtliche Inhalte eines Lehrziels angesprochen sein, können Sie weitere Aufgaben konzipieren, in denen Sie entsprechend die Inhalte variieren. Je nach Anforderung genügt es aber häufig, Inhalte im Sinne von „Stichproben“ zu sehen, an denen eine bestimmte Kompetenz bzw. Teilkompetenz gezeigt werden kann.
Angesprochenes Wissen
Haben Sie die Formulierung von Lernergebnissen auf die Unterscheidung nach Wissensarten (Faktenwissen, Prozesswissen, Konzeptwissen und Strategiewissen) gegründet, so können Sie an dieser Stelle überlegen, welches Wissen durch eine Aufgabenstellung wahrscheinlich angesprochen wird.
Beispiel: Das Lehrziel sieht eine Wiedergabe mathematischer Formeln vor. Eine Prüfungsaufgabe, dieses Lehrziel abbildet, sollte deshalb die Wiedergabe von Formeln beinhalten und nicht zum Beispiel die Herleitung der Formel oder die deren Anwendung.
Plausibilität der Verhaltenskomponenten
Im Zuge der Überprüfung der Verhaltenskomponente sollten Sie sich insbesondere die Frage stellen, ob das im Lehrziel angesprochene Verhalten (z. B. beschreiben, anwenden etc.) mit einer Aufgabe auch tatsächlich angeregt wird.
Beispiel: Ein Lehrziel richtet sich auf das „Bewerten von Sachverhalten“. Entsprechend ist darauf zu achten, dass auch eine passende Aufgabe eine entsprechende Aufforderung enthält. Wird dabei festgestellt, dass die Aufgabe z.B. eher auf die Anwendung eines Algorithmus zur Berechnung einer Lösung fokussiert, sollte entsprechend nachjustiert werden. Dabei können Sie die entsprechenden Techniken bei der Aufgabengestaltung anwenden, um etwa durch die in der Aufgabe gegebenen Informationen die Anforderung zu modifizieren.
Darüber hinaus sollten Sie festlegen, in welcher Art und Weise das jeweilige Wissen eingesetzt werden soll. Eine hilfreiche Unterscheidung kann dabei zwischen Reproduktion, nahem und weitem Transfer von Wissen sowie kreativem Problemlösen (Vgl. Lernziel-Taxonomie nach Bloom im Abschnitt zur Aufgabenerstellung im Wahl-Antwort-Format) getroffen werden. Es handelt sich dabei um bestimmte (allgemeine, also nicht fachlich differenzierte) kognitive Prozesse, die typischerweise bei der Bearbeitung einer Aufgabe eine Rolle spielen.
Die Offenheit der Aufgabe
Durch Variation in der Engführung bzw. Offenheit der Problemstellung (gut vs. schlecht definierte Problemstellung) können Sie gezielt verschiedenartige Lehrziele ansteuern. Beinhaltet die Aufgabe zum Beispiel einen eindeutigen Arbeitsauftrag bzw. eine klar identifizierbare Fragestellung, zu deren Bearbeitung alle benötigten Informationen vorliegen, und ist dabei nur eine Lösung gesucht, eignet sich die Aufgabe wohl eher für die Reproduktion von Wissen oder das Durchführen von Prozessen und Prozeduren.
Aufgabenkomplexität
Mit Blick auf die Aufgabenkomplexität können Sie sich daran orientieren, inwieweit die Komplexität des Lehrziels mit der der Aufgabenstellung übereinstimmt.
Die Komplexität einer Aufgabe kann dabei über verschiedene Stellschrauben verändert werden, wie zum Beispiel deren sprachliche Komplexität (Syntax, Textmenge, Terminologien, Einfachheit der Sprache usw.), die Menge und Darstellung der Informationen in der Aufgabe, die Verwendung mehrere Darstellungsformen (Zeichnungen, Graphen, Text usw.) sowie die Angabe mehrerer Bedingungen zum Lösen der Aufgabe.
Dokumentieren Sie Ihre Überlegungen möglichst ausführlich, um Ihre Zuordnung zum Beispiel auch für Kolleginnen und Kollegen nachvollziehbar zu gestalten. Halten Sie also entsprechend auch eine Begründung fest, warum Sie eine Aufgabe so oder so einem Lehrziel zugeordnet haben. Erstens können Sie diese Begründung für Sie selbst als eine Art von „Algorithmus“ verstehen, um nach diesem Muster weitere Aufgaben zu gestalten. Zweitens können Sie die Begründung auch in Ihrer Lehrveranstaltung nutzen, um etwa Studierenden die Bedeutung eines Lehr-Lern-Arrangements transparenter zu machen. Und drittens bietet eine umfassende Dokumentation Möglichkeiten im Hinblick auf das Anlegen einer Aufgabendatenbank (Vgl. Abschnitt zu Prüfen – ein Gemeinschaftsprojekt? ). Halten Sie dabei sowohl ihre eigenen als auch die Einschätzungen externer Beurteilenden fest.
Nach Abschluss der Zuordnung der Aufgaben zu den Lehrzielen können Sie Ihre Zuordnung noch einmal systematisch anhand der folgenden Leitfragen überprüfen:
- Werden alle Lehrziele durch Aufgaben repräsentiert?
- Liegen Aufgaben vor, die ein Lehrziel erfassen, das gar nicht intendiert ist?
- Liegen Aufgaben vor, die nicht eingeordnet werden konnten? Was überprüfen diese Aufgaben? Wie können diese Aufgaben abgeändert werden, um ein entsprechendes Lehrziel zu erfassen?
- Sind Lehrziele formuliert, die durch überproportional viele Aufgaben repräsentiert werden? Liegen Lehrziele vor, zu denen es nur eine oder zwei Aufgaben existieren (zur Sicherstellung der Reliabilität der Überprüfung sollten mindestens drei bis vier Aufgaben pro angestrebtes Lernergebnis eingesetzt werden – je nach dessen Komplexität bzw. Abstraktionsgrad)?
Im Anschluss an die Analyse sollten Sie außerdem festhalten, welche Veränderungen an den Aufgaben (oder auch in den Lehrzielen) notwendig sind, um eine höhere Passung mit den Lehrzielen zu erreichen.
Beispiele:
- Ein Lehrziel A wird nicht durch Prüfungsaufgaben abgedeckt: Es sollten Aufgaben formuliert werden, die genau dieses Lehrziel A überprüfen.
- Eine Aufgabe erfasst etwas, das gar nicht als Lehrziel definiert wurde: Entweder kann das Lehrziel (falls sinnvoll) mit aufgenommen werden oder die Aufgabe sollte abgeändert oder aus der Prüfung entfernt werden.
Wie auch bereits in den vorherigen Schritten angedeutet, können Sie insbesondere dadurch Qualitätssicherung betreiben, dass Sie Fremdeinschätzungen einholen. Bitten Sie Personen um eine Beurteilung Ihrer Lehrziele und Aufgaben, die ein vergleichbares Wissen über den abzuprüfenden Themenbereich besitzen, oder zumindest aus einem ähnlichen Fachbereich kommen. „Fachinterne“ Expertinnen und Experten können Sie dagegen insbesondere bei der Beurteilung der fachlichen Angemessenheit sinnvoll unterstützen. „Fachfremde“ Kolleginnen und Kollegen können Sie darum bitten, zum Beispiel Ihre Aufgabenformulierungen, im Sinne einer möglichst „voraussetzungslosen Sprache“, zu überprüfen.
Bewährt hat sich hierbei eine Technik, bei der Sie Aufgaben von Kolleginnen und Kollegen noch einmal gesondert zu den Lehrzielen zuordnen lassen, ohne dass diesen Ihre eigene Zuordnung bekannt ist. Im Anschluss überprüfen Sie, wie gut die Übereinstimmung der Zuordnungen ist. Auch hierbei handelt es sich im Grunde um eine Heuristik, die der Forschung entliehen ist. Aufgaben, die unterschiedlich zugeordnet wurden, sollten Sie im Anschluss noch einmal gemeinsam besprechen. Was sind Begründungen für die unterschiedliche Einordnung? Ist es Ihnen möglich, zu einer gemeinsamen Einschätzung zu kommen? Sollten Anpassungen an der Aufgabe vorgenommen werden, um eine eindeutigere Zuordnung zu ermöglichen?
Eine weitere Möglichkeit zur Überprüfung der Validität einer Aufgabe in Bezug zu einem bestimmten Lehrziel ist die kognitive Validierung mit Studierenden (sogenannte Cognitive labs). Lassen Sie Studierende hierbei Beispielaufgaben lösen und ihre Denkprozesse und Argumentationen offenlegen (Think-Aloud-Technik, vgl. Nielsen, Clemmensen & Yssing 2002). Dokumentieren und analysieren Sie diese „Dokumente des Denkens“. Vorteil dieser Methode ist, dass sie besonders „zielgruppenorientiert“ ist und die Denkprozesse eine sehr gute Beurteilung der kognitiven Validität erlauben. In der Praxis ist es jedoch häufig schwierig, geeignete Studierende für eine solche Überprüfung zu gewinnen, zumal Sie sicherstellen müssen, dass Sie diese nicht aus der Prüfungsgruppe rekrutieren, gleichzeitig aber mit dieser vergleichbar sind.
Quellen
Nielsen, J., Clemmensen, T., Yssing, C. (2002). Getting access to what goes on in people´s heads? Reflections on the think-aloud technique. Kopenhagen.
