Argumente gegen blinde Zweitkorrektur?

[Strich]

...
Dein gesamter Post beruht auf fehlerhaften Annahmen. So gehst du davon aus, dass es "eine" objektiv richtige Korrektur für die Arbeit gibt, welche eher erreicht wird, wenn der Zweitkorrektor sich gewissermaßen "fortentwickelt", da er über "zusätzliche Informationen" aus der Erstkorrektur verfügt. Das entspricht aber nicht der Prüfungsrealität.

Das unterstellst du mir, davon gehe ich natürlich NICHT aus.

Die Fakten sehen nämlich anders aus: Unterschiedliche, isoliert handelnde Einzelprüfer (Erstkorrektoren) kommen zu Ergebnissen, die voneinander abweichen. Und zwar nicht nur oder primär, weil sie etwas "übersehen", sondern schlicht, weil sie andere Maßstäbe anlegen, unterschiedlich gewichten und Arbeiten anders bewerten.

Die Fakten sehen für mich genau so aus, wie für dich. Du ziehst nur die falschen Schlüsse, bzw. hast halt Logiklöcher darin. Das ist aber ok. Deswegen reden wir ja darüber

Außerdem unterschätzt du den Ankerwert. Es ist wissenschaftlich erwiesen, dass selbst die Konfrontation mit bestimmten Zahlen, die offensichtlich keinerlei inhaltlichen Zusammenhang mit der späteren Entscheidung haben, das spätere Verhalten in Richtung dieser Zahlen beeinflusst. Der Mensch ist kein rein rationaler Akteur (hierzu bietet sich die Lektüre von Kahnemann, Thinking, Fast and Slow an - auch wenn nicht alle seine Erkenntnisse noch dem aktuellen Stand entsprechen). Siehe auch das Video von Flanke.

Weder unterschätze noch überschätze (wie du) ich den Ankereffekt. Glaub mir, ich habe damit schon mehr Schindluder getrieben, als mir im Nachhinein lieb ist ^^

Meine zentralen Prämissen sind vor diesem Hintergrund folgende:

1. Die Zuteilung auf einen Prüfer sollte die Note des Kandidaten möglichst wenig beeinflussen. Argument: Prüfungsgerechtigkeit.

2. ... "Ideal" wäre daher, dass jeder Prüfer ALLE Klausuren blind korrigiert und der Kandidat dann das gemittelte Ergebnis für seine Klausur erhält.

3. ...

Now we are talking boy!
Du erinnerst dich bestimmt daran, dass ich auch für eine blinde Zweitkorrektur war. Die macht m.E. aber nur Sinn, wenn man der angelegte Prüfungsmaßstab identisch ist. Andernfalls schlägt die offene Zweitkorrektur, wie dargestellt, die blinde. Der Maßstab ist nur identisch, wenn der selbe Prüfer (dasselbe Prüferpaar) alle Klausuren korrigiert. Mein Lösungsvorschlag für dieses scheinbar unmögliche Unterfangen ist, Prüfungssprengel zu bilden: 50 Studenten erhalten Sachverhalt A und Prüfer X und Y. 50 weitere Studenten erhalten Sachverhalt B und Prüfer M und N ... usw.
Dann hätte jeder gemessen an seinem Sachverhalt einen eigenen Maßstab der Prüfer.

Du verwechselst die Qualität der konkreten Klausuren mit der Großzügigkeit der Korrektoren. Mir geht es nicht darum, dass Korrektoren, die mittelmäßige Noten vergeben, der Maßstab sind. Sondern dass der Maßstab für eine konkrete Korrektur dem Maßstab der großen Mehrheit der Korrektoren entspricht.

4 Beispiele:

1. Kandidat erhält 14 Punkte durch Erst- und Zweitkorrektor. 80 % aller Korrektoren hätten dieser Arbeit 12-16 Punkte verliehen. Bewertung: gerechtes Ergebnis, da Bewertung weitgehend unabhängig von Zuteilung auf Korrektoren.

2. Kandidat erhält 7 Punkte durch Erst- und Zweitkorrektor. 80 % aller Korrektoren hätten dieser Arbeit 5-7 Punkte gegeben. Bewertung: gerechtes Ergebnis, da Bewertung weitgehend unabhängig von Zuteilung auf Korrektoren.

3. Kandidat erhält 14 Punkte durch Erst- und Zweitkorrektor. 80 % aller Korrektoren hätten dieser Arbeit 9-11 Punkte gegeben. Bewertung: ungerechtes Ergebnis, da Bewertung stark abhängig von Zuteilung auf Korrektoren.

4. Kandidat erhält 7 Punkte durch Erst- und Zweitkorrektor. 80 % aller Korrektoren hätten dieser Arbeit 9-11 Punkte gegeben. Bewertung: ungerechtes Ergebnis, da Bewertung stark abhängig von Zuteilung auf Korrektoren.

Beispiele 1-2 sind erstrebenswert, 3-4 nicht. Auf 1-2 arbeitet man durch eine blinde Zweitkorrektur (statistisch) hin. Eine offene Zweitkorrektur führt statistisch durch den Ankereffekt dagegen eher zu zufälligen Ergebnissen, die von der Mehrheit der Korrektoren häufiger abweichen.

Nein das verwechsle ich nicht. deine Beispiele zeigen doch hier, dass du Mehrheit = Wahrheit setzt. Warum genau DAS statistisch zutreffen soll, bleibst du seit 3 Seiten schuldig.Du willst im prinzip ein educated guess durch einen anderen ersetzen. Mein Argument seit 3 Seiten, das nimmt sich nix.
Beispiel 3 würde doch nach deiner eigenen Darstellung kaum vorkommen, weil es voraussetzt, dass auch der 14 Punkte vergebende Zweitkorrektor aus der 20 % Kaste der Abweichenden Prüfer stammt (4% hast du da oben irgendwann mal ausgeworfen). Außerdem setzt es voraus, dass der Ankereffekt derart krass wirkt, dass der Zweitkorrektor, obwohl er in Beispiel 3 lieber 9-11 Punkte gegeben hätte einfach sagt: 14 Einverstanden, auch das stelle ich in Abrede.
Ferner kann exakt dieses Ergebnis auch durch die blinde Zweitkorrektur auftreten.

[Brainiac]

Schaus dir an wenn du Zeit hast, wenn dir die Diskussion hier keine 13 Minuten unterhaltsames Video wert ist, können wirs auch lassen.

[...] Dazu dieses unterhaltsame, knapp 13minütige Video:

Der Verweis auf ein erläuterndes 13-minütiges Video hat JW-Meme-Potenzial.
Zur sonstigen Meme-Historie verweise ich auf folgendes Video: https://www.youtube.com/watch?v=Wf_MXH0sUwE

[Seeker]

Die Fakten sehen für mich genau so aus, wie für dich. Du ziehst nur die falschen Schlüsse, bzw. hast halt Logiklöcher darin. Das ist aber ok. Deswegen reden wir ja darüber

Das hast du bislang nur behauptet. Ich mag auch dieses gönnerhafte Auftreten nicht.

Now we are talking boy!

Wie vor.

Du erinnerst dich bestimmt daran, dass ich auch für eine blinde Zweitkorrektur war. Die macht m.E. aber nur Sinn, wenn man der angelegte Prüfungsmaßstab identisch ist. Andernfalls schlägt die offene Zweitkorrektur, wie dargestellt, die blinde.

Nein, das hast du nicht dargestellt, sondern behauptet. Meine Punkte ignorierst du dagegen.

Der Maßstab ist nur identisch, wenn der selbe Prüfer (dasselbe Prüferpaar) alle Klausuren korrigiert. Mein Lösungsvorschlag für dieses scheinbar unmögliche Unterfangen ist, Prüfungssprengel zu bilden: 50 Studenten erhalten Sachverhalt A und Prüfer X und Y. 50 weitere Studenten erhalten Sachverhalt B und Prüfer M und N ... usw. Dann hätte jeder gemessen an seinem Sachverhalt einen eigenen Maßstab der Prüfer.

Es ist völlig unrealistisch, innerhalb einer Prüfungskampagne gleich mehrere einigermaßen vergleichbare und sinnvoll einheitlich bewertbare Sachverhalte zu stellen. Das gelingt ja schon zwischen den Durchgängen kaum. Ganz zu schweigen von dem erheblichen Aufwand in der Vorbereitung. Und das Problem der zufälligen Prüferzuteilung löst du damit nicht, sondern potenzierst es. Mit offener Zweitkorrektur und jedem Prüfer(paar) sein Sachverhalt, gute Nacht vergleichbare Noten.

Nein das verwechsle ich nicht. deine Beispiele zeigen doch hier, dass du Mehrheit = Wahrheit setzt. Warum genau DAS statistisch zutreffen soll, bleibst du seit 3 Seiten schuldig.

Ich habe es doch nun schon oft begründet:

Idealerweise wirkt sich die Zuteilung auf die (Erst-)Korrektoren auf das Ergebnis des Prüflings möglichst wenig aus. Dieses Ziel wird zumindest gefördert, wenn die Note für die konkrete Klausur in dem Rahmen bleibt, den die weit überwiegende Mehrheit der Korrektoren ebenfalls zugrunde gelegt hätte. Dieses Ziel wird wiederum dadurch gefördert, dass du eine blinde Zweitkorrektur hättest. Weil die Wahrscheinlichkeit sehr gering ist, zwei "abweichende" Prüfer zu haben. Bei einer offenen Erstkorrektur ist die Wahrscheinlichkeit eines "abweichenden" Erstkorrektors höher. Dieser schlägt wegen des Ankereffekts auch statistisch recht häufig auf das Gesamtergebnis durch.

Beispiel 3 würde doch nach deiner eigenen Darstellung kaum vorkommen, weil es voraussetzt, dass auch der 14 Punkte vergebende Zweitkorrektor aus der 20 % Kaste der Abweichenden Prüfer stammt (4% hast du da oben irgendwann mal ausgeworfen).

Die Beispiele gehen von einer offenen Zweitkorrektur aus. Das ist ja gerade der Punkt:

Mit einer blinden Zweitkorrektur hast du eine sehr geringe Wahrscheinlichkeit, dass der Zweitkorrektor ebenfalls einem "abweichenden" Camp entstammt. Bei einer offenen Zweitkorrektur hast du hingegen eine recht große Wahrscheinlichkeit, dass der Prüfer von der erheblichen Mehrheit abweicht. Nimm dann noch den Ankereffekt hinzu und der Zufall der Zuteilung auf den Erstkorrektor beeinflusst das Gesamtergebnis enorm.

Außerdem setzt es voraus, dass der Ankereffekt derart krass wirkt, dass der Zweitkorrektor, obwohl er in Beispiel 3 lieber 9-11 Punkte gegeben hätte einfach sagt: 14 Einverstanden, auch das stelle ich in Abrede.

Dann setz dich mal mit den krassen Auswirkungen des Ankereffekts auseinander. Vgl. etwa: https://www.spektrum.de/news/urteil-mit ... te/1142596

"Wir ließen die ­Juristen in einer weiteren Untersuchungsreihe aus dem Jahr 2006 sogar eigenhändig Ankerwerte erwürfeln. Und obwohl sie wussten, dass die zufällig gewürfelte Zahl für ihre Entscheidung irrelevant war, fielen ihre Urteile entsprechend der Würfelaugen höher oder niedriger aus.

In einer Studie verwendeten wir dazu die eingangs erwähnte Schilderung eines Vergewaltigungsfalls. Die Juristen sollten sich dann vorstellen, dass ein Journalist sie fragte, ob das Urteil höher oder niedriger ausfallen würde als ein Jahr beziehungsweise drei Jahre Freiheitsstrafe. Der niedrigere Anker senkte das durchschnittlich vorgeschlagene Strafmaß auf gut zwei Jahre und einen Monat; der höhere Anker ließ das Urteil auf zwei Jahre und neun Monate steigen."

Ferner kann exakt dieses Ergebnis auch durch die blinde Zweitkorrektur auftreten.

Meine Oma wurde auch 110, obwohl sie rauchte? Alles "kann" immer überall im Einzelfall auftreten.

[Strich]

... Mit offener Zweitkorrektur und jedem Prüfer(paar) sein Sachverhalt, gute Nacht vergleichbare Noten.

...

Ich hab hier aufgehört. Das habe ich nicht geschrieben. Wie so vieles, was du beginnst mir in die Schuhe zu schieben. Dass ich deine Punkte nicht ignoriere, siehst du im Übrigen auch daran, dass ich zu jedem Punkt etwas schreibe. Deine Argumente sind ja nicht doof (etwas, dass du mir umgekehrt zu unterstellen scheinst), nur halt ...: Mein Auftreten mag gönnerhaft sein, das liegt aber vor allem daran, dass die Argumentation, die du hier fährst, so alt wie die offene Zweitkorrektur ist und du keine Anstalten machst, sie kritisch zu prüfen, geschweige denn, dich tiefergehend mit den vorgebrachten Gegenargumenten auseinanderzusetzen (siehe oben "keine Lust fass mal zusammen"). Das lässt den Verdacht aufkommen, dass es dir eigentlich darum geht, Bestätigung für ein bereits feststehendes Ergebnis zu erhalten.

Dass es unrealistisch ist, mehrere Sachverhalte innerhalb eines Durchganges zu stellen weiß ich. Es ist aber eben weniger unrealistisch, als 200 Klausuren von einem Prüferpaar (blind btw! Gerade NICHT offen) prüfen zu lassen. Die Behauptung, es müssen annähernd vergleichbare Sachverhalte zwischen den Durchgängen sein, zeigt übrigens, dass du noch nicht erfasst hast, worüber wir streiten und vor allem, was das Problem der Feststellung juristischer "Güte" ist. Dem JPA steht es völlig frei*, in einem Durchgang zu fragen, wie ein Vertrag zustande kommt und im nächsten Jahr die europarechtlichen Grundzüge der Rückabwicklung im Dreipersonenbankenverhältnis zu prüfen.

*bla blub, im Rahmen der LJPrO ...

[Seeker]

Nein, mir geht es zum eine ehrliche Diskussion in der Sache. Die sollte sich von zwei Volljuristen führen lassen, ohne nebenher Bücher (Kahneman) lesen oder Videos schauen zu müssen. Da du leider nicht mehr darauf eingegangen bist, fasse ich hier noch einmal meine Kernthesen zusammen:

1. Idealerweise wirkt sich die Zuteilung auf die (Erst-)Korrektoren auf das Ergebnis des Prüflings möglichst wenig aus.

2. Dieses Ziel wird zumindest gefördert, wenn die Note für die konkrete Klausur in dem Rahmen bleibt, in dem sich die weit überwiegende Mehrheit der Korrektoren (in der Bewertung dieser Klausur des konkreten Prüflings) ebenfalls bewegt hätte.

3. Dieses Ziel wird wiederum dadurch gefördert, dass eine blinde Zweitkorrektur erfolgt. Weil die Wahrscheinlichkeit sehr gering ist, gleich zwei erheblich von der typischen Korrekturspannbreite für diese Klausur "abweichende" Prüfer zu haben.

4. Demgegenüber ist bei einer Erstkorrektur die Wahrscheinlichkeit eines von der üblichen Range "abweichenden" Erstkorrektors naturgemäß deutlich höher.

5. Diese Erstkorrektur wirkt sich wegen des Ankereffekts (der selbst bei professionellen Juristen erheblich ist, wie die oben verlinkte Studie zeigt) auch statistisch recht häufig auf das Gesamtergebnis aus. Das führt wiederum zu einer Note, welche relativ stark durch die Zuteilung auf die (Erst-)Korrektoren beeinflusst wird. Das widerspricht aber dem oben gennanten Ziel (1.).

Du kannst mir ja gerne sagen, welchen konkreten Punkten du widersprichst, aber bitte mit Begründung.

[Herr Schraeg]

2. Dieses Ziel wird zumindest gefördert, wenn die Note für die konkrete Klausur in dem Rahmen bleibt, in dem sich die weit überwiegende Mehrheit der Korrektoren (in der Bewertung dieser Klausur des konkreten Prüflings) ebenfalls bewegt hätte.

Ja. Und über die Blindkorrektur, die Ihr beide ja aus unterschiedlichen Gründen befürwortet, hinaus, kann man sich diesem Ziel noch durch zusätzliche Massnahmen nähern:

Ein Problem ist die extrem weit aufgefächerte Notenskala, die den nicht einlösbaren Eindruck besonderer Objektivität vermittelt. Ob eine Klausur sieben oder neun Punkte verdient, kann niemand objektiv beurteilen und wird immer streitig sein. Ein drastische Reduzierung der Notenskala ist daher angebracht, z.B. auf "Nicht ausreichend", "Ausreichend", "In Ordnung", "Gut" und "Sehr gut". Bei nur fünf Notenstufen wäre die Wahrscheinlichkeit, dass unterschiedliche Korrektoren zu demselben Ergebnis gelangen, deutlich höher.

Das Problem, dass der Kandidat ein besonders strenges oder besonders grosszügiges Prüferpaar erwischt, wird in seinen Auswirkungen reduziert, wenn man zugleich die Zahl der zu schreibenden Klausuren erhöht und damit die Konsequenzen von statistischen Ausreissern verringert.

Mein Vorschlag für eine leistungsgerechtere (keineswegs prüflingsfreundlichere!) Bewertung ist also:

- deutliche Reduzierung der Notenskala
- Erhöhung der Klausurenzahl
- blinde Zweitkorrektur (mit Drittkorrektur bei Divergenz auch der reduzierten Notenskala)
- "blinde" mündliche Prüfung, d.h. ohne Kenntnis der Vornoten bei gleichzeitiger Deckelung der Bedeutung der mündlichen Noten auf 10 oder 15 % der Gesamtnote.

[Tibor]

... "Nicht ausreichend", "Ausreichend", "In Ordnung", "Gut" und "Sehr gut". Bei nur fünf Notenstufen wäre die Wahrscheinlichkeit, dass unterschiedliche Korrektoren zu demselben Ergebnis gelangen, deutlich höher.

Zustimmung, aber dann könnte man gleich auch sechs Stufen wie aus Schule und Promotion bekannt nehmen:

ungenügend, mangelhaft, ausreichend, befriedigend, gut, sehr gut oder eben
insufficienter, rite, satis bene, cum laude, magna cum laude, summa cum laude

[Strich]

rite ist nicht dasselbe wie mangelhaft.

[Brainiac]

Mein Vorschlag für eine leistungsgerechtere (keineswegs prüflingsfreundlichere!) Bewertung ist also:

- deutliche Reduzierung der Notenskala

Soll damit auch eine Verringerung der Punkteskala einhergehen? Anderenfalls gewinnt man doch nichts. Dann würde eben bei der tatsächlichen Verwertbarkeit der Note (vulgo: Berufschancen usw.) innerhalb des Bereichs "in Ordnung" nach Punktwert differenziert (so wie das ja auch heute schon der Fall ist: 6,5 ≠ 8,9 Punkte)...

Falls das also auch so gemeint sein sollte: Zur Leistungsgerechtigkeit gehört auch die - leistungsgerechte - Abgrenzbarkeit zu Mitprüflingen. Insofern wage ich die Gegenthese, dass gar eine Vergrößerung der Notenskala (z.B. von 0-18 Punkten zu 0-100%) zur gerechteren Abbildung der Leistungen führen würde. Das alles natürlich nur in der Aggregation - aber über etwas anderes können wir hier doch ohnehin nicht ernsthaft sprechen.

[Seeker]

Mein Vorschlag für eine leistungsgerechtere (keineswegs prüflingsfreundlichere!) Bewertung ist also:

- deutliche Reduzierung der Notenskala

Soll damit auch eine Verringerung der Punkteskala einhergehen? Anderenfalls gewinnt man doch nichts. Dann würde eben bei der tatsächlichen Verwertbarkeit der Note innerhalb des Bereichs "in Ordnung" nach Punktwert differenziert (so wie das ja auch heute schon der Fall ist: 6,5 ≠ 8,9 Punkte)...

Falls das also auch so gemeint sein sollte: Zur Leistungsgerechtigkeit gehört auch die - leistungsgerechte - Abgrenzbarkeit zu Mitprüflingen. Insofern wage ich die Gegenthese, dass gar eine Vergrößerung der Notenskala (z.B. von 0-18 Punkten zu 0-100%) zur gerechteren Abbildung der Leistungen führen würde. Das alles natürlich nur in der Aggregation - aber über etwas anderes können wir hier doch ohnehin nicht ernsthaft sprechen.

Das setzt aber voraus, dass eine entsprechend kleinschrittige Abgrenzung zwischen Mitprüflingen überhaupt praktisch möglich ist. Und damit meine ich nicht die subjektive Präferenz eines einzelnen Prüfers (auf den es angesichts der Prüfungsgerechtigkeit gerade nicht ankommen darf), sondern über mehrere (blinde) Prüfer hinweg. Das halte ich aber bei juristischen Klausuren für so gut wie ausgeschlossen.

Ich meine auch, dass es mal eine Studie oder Untersuchung zu der Frage gab, wie kleinschrittig eine Notenskala sein sollte.

[Tibor]

Wenn, dann doch wieder nur als arithemtische Durchschnitts- bzw. Gewichtungsberechnung. Währen theoretische Teile (Gutachten) nur unvertretbar, vertretbar mit Mängeln, überzeugend sein können, sind praktische Teile dann praxisverwertbar oder praktisch unbrauchbar. Dann müsste man diese Unterbenotung "verpunkten" und Teile gewichten. Insoweit hätte die Begrenzung auf geringe Zwischenunterschiede schon was für sich.

Bsp. StA-Klausur im 2. Examen: A-Gutachten, B-Gutachten, Anklageschrift. Das JPA sagt Gewichtung ist 50%, 10% und 40%. Nun kommt der Prüfer zu dem Ergebnis A-Gutachten vertretbar mit Mängeln, B-Gutachten unvertretbar, Anklageschrift verwertbar. Dann gibt es dafür Teilpunkt und diese könnten dann am Ende schon in der Notenskala 0-18 münden.

[batman]

Das JPA sagt Gewichtung ist 50%, 10% und 40%.

Das darf das JPA m.E. aber nicht. Die beteiligten Prüfer können sich aber in dieser Weise informell abstimmen (was ja in der Praxis auch geschieht) .

[Tibor]

Naja, ich meinte das natürlich de lege ferenda mit geänderten JAG/JAO nebst geänderter NotenRVO.

[Seeker]

Das JPA sagt Gewichtung ist 50%, 10% und 40%.

Das darf das JPA m.E. aber nicht. Die beteiligten Prüfer können sich aber in dieser Weise informell abstimmen (was ja in der Praxis auch geschieht) .

Ist das so?

Ich habe mich jedenfalls schon lange gefragt, weshalb es keinen sinnvollen offiziellen Benotungsschlüssel für Klausuren durch das JPA gibt (etwa: Tatbestand: 0-4 Punkte, Zulässigkeit: 0-2 Punkte usw.), samt Vorgaben für einzelne Fragen, die immer wieder auftauchen (etwa: Abzug für signifikant unfertige Klausur über das Fehlen von Teilaufgaben hinaus maximal 4 Punkte, unbestimmter Tenor maximal 2 Punkte Abzug usw.).

Natürlich mit ein paar Aspekten, die eine gewisse Flexibilität erlauben (z.B. bis zu -2/+2 Punkte für Sprache/Urteilsstil) und eine Korrektur wegen des Gesamteindrucks (etwa maximal +2 Punkte), die dann aber ausdrücklich als solche bezeichnet und vertieft begründet werden müsste.

Sicherlich wäre ein solches System nicht perfekt und würde zu manchen kleineren Ungerechtigkeiten führen, insgesamt hätte es aber vergleichbarere und fairere Ergebnisse zur Folge.

[batman]

Jedenfalls nach geltendem Recht verbietet die Unabhängigkeit der Prüfer (etwa: § 3 JAPO BY) m.E. solche Vorgaben.