Argumente gegen blinde Zweitkorrektur?

[sai]

Noch pointierter ausgedrückt gibt es eigentlich nur zwei Möglichkeiten:

Möglichkeit 1: die Zweitkorrektoren prüfen bereits jetzt weit überwiegend eigenständig und verantwortungsbewusst. Dann würde sich durch die Einführung der blinden Zweitkorrektur nur wenig ändern. Die Noten von Erst- und Zweitprüfer würden auch dann kaum voneinander abweichen. Dann wäre die blinde Zweitkorrektur aber durchaus finanziell und organisatorisch zu stemmen.

Möglichkeit 2: durch die Einführung der blinden Zweitkorrektur würde sich viel ändern. Die Noten von Erst- und Zweitprüfer würden dann - anders als heute - deutlich voneinander abweichen. Das würde aber wiederum darauf hindeuten, dass die Zweitkorrektoren heute ganz offensichtlich nicht eigenständig und losgelöst die Prüfungsarbeiten korrigieren. Das würde aber einen erheblichen Reformbedarf indizieren.

Oder man müsste sich zumindest ehrlich machen und zugestehen, dass die blinde Zweitkorrektur sich tatsächlich drastisch auswirken würde, man aber nicht in der Lage oder willens ist, die nötigen Maßnahmen dagegen umzusetzen.

Vorweg: Als Korrektor würde ich eine blinde Zweitkorrektur tatsächlich begrüßen (allerdings, das darf man nicht verhehlen, müsste die Bezahlung angehoben werden weil der Aufwand (erheblich) größer wäre).

Du scheinst bei deiner Argumentation allerdings davon auszugehen, dass es bei Juraklausuren eine objektiv feststellbare Note gibt. Das dürfte kaum der Fall sein. Es ist hier, genauso wie bei allen Sprachwissenschaften, nunmal so, das persönlich Vorlieben und Maßstäbe eines Korrektors immer mit in die Gewichtung fallen. Diesen Umstand wirst du auch durch eine blinde Zweitkorrektur nicht beseitigen können. Bei Abweichung würde dann entweder regelmäßig das rechnerische Mittelmaß vergeben, was sehr viel mehr Leute als bislang Punkte kosten dürfte, oder ein Drittkorrektor entscheidet, was die Bewertung aber wiederum von der alleinigen Meinung einer weiteren Person abhängig machen würde.

...du scheinst bei deiner Argumentation allerdings davon auszugehen,dass es in bei Juraklausuren eine objektiv feststellbare Note gibt.
Da musste ich echt lachen!

Warum?

[Tibor]

Die offene Zweitkorrektur steht doch nur deshalb in der Kritik, weil sie anfälliger für "ich seile 4 Punkte einverstanden" drunter ist.

Das könnte man schlicht damit verhindern, dass die Zweitkorrekturen nur von hauptamtlichen JPA Bediensteten vorgenommen werden, die das während der Arbeitszeit im Dienstgebäude machen müssen.

[gola20]

Das Hauptargument ist, dass dann für alle sofort erkennbar ist, wie willkürlich/unpräzise/unvergleichbar die Notenvergabe erfolgt. Die Diskrepanz der Korrektoren wäre so groß, dass man es nicht mehr weg erklären könnte.
Folge wäre, dass der Drittkorrektor immer die Note entscheiden muss. Gewinn davon wäre also Null.

[Theopa]

@Iriss:
Ich gehe weiterhin von einer ziemlich objektiven Korrektur aus. Es gab zumindest seltenst Klausuren (Übungsklausuren eingeschlossen) bei welchen ich dem Korretor ex post nicht weitgehend bis vollständig zugestimmt hätte. Man darf halt nicht beleidigt sein und muss auch eigenen Müll als Müll erkennen.

Das Risiko einer nicht mehr objektiven Korrektur besteht (s.o.) eben vor allem bei denjenigen die wirklich bei jeder Klausur weit oberhalb der 10 landen. Da ist die Vergleichsgruppe sehr klein, der Korrektor oft "außerhalb seiner Kompetenzklasse" und die Fehler sind so gering ausgesprägt, dass die Bedeutung von subjektiven Aspekten steigt. In Einzel-Arbeiten liegt zwischen 12 und 16 sicher viel Zufall und Willkür, auf zwei Examina sollte es sich aber auch wieder objektivierter einpendeln.


So gesehen dürfte eine "andauernde Drittkorrektur" auch kein relevantes Risiko sein. Man sieht einer Klausur mit entsprechender Erfahrung auch objektiv an ob sie mangelhaft, ausreichend oder befriedigend ist und wird wohl nur in extrem seltenen Fällen mal 5 und 9 Punkte an der selben Arbeit stehen haben. Für die paar Ausreißer, vor allem in den oberen Rängen, muss man sich dann eben mit Drittkorrektoren behelfen. Sobald die Klausuren getippt werden dürfte einiger Aufwand wegfallen, womit man dann im Großen und Ganzen wohl auch keine Mehrarbeit hätte.

[Flanke]

Der inoffizielle, aber sicherlich handlungsleitende Hauptgrund gegen zwei Blindkorrekturen ist in der Tat, dass dadurch viele Drittkorrekturen erzeugt würden. Und zwar nicht nur im oberen Notenbereich. Das lässt sich bei Prüferfortbildungen sehr schön sehen, bei denen alle Teilnehmer dieselbe Klausur zur Korrektur erhalten und dann die Noten miteinander verglichen werden. Da kommt meistens eine sehr bunte Mischung raus. Ich selbst nehme vor Zweitkorrekturen die Erstkorrekturen heraus und korrigiere blind, was auch in jeder Kampagne zu einigen Abweichungen von 3 Punkten oder mehr führt, in allen Notenbereichen. Richtig ist, dass es das Sonderproblem des Korrektors gibt, bei dem nach oben eine Kappungsgrenze im Kopf besteht, die auch mit einer grandiosen Bearbeitung nicht zu überschreiten ist. Da es so viele grandiose Bearbeitungen nicht gibt, ist das aber auf die Masse gesehen nicht das Hauptproblem.

Das Hauptproblem nach meiner Einschätzung ist, dass man sich zwar meistens recht gut darauf einigen kann, welche Passagen einer Klausur gut, in Ordnung oder fehlerhaft sind. Schon weniger klar ist, welche Passagen wichtiger und welche weniger wichtig sind bzw. wie schwer bestimmte Fehler wiegen. Schließlich und vor allem sind die Aggregierung der Teileindrücke zu einem Gesamteindruck und die Umrechnung (der Teileindrücke und/oder) des Gesamteindrucks in eine Punktzahl äußerst unpräzise und subjektiv geprägte Vorgänge. Darum widersprechen sich die Aussagen gar nicht, dass die meisten lege artis korrigieren und es trotzdem zu großen Abweichungen kommen dürfte. Das Aggregierungsproblem lässt sich dabei mit aufwändigen, nicht immer fairen Strategien (Teilnoten für verschiedene Klausurabschnitte und ex ante gebildete Gewichtungen für die einzelnen Abschnitte) immerhin reduzieren, das Umrechnungsproblem bleibt aber bestehen.

Die Vorteile einer Doppelblindkorrektur bestünden meiner Ansicht nach darin, dass dadurch zum einen Verzerrungen der Zweitkorrektur durch Ankereffekte und z.T. auch durch Faulheit vermieden würden, zum anderen das Willkürelement offengelegt und dann bearbeitbar würde. Hier geht es dann insbesondere um eine sinnvolle Gestaltung des weiteren Verfahrens. Da scheint mir viel für das in vielen Ländern praktizierte Verfahren zu sprechen, bei kleineren Abweichungen einen Durchschnitt zu bilden und bei größeren Abweichungen einen Stichentscheid herbeizuführen, für den als Notenrahmen der Bereich zwischen den beiden Vorkorrekturen zur Verfügung steht. Der Stichentscheid hat gegenüber der offenen Zweitkorrektur die Vorteile, dass 1. zwei Anker gesetzt sind und nicht nur einer, 2. der Begründungsaufwand für den Stichentscheid viel höher ausfällt als für die offene Zweitkorrektur, was einen Rationalisierungsgewinn bewirken dürfte und auch die Kontrollmöglichkeiten im verwaltungsgerichtlichen Verfahren verbessert. Das Verfahren ist jedenfalls ehrlicher als eine Manipulation der Zweitkorrektur, wie sie hier vorgeschlagen wurde und auch vorkommen mag ("Erstkorrektor gibt 4, ich meine 7, also gebe ich 10, um im Stichentscheid vielleicht die 7 herauszubekommen"), die ich aber angesichts der Gleichrangigkeit von Erst- und Zweitkorrektur und des einheitlichen Anforderungsprofils für beide Korrekturen für ziemlich eklatant rechtswidrig halte. Der Zweitkorrektor darf ebenso wenig wie der Erstkorrektor eine andere Note geben als die von ihm für angemessen gehaltene.

[thh]

Schon Jahre her, ich erinnere mich an Diskussionen in einem heute nicht mehr aktiven Forum.Da ging es hitzig über die Aussagekraft von Klausur und dann natürlich auch Examen.

Das hat aber doch mit der Frage, ob es für eine Prüfungsleistung nur eine genau richtige Bewertung geben kann - mit der Folge, dass andere Bewertungen unvertretbar und falsch wären - nichts zu tun.

Wer da auch nur Zweifel an der Aussagekraft der Examen andeutete und Vorschläge w.zB.blinde Zweitkorrektur machte,wurde arrogant abgefertigt oder mit Häme überschüttet.

Die (weitgehend triviale) Erkenntnis, dass in den Geistes- und Sozialwissenschaften einschließlich der Rechtswissenschaft (übrigens ebenso wie bei der Strafzumessung) wie bei den meisten offenen Fragestellungen keine einzig richtige "Punktnote" (oder Punktstrafe) bestimmbar ist, bedeutet nicht, dass es Zweifel an der Aussagekraft der Examina gäbe.

Ich als Außenstehender dachte eigentlich immer, wer die mehr oder weniger versteckten Probleme der Klausur und auch deren Bedeutung erkennt und mehr oder weniger richtig und vollständig löst —darüber dürfte es doch keine Unsicherheiten geben—, bekommt die entsprechenden Punkte bez. Note.

Welche Lösung ist denn "richtig" und "vollständig"? Genügt es, wenn das Ergebnis stimmt? Muss auch der Lösungsweg richtig sein? Genügt eine Darstellung der erkennbar nur angelesenen Meinungen zu bestimmten Problemen oder ist eine eigenständige Argumentation erforderlich? Wenn ja: wie unterscheidet man objektiv (!) die Wiedergabe angelesener Meinungen von einer eigenständigen Argumentation? Was ist bei Abweichungen von der Musterlösung, sei es im Ergebnis, sei es in der Begründung? Sind die immer "falsch"? Oder können sie auch "richtig" sein? Welche Problemlösung ist überhaupt "richtig"? Die der Rechtsprechung, also primär der obersten und oberen Gerichte? Wie ist es bei Divergenzen? Oder die in der Literatur präferierte Lösung? Da sich die Literaturstimmen eigentlich nie einig sind, wer hat die "richtige" Lösung? Der berühmteste Autor? Oder ist die Lösung "richtig", die von vielen Autoren geteilt wird? Oder die, die der Professor gelehrt hat? Und ein ein anderer Professor andere Lösungen für "richtig" hält?

Die Annahme, es gebe für jede Rechtsfrage "richtige" und "falsche" Lösungen, erscheint mir einigermaßen naiv, müsste sie doch zum Ergebnis führen, dass die meisten Rechtswissenschaftler und viele Richter Dummköpfe sind, weil sie "falsche" Auffassungen vertreten.

[thh]

Natürlich bin ich nicht der Meinung, dass es nur eine Note geben muss, nur eine richtig ist.

Diese Meinungsäußerung widerspricht u.a. Ihrer vorangehend geschilderten Auffassung, Sie hätten angenommen, "wer die mehr oder weniger versteckten Probleme der Klausur und auch deren Bedeutung erkennt und mehr oder weniger richtig und vollständig löst —darüber dürfte es doch keine Unsicherheiten geben—, bekommt die entsprechenden Punkte bez. Note.", denn diese Annahme würde bedeuten, dass es - ohne Unsicherheiten - eine "entsprechende", also allein richtige, Note geben müsste.

Vielleicht wäre es hilfreich, die eigene Meinung entweder zunächst tiefer zu durchdenken oder verständlicher darzulegen?

Auf Ihre nach meinem Gefühl oberlehrerhaften Belehrungen —trivial und naiv nennen Sie was ich schreibe —zu antworten, spare ich mir Kindergarten.

Ungeachtet der Tatsache, dass es dem voranstehenden Satz an Grammatik und Semantik mangelt, fällt auf, dass Sie viele Meinungen, Eindrücke, Gefühle und Empfindungen haben. Das ist natürlich schön und macht das Leben farbig; für den Diskurs wären allerdings Thesen und Argumente wohl hilfreicher.

Ich fand den Beitrag offen,sachlich,kritisch,aufklärend für mich.

Das freut mich! War das ein angenehmes Gefühl?

Auf diesen Erkenntnissen aufbauend ließen sich m.E.wohl für kompetente,unvoreingenommene Entscheider Verbesserungen in Bezug auf die Objektivität der Benotung erzielen,insofern ist die „blinde Zweitkorrektur „hilfreich.

Genügt es denn für eine völlig objektive Korrektur nicht, wenn bewertet wird, ob die mehr oder weniger versteckten Probleme der Klausur und auch deren Bedeutung erkannt wurde und sie mehr oder weniger richtig und vollständig gelöst wurden?

[Strich]

...
Es ist doch so: idealerweise hat die Aufteilung der Kandidaten auf die Prüfer möglichst geringe Auswirkungen auf die Prüfungsergebnisse. Ob nun K1 bei P(a) und K2 bei P(b) landet - oder eben umgekehrt -, sollte idealerweise eine möglichst geringe Rolle für ihre jeweiligen Noten spielen. Das gebietet schon die Vergleichbarkeit und Gerechtigkeit der Prüfungen. Geschenkt, dass wir nicht in einer perfekten Welt leben und dieses Ideal nie vollends erreichen werden - dennoch bildet es das Ziel, dem wir uns annähern sollten.

D'accord

Die Unterschiede zwischen den einzelnen Prüfern stellen eine Hürde auf diesem Weg dar, die es zu meistern gilt. Eine blinde Zweitkorrektur verkleinert diese Hürde und sorgt für etwas mehr Prüfungsgerechtigkeit: mit jedem zusätzlichen blinden Prüfer steigt die Wahrscheinlichkeit, dass die Note des Prüflings nicht von den subjektiven Präferenzen nur einer Person abhängt. Natürlich kann man im Einzelfall auch zwei außerordentlich unfaire oder strenge Prüfer erhalten, nur ist das eben weitaus unwahrscheinlicher.

Da bin ich eben nicht mehr dabei, weil du wieder nur behauptest, die Unterschiede stellten eine Hürde da und sind unfairer. Warum sie unfairer sind, begründest du nicht. Ich wiederhole meine Frage: Warum steigt die Wahrscheinlichkeit, dass die Note des Prüflings nicht von den subjektiven Präferenzen nur einer Person abhängt?

... Es ist vielmehr wissenschaftlich erwiesen, dass bekannte Referenzpunkte (wie ein Angebot in Verhandlungen, aber eben auch die Note des Erstkorrektors) einen "Anker" darstellen, ...

Ja ganz genau! Deswegen ist sie fairer! Der subjektiv geprägte Zweitprüfer würde 4 Punkte drunter seilen, der Erstkorrektor hat aber 10 gegeben. Jetzt fragt sich unser Zweitprüfer, ob sein Maßstab vielleicht nicht der einzig Wahre ist und entscheidet: "Hmm der andere Maßstab ist auch gut vertretbar, also kriegt der Student 10 oder 9 oder 8" (Btw meine absolute Haupterfahrung mit Prüfungen und ich korrigiere blind)
Die Alternative ist doch: Drittkorrektor, der dann wieder mit seinen subjektiven Vorstellungen daherkommt.

Die Folge dieses Ankereffekts ist aber gerade das oben beschriebene Problem: die Aufteilung der Kandidaten auf die Prüfer spielt dadurch eine noch größere Rolle. Je nachdem, wer Erst- und wer Zweitkorrektor ist, kann ein ganz anderes Ergebnis unter der Klausur stehen: und zwar selbst bei denselben Prüfern. So kann P(streng) -> P(großzügig) für K1 zu einer schlechteren Note als P(großzügig) -> P(streng) bei K2 führen.

Nein, das denke ich gerade nicht. Außerdem behaupte ich, dass die blinde Zweitkorrektur die Abhängigkeit der Prüferkombo sogar noch erhöht. Aus einem Pool von 10 Prüfern gibt es einen sehr strengen Prüfer mit oberer Kappungsgrenze 9 Punke.

Es werden folglich 5 Prüferpaare gebildet. bei 200 Klausuren kommen mithin 40 Klausuren auf jeden Prüfer (wenn man annimmt, dass jeder Prüfer Erstkorrektor ist und dann mit dem Zweitkorrektor tauscht; das statistische worst-case Szenario für die Prüflinge = angewandte Praxis). In diesem Fall haben 40 Prüflinge die Chance durch den offenen Zweitkorrektor auf das "übliche" Maß der anderen Korrektoren heraufgepunktet (oder heruntergepunktet) zu werden. In deinem Modell werden 40 Prüflinge sicher in die Drittkorrektur geschickt.

[Seeker]

Da bin ich eben nicht mehr dabei, weil du wieder nur behauptest, die Unterschiede stellten eine Hürde da und sind unfairer. Warum sie unfairer sind, begründest du nicht.

Doch, das habe ich begründet. Subjektive Unterschiede zwischen Prüfern, die sich auf die Korrektur auswirken, führen dazu, dass die Notengebung entscheidend davon abhängt, welcher Kandidat welchem Prüfer zugeteilt wird. Dieser Effekt sollte aber möglichst minimiert werden.

Ich wiederhole meine Frage: Warum steigt die Wahrscheinlichkeit, dass die Note des Prüflings nicht von den subjektiven Präferenzen nur einer Person abhängt?

Wie gesagt: idealerweise ist die Notengebung unabhängig von dem zugeteilten Prüfer. D.h. ob Kandidat Klaus bei Prüfer Peter, Paul oder Pamela landet, sollte sich so wenig wie möglich auf die Note von Klaus auswirken. Anders ausgedrückt: die Note des Kandidaten sollte sich in dem Spielraum bewegen, welchen die weit überwiegende Mehrheit der Korrektoren vergeben würden.

Je mehr Prüfer die Arbeit nun blind korrigieren, desto unwahrscheinlicher ist es, dass die Note lediglich auf den subjektiven Präferenzen des Prüfers Paul oder Peter beruhen, und mehr dem Spielraum entsprechen, welchen die weit überwiegende Mehrheit der Korrektoren vergeben würden.

Bsp.: Klaus schreibt eine Klausur. 80 % der Korrektoren würden bei einer Einzelkorrektur dafür eine Note von 5-7 Punkten geben. Lediglich 20 % weichen davon ab und vergeben mehr oder weniger.

Wenn nun nur ein Prüfer die Arbeit korrigiert, besteht eine Wahrscheinlichkeit von immerhin 20 %, dass Klaus eine von der großen Mehrheit der Korrektoreneinschätzung abweichende Note erhalten würde. Das birgt aber die große Gefahr, dass der Zufall der Prüferzuteilung sich dann entgegen der Prüfergerechtigkeit auf die Notengebung auswirkt.

Korrigieren dagegen 2 Prüfer blind die Arbeit, ist die Wahrscheinlichkeit von 2 "abweichenden" Prüfern (=solche, die von der Einschätzung der übrigen 80 % abweichen) nur (1/5)*(1/5) oder 4 %. Dagegen ist die Wahrscheinlichkeit 96 %, dass Klaus entweder 2 "normale" Prüfer oder zumindest einen "normalen" Prüfer bekommt. Dieser "normale" Prüfer korrigiert die Note des "abweichenden" Prüfers zwangsläufig: wenn Klaus etwa einmal eine "normale" Note von 6 Punkten erhält und einmal abweichende nur 3 Punkte, erhält er gemittelt 4,5. Umgekehrt wird eine "abweichende" Note von 9 Punkten durch eine "normale" von 6 Punkten auf 6,5 gemittelt.

Demgegenüber besteht bei einer offenen Zweitkorrektur die Gefahr des Ankereffekts: so könnte Klaus für exakt dieselbe Arbeit bei einem "negativ abweichenden" Erstkorrektur 3 Punkte erhalten, wobei der Zweitkorrektur wegen des Ankereffekts nur 3-4 Punkte erteilt. Im umgekehrten Fall eines "positiv abweichenden" Erstkorrekturs erhielte er womöglich 9 Punkte, wobei der Zweitkorrektur wegen des Ankereffekts womöglich immer noch 7-8 Punkte erteilen würde.

Ja ganz genau! Deswegen ist sie fairer! Der subjektiv geprägte Zweitprüfer würde 4 Punkte drunter seilen, der Erstkorrektor hat aber 10 gegeben. Jetzt fragt sich unser Zweitprüfer, ob sein Maßstab vielleicht nicht der einzig Wahre ist und entscheidet: "Hmm der andere Maßstab ist auch gut vertretbar, also kriegt der Student 10 oder 9 oder 8" (Btw meine absolute Haupterfahrung mit Prüfungen und ich korrigiere blind)

Ein Ankereffekt führt aber nachweislich nicht notwendig zu einer faireren oder umfassenderen Benotung. Er hat lediglich zur Folge, dass der Zweit- sich am Erstkorrektor orientiert. Das kann positiv - wie in deinem Beispiel - oder auch negativ sein ("ich wollte 10 geben, der Erstkorrektor hat weitere Mängel aufgezeigt, so gebe ich nur 8"). Das ist aber nicht der entscheidende Punkt. Das Problem ist vielmehr, dass dadurch dem Erstkorrektor ein erhebliches Gewicht gegeben wird, was wiederum die Bedeutung der Aufteilung auf die Prüfer erhöht. Das ist aber, wie oben ausführlich begründet, einer fairen Korrektur abträglich.

Bsp.: Ein "normaler" Zweitkorrektor wird durch den Erstkorrektor u.U. erheblich beeinflusst. Ist dieser eher sehr genau und sucht bestimmte Fehler, landet der Kandidat etwa bei Erstkorrektor1 bei 8 Punkten, bei Erstkorrektor2 - der einen schönen Gutachtenstil wichtig findet - bei 12 Punkten.

Der "blinde" Zweitkorrektor schwankte in Unkenntnis einer anderen Korrektur nun etwa zwischen 10-12 Punkten. Selbst hätte er womöglich 11 gegeben. Wird ihm nun aber Erstkorrektor1 vorgesetzt, hält er wegen des "Primings" eher die 10 Punkte für realistisch. Kennt er dagegen die 12 Punkte des Erstkorrektors, gibt er auch selbst ohne Bedenken 12.

Es ist übrigens ein Irrglaube anzunehmen, der Zweitkorrektor werde nur und gerade dann eine "Korrektur" vornehmen, wenn der Erstkorrektor "falsch" lag. Denn ob der Erstkorrektor von der statistisch verbreitetsten Beurteilung (=etwa, wie 80 % der Korrektoren die Arbeit etwa eingeschätzt hätten, s.o.) einer Klausur abweicht, weiß der Zweitkorrektor ja überhaupt nicht. Er kennt ja nur seine eigene Benotung (und die des Erstkorrektors).

Die Alternative ist doch: Drittkorrektor, der dann wieder mit seinen subjektiven Vorstellungen daherkommt.

Ein blinder Drittkorrektor ist die Lösung. Dann haben immerhin 3 Korrektoren die Arbeit blind beurteilt und das Mittel aus ihren Noten ist eine zumindest deutlich fairere Bewertung als eine zufällige Einzelnote.

[Strich]

Du solltest dich ganz dringend mit Bayesscher Statistik beschäftigen. Ich empfehle dieses Video:
https://youtu.be/7GgLSnQ48os
"Bayesian Statistics with Hannah Fry"

Na doch noch ewtas mehr:

Je mehr Prüfer die Arbeit nun blind korrigieren, desto unwahrscheinlicher ist es, dass die Note lediglich auf den subjektiven Präferenzen des Prüfers Paul oder Peter beruhen, und mehr dem Spielraum entsprechen, welchen die weit überwiegende Mehrheit der Korrektoren vergeben würden.

Jetzt hast du den prüfern halt Namen gegeben, danke, vorher hatte ich dein Argument noch nicht verstanden
Nochmal: Warum soll das dann unwahrscheinlicher werden. Die "Fehler" (es sidn keine, sondern zeigen, dass du noch nicht zum Pudels Kern vorgedrungen bist und meiner Frage ausweichst) deiner Argumentation zeigen sich in deiner folgenden Argumentation:

Korrigieren dagegen 2 Prüfer blind die Arbeit, ist die Wahrscheinlichkeit von 2 "abweichenden" Prüfern (=solche, die von der Einschätzung der übrigen 80 % abweichen) nur (1/5)*(1/5) oder 4 %. Dagegen ist die Wahrscheinlichkeit 96 %, dass Klaus entweder 2 "normale" Prüfer oder zumindest einen "normalen" Prüfer bekommt. Dieser "normale" Prüfer korrigiert die Note des "abweichenden" Prüfers zwangsläufig: wenn Klaus etwa einmal eine "normale" Note von 6 Punkten erhält und einmal abweichende nur 3 Punkte, erhält er gemittelt 4,5. Umgekehrt wird eine "abweichende" Note von 9 Punkten durch eine "normale" von 6 Punkten auf 6,5 gemittelt.

Demgegenüber besteht bei einer offenen Zweitkorrektur die Gefahr des Ankereffekts: so könnte Klaus für exakt dieselbe Arbeit bei einem "negativ abweichenden" Erstkorrektur 3 Punkte erhalten, wobei der Zweitkorrektur wegen des Ankereffekts nur 3-4 Punkte erteilt. Im umgekehrten Fall eines "positiv abweichenden" Erstkorrekturs erhielte er womöglich 9 Punkte, wobei der Zweitkorrektur wegen des Ankereffekts womöglich immer noch 7-8 Punkte erteilen würde.

Diese Wahrscheinlichkeit besteht auch bei der offenen Zweitkorrektur
Nochmal: Dein Problem ist, du weißt schlicht nicht, wer die normalen Prüfer sind und wer die zu strengen oder zu laschen! Wenn du das rein statistisch fest machen willst, werden die guten und schlechten Arbeiten im Mittel eher Mittelmäßig bewertet, statt die ihnen "richtigerweise" zukommenden 10 Punkte+ zu erhalten.
Um in deinem Beispiel zu bleiben: Klaus kriegt in der offenen Zweitkorrektur vom Erstkorrektor 6 Puntke und hätte 3 Punkte bei einer geschlossenen Zweitkorrektur erhalten, gemittelt (warum nicht Drittkorrektor?) also 4,5. Bei der offenen Zweitkorrektur erhält er vermutlich 5 oder 4, weil es hier um das Bestehen geht, wird man sich (habe ich noch nie erlebt) auf 3 einigen. Wo ist denn da jetzt bitte der Unterschied? In deinem eigenen Beispiel führt der Streit schon zu keinem anderen Ergebnis? Das selbe Spiel passiert auch bei 9 und 6 Punkten?
Das macht statistisch überhaupt keinen Sinn, was du da schreibst. Und das unterstellt vor allem, dass du das richtige Ergebnis - aka der gemittelte Wert über alle Korrektoren stellt die Baseline dar; Abweicher sind eben nicht richtig, sondern streng oder lasch - schon kennst. Das bestreite ich aber.

Das kann positiv - wie in deinem Beispiel - oder auch negativ sein ("ich wollte 10 geben, der Erstkorrektor hat weitere Mängel aufgezeigt, so gebe ich nur 8").

Warum das zweite Beispiel "negativ" sein soll statt einer besseren Korrektur, erschließt sich mir nicht. Offenbar hat der ZWeitkorrektor was übersehen.

Das Problem ist vielmehr, dass dadurch dem Erstkorrektor ein erhebliches Gewicht gegeben wird, was wiederum die Bedeutung der Aufteilung auf die Prüfer erhöht.

Das Problem ist, dass du das gewicht des Ankereffekts überschätzt und vor allem falsch einschätzt. Der Ankereffekt hat negative Auswirkungen. Du selbst zeigst aber schon eine positive auf (der Zweitkorrektor ist vorsichtiger mit seiner eigenen Wertung und prüft diese kritisch). Ich zeige eine weitere auf: Angleichung der Prüfungsmaßstäbe.

Das ist aber, wie oben ausführlich begründet, einer fairen Korrektur abträglich.

Das ist eben nicht ausführlich begründet.

Der "blinde" Zweitkorrektor schwankte in Unkenntnis einer anderen Korrektur nun etwa zwischen 10-12 Punkten. Selbst hätte er womöglich 11 gegeben. Wird ihm nun aber Erstkorrektor1 vorgesetzt, hält er wegen des "Primings" eher die 10 Punkte für realistisch. Kennt er dagegen die 12 Punkte des Erstkorrektors, gibt er auch selbst ohne Bedenken 12.

Auch dieses Beispiel ist pure Behauptung. Entscheidend ist, weshalb der Erstkorrektor1 aus 10 Punkte gegeben hat. Hat er es, weil er mehr gesehen hat als der Zweitkorrektor? Um so besser, das erhöht die Qualität der Korrektur (einen Faktor, den du im Übrigen einfach außen vor lässt).

[Seeker]

Ich schaue jetzt ganz sicher kein 13min Video. Erläutere doch bitte selbst, worum es dir genau geht und warum es für die Frage relevant ist.

[Strich]

Schaus dir an wenn du Zeit hast, wenn dir die Diskussion hier keine 13 Minuten unterhaltsames Video wert ist, können wirs auch lassen.

Btw edit oben ^^

[Flanke]

Wer glaubt, der Ankereffekt mache eine Bewertung fairer, sollte sich mit dem Ankereffekt beschäftigen. Der Ankereffekt funktioniert nicht über eine Reflexionsanregung, sondern gerade unbewusst. Auch ein Glücksrad bildet einen Anker. Dazu dieses unterhaltsame, knapp 13minütige Video:

https://www.youtube.com/watch?v=w9wCAZ-jujY

[Seeker]

Na doch noch ewtas mehr:
(...)

Dein gesamter Post beruht auf fehlerhaften Annahmen. So gehst du davon aus, dass es "eine" objektiv richtige Korrektur für die Arbeit gibt, welche eher erreicht wird, wenn der Zweitkorrektor sich gewissermaßen "fortentwickelt", da er über "zusätzliche Informationen" aus der Erstkorrektur verfügt. Das entspricht aber nicht der Prüfungsrealität.

Die Fakten sehen nämlich anders aus: Unterschiedliche, isoliert handelnde Einzelprüfer (Erstkorrektoren) kommen zu Ergebnissen, die voneinander abweichen. Und zwar nicht nur oder primär, weil sie etwas "übersehen", sondern schlicht, weil sie andere Maßstäbe anlegen, unterschiedlich gewichten und Arbeiten anders bewerten.

Außerdem unterschätzt du den Ankerwert. Es ist wissenschaftlich erwiesen, dass selbst die Konfrontation mit bestimmten Zahlen, die offensichtlich keinerlei inhaltlichen Zusammenhang mit der späteren Entscheidung haben, das spätere Verhalten in Richtung dieser Zahlen beeinflusst. Der Mensch ist kein rein rationaler Akteur (hierzu bietet sich die Lektüre von Kahnemann, Thinking, Fast and Slow an - auch wenn nicht alle seine Erkenntnisse noch dem aktuellen Stand entsprechen). Siehe auch das Video von Flanke.

Meine zentralen Prämissen sind vor diesem Hintergrund folgende:

1. Die Zuteilung auf einen Prüfer sollte die Note des Kandidaten möglichst wenig beeinflussen. Argument: Prüfungsgerechtigkeit.

2. Möglichst wenig beeinflusst durch die Zuteilung auf einen Prüfer wird die Note dann, wenn die Bewertung durch den konkreten Prüfer der (hypothetischen) Bewertung durch die weit überwiegende Mehrheit der Prüfer entspricht. Eine Alternative hierzu gibt es nicht, denn einen "objektiven" Maßstab für eine Klausur gibt es von vornherein nicht. "Ideal" wäre daher, dass jeder Prüfer ALLE Klausuren blind korrigiert und der Kandidat dann das gemittelte Ergebnis für seine Klausur erhält.

3. Da das nicht möglich ist, sollte die Arbeit zumindest durch zwei Prüfer blind korrigiert werden. Dadurch steigt die Wahrscheinlichkeit, dass die Gesamtnote sich der (hypothetischen) "Durchschnittsbewertung" DIESER Arbeit (nicht aller Arbeiten) angleicht.

Nochmal: Dein Problem ist, du weißt schlicht nicht, wer die normalen Prüfer sind und wer die zu strengen oder zu laschen! Wenn du das rein statistisch fest machen willst, werden die guten und schlechten Arbeiten im Mittel eher Mittelmäßig bewertet, statt die ihnen "richtigerweise" zukommenden 10 Punkte+ zu erhalten.

Du verwechselst die Qualität der konkreten Klausuren mit der Großzügigkeit der Korrektoren. Mir geht es nicht darum, dass Korrektoren, die mittelmäßige Noten vergeben, der Maßstab sind. Sondern dass der Maßstab für eine konkrete Korrektur dem Maßstab der großen Mehrheit der Korrektoren entspricht.

4 Beispiele:

1. Kandidat erhält 14 Punkte durch Erst- und Zweitkorrektor. 80 % aller Korrektoren hätten dieser Arbeit 12-16 Punkte verliehen. Bewertung: gerechtes Ergebnis, da Bewertung weitgehend unabhängig von Zuteilung auf Korrektoren.

2. Kandidat erhält 7 Punkte durch Erst- und Zweitkorrektor. 80 % aller Korrektoren hätten dieser Arbeit 5-7 Punkte gegeben. Bewertung: gerechtes Ergebnis, da Bewertung weitgehend unabhängig von Zuteilung auf Korrektoren.

3. Kandidat erhält 14 Punkte durch Erst- und Zweitkorrektor. 80 % aller Korrektoren hätten dieser Arbeit 9-11 Punkte gegeben. Bewertung: ungerechtes Ergebnis, da Bewertung stark abhängig von Zuteilung auf Korrektoren.

4. Kandidat erhält 7 Punkte durch Erst- und Zweitkorrektor. 80 % aller Korrektoren hätten dieser Arbeit 9-11 Punkte gegeben. Bewertung: ungerechtes Ergebnis, da Bewertung stark abhängig von Zuteilung auf Korrektoren.

Beispiele 1-2 sind erstrebenswert, 3-4 nicht. Auf 1-2 arbeitet man durch eine blinde Zweitkorrektur (statistisch) hin. Eine offene Zweitkorrektur führt statistisch durch den Ankereffekt dagegen eher zu zufälligen Ergebnissen, die von der Mehrheit der Korrektoren häufiger abweichen.

[Strich]

Wer glaubt, der Ankereffekt mache eine Bewertung fairer, sollte sich mit dem Ankereffekt beschäftigen. Der Ankereffekt funktioniert nicht über eine Reflexionsanregung, sondern gerade unbewusst. Auch ein Glücksrad bildet einen Anker. Dazu dieses unterhaltsame, knapp 13minütige Video:

https://www.youtube.com/watch?v=w9wCAZ-jujY

Na was für ein Glück, das ich nicht behauptet habe, er mache die Bewertung fairer. Ich habe nur behauptet, dass seine negativen Effekte überschätzt und seine positiven unterschätzt bzw nicht berücksichtigt werden. Btw. kenne ich den Ankereffekt aus einem anderen Bereich, wo ich ihn ständig genutzt habe, derzeit aber auf nicht absehbare Zeit darauf verzichte

Das Video schaue ich mir dann an, wenn ich zuhause bin.