Dank meiner Frau durfte ich mich in den letzten Monaten etwas mehr mit der so genannten Interrater-Reliabilität beschäftigen. Diese wird auch manchmal “Urteilerübereinstimmung” genannt. Im Kern geht es darum ein Maß zu haben, das die Übereinstimmung der EInschätzung verschiedener “Rater” zeigt.
Stellen wir uns zum Beispiel vor, dass es an einer Uni zwei Professoren gibt. Diese sollen dieselben 50 Klausuren beurteilen. Natürlich könnte man davon ausgehen, dass die beiden Professoren die Leistungen der Studierenden genau gleich einschätzen, denn schließlich soll eine möglichst objektive Einschätzung vorgenommen werden. Dies ist ein etwas anderes Szenario als zum Beispiel ein Fragebogen, bei dem unterschiedliche Meinungen zu einem Thema eingeholt werden sollen. Hier wünscht man sich wahrscheinlich unterschiedliche Einschätzungen, wohingegen wir im Lehrbetrieb erwarten, dass die Leistungen von Studierenden von unterschiedlichen Lehrkräften gleich eingeschätzt werden.
[Weiterlesen…] ÜberInterrater-Reliabilität