Objektivität, Reliabilität, Validität: Wie zuverlässig sind Tests?

Was bedeuten die drei Gütekriterien eines psychologischen Tests?

Ein Online-Test kann seriös aussehen, viele Zahlen ausgeben und dennoch wenig über die eigentliche Frage sagen. Bei psychologischen Tests helfen drei klassische Qualitätsbegriffe: Objektivität betrifft den Einfluss der durchführenden Person, Reliabilität die Messgenauigkeit und Validität die Aussagekraft einer Interpretation für einen bestimmten Zweck.

Die Deutsche Gesellschaft für Psychologie nennt Anforderungen für Verfahren in berufsbezogenen Eignungsbeurteilungen. Entscheidend ist nicht die Schönheit des Testberichts, sondern ob die gewählten Aufgaben zur Frage passen und ihre Qualität ausreichend belegt ist.

Objektivität: Würden zwei Auswertende dasselbe Ergebnis erhalten?

Stell dir eine Aufgabe vor, bei der Figuren nach Regeln ergänzt werden müssen. Wenn zwei geschulte Personen dieselben Antworten unterschiedlich bewerten, ist die Auswertung nicht ausreichend standardisiert.

Objektivität kann verschiedene Teile betreffen: die Durchführung mit vergleichbaren Anweisungen und Bedingungen, die Auswertung nach nachvollziehbaren Kriterien und die Interpretation auf Grundlage einheitlicher Regeln. Auch ein automatisch ausgewerteter Test ist nicht automatisch objektiv in jeder Hinsicht. Schon unklare Anweisungen oder unterschiedliche Testbedingungen können Probleme verursachen.

Bei einem Verfahren mit offenen Aufgaben benötigt man besonders klare Bewertungsvorgaben. Bei Fragebögen kommt es unter anderem darauf an, ob alle Antworten nach denselben Regeln behandelt werden.

Reliabilität: Wie präzise und zuverlässig ist die Messung?

Eine Waage, die bei unverändertem Gewicht stark schwankt, wäre kein gutes Messinstrument. Diese Analogie verdeutlicht die Frage der Reliabilität, hat aber Grenzen: Bei Menschen können sich Leistungen durch Übung, Müdigkeit, neue Erfahrungen oder tatsächliche Entwicklung verändern.

Reliabilität meint deshalb nicht, dass du bei jeder Wiederholung immer genau denselben Wert erhalten musst. Relevant ist, ob ein Verfahren seinen vorgesehenen Messgegenstand mit ausreichender Genauigkeit erfasst und welche Unsicherheit dabei besteht.

Eine einzelne Zahl vermittelt leicht falsche Präzision. Wenn der Messfehler groß ist, kann eine kleine Punktdifferenz fachlich bedeutungslos sein. Fachkundige Auswertungen sollten solche Grenzen berücksichtigen, statt zwei Personen wegen eines minimalen Unterschieds sicher zu rangieren.

Validität: Was darfst du aus einem Testergebnis schließen?

Validität ist keine allgemeine Eigenschaft „dieser Test ist immer gut“. Es geht darum, wie gut die beabsichtigte Interpretation und Verwendung durch Forschung und andere geeignete Belege gestützt wird.

Ein Test kann Kopfrechnen unter Zeitdruck zuverlässig erfassen. Daraus folgt nicht, dass er Empathie, wissenschaftliche Kreativität oder generellen Berufserfolg misst. Wenn aus dem Test eine solche Aussage abgeleitet werden soll, braucht es zusätzliche passende Validierung.

Auch die Vergleichsgruppe muss zur Frage passen. Ein Ergebnis im Vergleich mit einer bestimmten Gruppe ist nicht automatisch in jeder Alters- oder Bildungsgruppe gleich aussagekräftig.

Warum ist ein hoher Testwert nicht dasselbe wie Eignung?

Angenommen, jemand erzielt bei räumlichen Aufgaben hohe Werte. Das könnte bei der Erkundung räumlich anspruchsvoller Tätigkeiten interessant sein. Es sagt jedoch nicht, ob die Person den Arbeitsalltag in Architektur oder Technik mag, welche Ausbildung sie absolvieren kann oder wie sie in einer Gruppe zusammenarbeitet.

Die Bundesagentur für Arbeit erläutert bei Check-U ausdrücklich, wie Kompetenzwerte mit beruflichen Anforderungen verglichen werden und dass Vorschläge konkrete Zulassungsvoraussetzungen nicht ersetzen. Check-U richtet sich an das deutsche Bildungssystem; das Beispiel zeigt vor allem die Grenzen von Zuordnungen.

Welche zusätzlichen Aspekte sollten Testberichte berücksichtigen?

Bei der Beurteilung einer Potenzialanalyse solltest du auch nach Fairness, Zumutbarkeit und der Eignung der Normstichprobe fragen. Sprachliche Anforderungen, Barrierefreiheit, Testbedingungen und Erfahrung mit den Aufgaben können beeinflussen, wie Ergebnisse zustande kommen.

Das BIBB betont, dass Berufsorientierung sowohl eigene Interessen und Kompetenzen als auch reale Anforderungen der Arbeitswelt berücksichtigen soll. Ein Testwert allein liefert diese gesamte Perspektive nicht.

Was ist DIN 33430 – und was beweist sie nicht?

Die DGPs beschreibt DIN 33430 als Prozessnorm, die Anforderungen an Auswahl, Planung, Durchführung und Auswertung berufsbezogener Eignungsbeurteilungen formuliert. Daraus folgt kein automatisches Qualitätsurteil über einen beliebigen Online-Test. Weder die bloße Erwähnung der Norm noch ein hübsches Zertifikatslogo ersetzen genaue Nachweise.

Beispiel: Ein Test kann zuverlässig sein und trotzdem die falsche Frage beantworten

Fiktives Beispiel: Ein Quiz fragt wiederholt sehr zuverlässig astronomische Fachbegriffe ab. Selbst wenn die Auswertung objektiv erfolgt und die Ergebnisse stabil sind, folgt daraus nicht, dass die getestete Person als Führungskraft geeignet wäre. Die Messung könnte für Fachwortwissen brauchbar sein, aber keine begründete Eignungsprognose liefern.

Die American Psychological Association erläutert in ihren Guidelines for Psychological Assessment and Evaluation die Bedeutung von Messfehlern, geeigneten Vergleichsgruppen und Validität für die vorgesehene Verwendung. Das EFPA-Testreview-Modell 2025 stellt einen europäischen fachlichen Prüfrahmen bereit.

Begriff	Eigentliche Prüfungsfrage	Häufige Fehlinterpretation
Objektivität	Ist die Durchführung/Bewertung von Einzelpersonen unabhängig?	„Am Computer = automatisch objektiv“
Reliabilität	Wie präzise misst das Instrument?	„Viele Nachkommastellen = präzise“
Validität	Welche Interpretation wird durch Evidenz gestützt?	„Ein stabiler Score sagt alles über Berufserfolg“

Bevor Testergebnisse über Menschen entscheiden, müssen fachlich qualifizierte Personen das konkrete Verfahren, die Zielgruppe und den Einsatzkontext prüfen. Die Nennung von EFPA oder APA ist keine Validitätsbestätigung für irgendeinen Cebras-Test.

Checkliste: Welche Fragen solltest du einem Testanbieter stellen?

Frage nach Messgegenstand, Zielgruppe, eingesetzten Aufgaben, Testhandbuch, Objektivität, Reliabilität, Validität, Vergleichsgruppe und Grenzen der Interpretation. Lasse dir erklären, welche Entscheidungen mit den Ergebnissen unterstützt werden sollen und wer die fachliche Verantwortung trägt.

Der wichtigste Satz lautet: Ein Test kann für eine klar abgegrenzte Frage brauchbar sein und für eine andere unpassend. Die konkreten Belege sind entscheidend, nicht das Versprechen, ein Mensch lasse sich in einer Zahl vollständig beschreiben.

Woran erkennst du einen verantwortungsvollen Umgang mit Testergebnissen?

Neben den Gütekriterien zählt, wie Ergebnisse kommuniziert werden. Werden Testwerte als endgültiges Urteil über einen Menschen dargestellt – oder wird erkennbar, welche Aussagen gut gestützt sind, welche eher Hinweise und welche noch offen sind? Auch nachvollziehbare nächste Schritte sind hilfreich, weil ein Ergebnis erst in einer echten Entscheidung Bedeutung gewinnt.

Ein Beispiel für Transparenz bei der Darstellung ist der Bericht zum Cebras Zukunftsprofil. Aussagen werden dort als „belegt“, „plausibel“ oder „dünn“ gekennzeichnet. Der Bericht verbindet mehrere Perspektiven und nennt Schritte, mit denen sich offene Fragen weiter untersuchen lassen. Diese Darstellung allein beweist keine bestimmten Validitäts- oder Reliabilitätskennwerte.

Bei diagnostischen Angeboten lohnt es sich, sowohl die wissenschaftlichen Grundlagen des konkreten Verfahrens als auch die Verständlichkeit seiner Auswertung zu prüfen. Ein nachvollziehbarer Bericht kann helfen, Ergebnisse sinnvoll zu nutzen; über die Messqualität entscheiden die jeweiligen Belege.