Testgütekriterien: Objektivität, Reliabilität und Validität verständlich erklärt

Objektivität: gleiche Regeln für alle

Objektivität bedeutet, dass das Testergebnis nicht davon abhängt, wer den Test vorgibt, auswertet oder interpretiert. Man unterteilt sie in drei Aspekte: Durchführungsobjektivität (standardisierte Instruktionen und Bedingungen), Auswertungsobjektivität (eindeutige Punktvergabe) und Interpretationsobjektivität (feste Regeln, was ein Wert bedeutet).

Selbstausfüll-Fragebögen mit Ankreuzformat schneiden hier naturgemäß stark ab: Die Instruktion steht auf dem Bogen, die Punkte ergeben sich aus einem Schlüssel, die Einordnung aus Normtabellen oder Cutoffs. Anfälliger sind Verfahren mit Ermessensspielraum – projektive Tests wie der Rorschach-Test kämpfen seit jeher mit Auswerterdifferenzen, denen man mit aufwendigen Kodiersystemen zu begegnen versucht.

Reliabilität: die Präzision der Messung

Reliabilität bezeichnet die Zuverlässigkeit oder Messgenauigkeit: Wie frei ist der Messwert von Zufallsfehlern? Eine Waage, die dieselbe Person morgens mit 70 und abends mit 78 Kilo anzeigt, wäre unreliabel – analog gilt das für Fragebögen, deren Ergebnisse ohne echte Merkmalsänderung stark schwanken.

Geschätzt wird Reliabilität auf verschiedenen Wegen. Die interne Konsistenz (meist als Cronbachs Alpha berichtet) prüft, wie einheitlich die Items derselben Skala antworten; die Retest-Methode korreliert zwei Messungen im Zeitabstand; die Paralleltest-Methode vergleicht zwei gleichwertige Testversionen. Als Daumenregel gelten Werte ab .70 als akzeptabel für Forschung, während Entscheidungen über Einzelpersonen Werte um .90 verlangen.

Ein oft übersehener Punkt: Hohe interne Konsistenz ist kein Selbstzweck. Extrem hohe Alphas können anzeigen, dass Items nahezu redundant sind – der Test fragt zehnmal dasselbe und deckt das Konstrukt womöglich zu schmal ab.

Validität: das Königskriterium

Ein Test kann perfekt objektiv und hochreliabel sein – und trotzdem das Falsche messen. Validität fragt deshalb: Erfasst das Verfahren tatsächlich das Zielkonstrukt? Traditionell unterscheidet man Inhaltsvalidität (decken die Items das Merkmal inhaltlich ab?), Kriteriumsvalidität (sagt der Test relevante Außenkriterien vorher, etwa eine spätere Diagnose oder Berufsleistung?) und Konstruktvalidität (fügt sich der Test in das theoretisch erwartete Netz aus Zusammenhängen ein?).

Zur Konstruktvalidität gehören konvergente Belege – hohe Korrelationen mit Verfahren, die Ähnliches messen – und diskriminante Belege, also niedrige Korrelationen mit inhaltlich fernen Merkmalen. Bei Screening-Instrumenten treten Sensitivität und Spezifität hinzu: der Anteil korrekt erkannter Betroffener beziehungsweise korrekt ausgeschlossener Gesunder an einem diagnostischen Referenzstandard.

Wichtig ist die moderne Sichtweise der Teststandards: Validität ist keine Eigenschaft des Tests an sich, sondern der Interpretation seiner Werte für einen bestimmten Zweck. Ein Angst-Screening kann für die Verlaufsmessung valide interpretierbar sein und für Einstellungsentscheidungen völlig ungeeignet.

Normierung und die übrigen Nebenkriterien

Ein Rohwert von 23 Punkten sagt allein wenig. Erst der Vergleich mit einer Normstichprobe – idealerweise groß, repräsentativ und aktuell – macht daraus eine Aussage wie 'höher als bei 85 Prozent der Gleichaltrigen'. Veraltete Normen sind ein reales Problem: Merkmalsverteilungen verschieben sich über Jahrzehnte, wie der Flynn-Effekt bei Intelligenztests eindrucksvoll zeigte.

Ökonomie, Zumutbarkeit und Fairness runden den Katalog ab: Ein Verfahren soll seinen Informationsgewinn mit vertretbarem Zeit- und Kostenaufwand liefern, Testpersonen nicht unnötig belasten und keine Gruppen systematisch benachteiligen – etwa durch kulturgebundene Itemformulierungen.

Der Gütekriterien-Blick auf Online-Selbsttests

Übertragen auf Selbsttests im Netz ergibt sich eine brauchbare Checkliste. Erstens: Nennt der Anbieter die wissenschaftliche Grundlage, im besten Fall ein etabliertes Instrument wie GAD-7 oder PSS-10? Zweitens: Werden Einordnungshilfen wie Cutoffs oder Vergleichswerte transparent gemacht und mit Quellen belegt? Drittens: Wird klar zwischen Screening-Hinweis und Diagnose unterschieden?

Selbst der beste Online-Test erbt allerdings eine Einschränkung: Die Normen und Validitätsbelege stammen aus kontrollierten Erhebungen, während Sie zu Hause vielleicht müde, abgelenkt oder in besonderer Stimmung antworten. Behandeln Sie Ergebnisse daher als gut informierte Momentaufnahme – und wiederholen Sie wichtige Messungen lieber einmal mehr.