Wie kann die Qualität von Testverfahren beurteilt werden?

Es gibt drei Hauptgütekriterien, welche die Qualität eines Tests definieren: Objektivität, Reliabilität und Validität. Sie stehen in enger Beziehung zueinander. Ein guter Test sollte zwar alle drei Hauptgütekriterien erfüllen, ihre Überprüfung empfiehlt sich jedoch in einer bestimmten Reihenfolge. Zwischen den Hauptgütekriterien besteht folgende Beziehung: Objektivität bildet eine notwendige, wenn auch nicht hinreichende Voraussetzung für die Reliabilität; Reliabilität ist eine notwendige, wenn auch nicht hinreichende Voraussetzung für die Validität. Ein Test, der nicht objektiv ist, kann nicht reliabel und nicht valide sein. Und einem Test, der zwar objektiv, nicht aber reliabel ist, kann ebenso ohne weitere Überprüfung die Validität abgesprochen werden. Genau so ist es auch möglich, dass ein Test zwar sehr objektiv und sehr reliabel, aber nicht valide misst.

Was versteht man unter Reliabilität?

Die Reliabilität (oder auch Zuverlässigkeit) eines Tests informiert über dessen Messgenauigkeit – unabhängig davon, ob er auch tatsächlich das misst, was er messen oder prognostizieren soll (Validität). Die Reliabilität beschreibt also das Ausmaß, in dem das Testergebnis frei von Messfehlern ist. Die Reliabilität kann über verschiedene Messmethoden ermittelt werden. Hierzu zählen insbesondere die interne Konsistenz, die Retest-Reliabilität, die Paralleltest-Reliabilität und die Split-Half-Reliabilität.

Was ist interne Konsistenz?

Die interne Konsistenz ist ein Maß für die Homogenität einer Skala. Eine hohe interne Konsistenz belegt, dass die verschiedenen Items einer Skala im Wesentlichen das Gleiche messen. Die gebräuchlichste Kenngröße für die interne Konsistenz ist Cronbachs Alpha (α).

Was ist Retest-Reliabilität?

Die Retest-Reliabilität gibt den Grad der Übereinstimmung von zwei Messungen einer konstanten Eigenschaft mit dem gleichen Verfahren an.

Was ist Paralleltest-Reliabilität?

Die Paralleltest-Reliabilität gibt an, ob der Einsatz vergleichbarer Testverfahren wie z. B. Paralleltests zu weitestgehend identischen Ergebnissen führt.

Was ist Split-Half-Reliabilität?

Bei der Ermittlung der Split-Half-Reliabilität wird ein Test in zwei Hälften geteilt, um zu prüfen, ob die statistischen Kenngrößen der beiden so gewonnenen Stichproben weitestgehend identisch sind.

Was versteht man unter Objektivität?

Objektivität bezeichnet den Grad der Unabhängigkeit einer Diagnose vom Untersuchenden. Dies bedeutet, dass ein Test zum gleichen Ergebnis kommen soll, unabhängig davon, von wem dieser Test durchgeführt, ausgewertet oder interpretiert wird. Im Fall der in JOBMATCHER eingebundenen Verfahren trägt der hohe Standardisierungsgrad maßgeblich zur Sicherstellung der Objektivität bei.

Was versteht man unter Validität?

Die Validität (oder auch Gültigkeit) eines Tests gibt an, ob dieser auch tatsächlich das misst, was er zu messen beabsichtigt. Aus wissenschaftlicher Perspektive wird die Angemessenheit der Schlüsse angesprochen, die aus diagnostischen Werten gezogen werden. Die Validität ist somit das wichtigste Gütekriterium zur Beurteilung eines (Test)Verfahrens. Es können verschiedene Arten der Validität unterschieden werden, wobei als zentralste die Kriterien-, die Konstrukt- und die Inhaltsvalidität zu nennen sind.

Was versteht man unter Kriterienvalidität?

Die als Korrelationskoeffizient (s.u.) angegebene Kriterienvalidität gibt Auskunft über den Zusammenhang eines Testergebnisses mit einem Kriterium beruflichen Erfolgs (abgeleitet z.B. aus Leistungsbeurteilungen), den vorherzusagen ja Grund für den Einsatz von Testverfahren ist. Können zu einem Verfahren keine Angaben zur Kriterienvalidität gemacht werden, steht der Beleg dafür noch aus, dass das Verfahren beruflichen Erfolg vorherzusagen vermag. Bei der Beurteilung der Kriterienvalidität eines Verfahrens sollte bedacht werden, dass schon Zusammenhänge um r = .15 einen Beitrag zur Vorhersage beruflicher Leistung leisten, wenn das Verfahren Aspekte erfasst, die nicht durch andere Verfahren abgedeckt werden. Als Obergrenze der Vorhersageleistung gilt ein Zusammenhang von r = .70, der nur in seltenen Fällen durch die Kombination mehrerer Verfahren erreicht wird. Aber auch Einzelverfahren können Zusammenhänge mit Maßen des Berufserfolgs von bis zu r = .55 aufweisen – insbesondere, wenn sie unternehmens- und anforderungsspezifisch konstruiert wurden.

Was versteht man unter Konstruktvalidität?

Die als Korrelationskoeffizient (s.u.) angegebene Konstruktvalidität eines Tests gibt an, inwieweit dieser das Merkmal bzw. Konstrukt, das gemessen werden soll (z.B. Intelligenz), vollständig abbildet. Hierzu wird ein Test mit einem anderen Test verglichen, dessen Validität als gesichert angesehen wird. Ebenso ist es üblich, Verfahren in diesen Vergleich einzubeziehen, die definitiv etwas anderes messen (z.B. Persönlichkeitstests) und für die kein Zusammenhang zu erwarten ist.

Was versteht man unter Inhaltsvalidität?

Die Inhaltsvalidität ist ein spezieller Aspekt der Konstruktvalidität, der Auskunft darüber gibt, inwieweit die einzelnen Aufgaben oder Aussagen tatsächlich den beruflichen Anforderungen entsprechen.

Was versteht man unter Augenscheinvalidität?

Dem verschiedentlich verwendeten Begriff der Augenscheinvalidität (engl.: face validity) ist kein konkretes Gütekriterium zugeordnet, d.h. es gibt keinen Koeffizienten, der berechnet werden könnte. Koeffizienten, die über die Güte eines Tests Auskunft geben, werden zum Beispiel für die Reliabilität oder die Kriterienvalidität berechnet. Augenscheinvalidität ergibt sich hingegen qua unmittelbarer Evidenz – ein Test ist augenscheinvalide, weil er plausibel wirkt. Im Gegensatz zur Inhaltsvalidität wird die Augenscheinvalidität meist aus Sicht der Anwender beurteilt.

Was ist ein Korrelationskoeffizient?

Der Korrelationskoeffizient ist eine Maßzahl für die Stärke des Zusammenhangs zweier Datenreihen. Die Korrelation (r) schwankt zwischen -1 und 1. Positive Zusammenhänge (zwischen 0 und 1) geben an, dass hohe Werte in der einen Datenreihe (z.B. das Ergebnis eines Intelligenztests) auch mit hohen Werten in einer anderen Datenreihe (z.B. einer Leistungsbeurteilung) zusammenhängen.

Welche Rolle kommt der Persönlichkeit in der beruflichen Eignungsdiagnostik zu?

Auf Basis vieler tausender Einzelstudien lässt sich heute mit Gewissheit sagen, dass die Persönlichkeit von entscheidender Bedeutung für die Bewältigung beruflicher Anforderungen ist. Dies lässt sich gut an einem Beispiel veranschaulichen: Ein erklärungsbedürftiges Produkt lässt sich sicherlich sehr gut von einem Ingenieur mit soliden Fachkenntnissen darstellen, da er fachliche Fragen im Detail beantworten kann. Um das Produkt erfolgreich verkaufen zu können, sollte er aber auch eine persönliche Disposition mitbringen, die ihn gerne auf potenzielle Kunden zugehen lässt und die es ihm möglich macht, Wünsche und Bedürfnisse von anderen zu antizipieren sowie geschickt zu argumentieren.

Wofür benötigt man zur Ergebnisrückmeldung eine Norm?

Ein Testergebnis entsteht immer in einem bestimmten Kontext. Ob ein Testwert als hoch oder niedrig einzustufen ist, bestimmt sich in den meisten Fällen danach, welche Leistung andere Personen in diesem Test erbringen (ähnlich wie im Sport). Dementsprechend sollte auch die Beurteilung des individuellen Abschneidens im Vergleich zu dem der übrigen beteiligten Personen erfolgen. Daher steht jedes einzelne Testergebnis in direktem Bezug zu einer 
Normgruppe von Vergleichspersonen, die aus eigenen Bewerbern oder einer hinsichtlich Branche, Tätigkeit und Niveau vergleichbaren Personengruppe besteht.

Werden Selbstdarsteller in Persönlichkeitstests bevorzugt?

Persönlichkeitstests haben sich als diagnostische Verfahren bewährt, wobei die Verwendung von Verfahren auf Basis von Selbsteinschätzungen State of the Art ist: Aussagen werden danach beurteilt, inwieweit sie auf die Person zutreffen, die den Test bearbeitet. Das Ergebnis eines solchen Tests willentlich zu verfälschen, ist durchaus möglich, in die eine wie in die andere Richtung. In der Praxis stellt dies jedoch ein eher zu vernachlässigendes Problem dar, da Personen entweder an einem realistischen Ergebnis interessiert sind oder keine Kenntnis über die Ergebnisverwendung haben und daher z.B. eine spätere Überprüfung oder die Notwendigkeit der Passung zu einem bestimmten Profil erwarten. Hinzu kommt, dass der Effekt von Selbstdarstellung ungeklärt ist. Zwar kann beschönigende Selbstdarstellung zu höheren Testwerten führen. Allerdings gehen damit häufig auch veränderte Werte im Kriterium einher, zum Beispiel wenn Selbstdarstellung Ausdruck von Selbstbewusstsein ist, das für die Bewältigung einer anspruchsvollen Aufgabe förderlich ist. Testaufgaben (Items), die besonders anfällig für verfälschende Selbstdarstellung sind, können bereits bei der Verfahrenskonstruktion eliminiert werden.

Was ist Integrität?

In der Eignungsdiagnostik versteht man unter Integrität ein Persönlichkeitskonstrukt, das die Neigung zu kontraproduktivem und illoyalem Verhalten am Arbeitsplatz erfasst (d.h. deviantes Verhalten, Fehlzeiten, Mobbing, Missbrauch von Arbeitsmaterialien und Arbeitsmitteln etc.). Untersuchungen belegen zudem, dass solches Verhalten, das sich gegen andere Mitarbeiter oder das Unternehmen richtet, in (negativem) Zusammenhang mit beruflicher Leistung steht. Der Einsatz eines Integritätstests bietet sich insbesondere in Kombination mit einem Intelligenztest an. Da beide Konstrukte voneinander unabhängig sind, kann mehr Leistungsvarianz aufgeklärt werden, so dass eine bessere Vorhersage beruflicher Leistung möglich ist und gleichzeitig unintegre Personen vom Unternehmen ferngehalten werden.

Was versteht man unter Intelligenz?

Intelligenz ist ein Oberbegriff für die verschiedenen kognitiven Fähigkeiten. Sie wird je nach Intelligenztheorie in unterschiedliche Komponenten aufgeteilt (z.B. nennt A.O. Jäger in seinem „Berliner Intelligenzstrukturmodell“ die Komponenten Bearbeitungsgeschwindigkeit, Gedächtnis, Einfallsreichtum und Verarbeitungskapazität in Bezug auf verbales, numerisches und figurales Material). Allgemeine Merkmale aller Intelligenzdefinitionen sind u.a.: Qualität und Geschwindigkeit der Lösung neuartiger (d.h. nicht routinebestimmter) Aufgaben. Damit ist auch die Lernfähigkeit bezeichnet.

Was sind kognitive Fähigkeiten?

Kognition ist im Deutschen ein Sammelbegriff für den Vorgang und das Ergebnis der Informationsverarbeitung (Wahrnehmung, Begriffsbildung, Problemlösen etc.); in der englischsprachigen Eignungsdiagnostik wird kognitive Fähigkeit (cognitive ability) weitestgehend synonym zum Begriff »Intelligenz« gebraucht.

Was versteht man unter Multimodalität?

Multimodalität beschreibt das Prinzip der (diagnostischen) Messung mittels mehrerer eignungsdiagnostischer Ansätze. Dabei werden die drei wichtigsten eignungsdiagnostischen Ansätze kombiniert - der Simulationsansatz, der biographische Ansatz und der Eigenschaftsansatz.

Was versteht man unter dem Simulationsansatz?

Hierbei werden anforderungsrelevante berufliche Situationen nachgestellt, in denen der Bewerber agieren muss. Ein klassisches Beispiel ist die Arbeitsprobe. In Form von Situational Judgment Tests wie LEAD oder CUSTOM!ZE findet sie auch Eingang in Testverfahren.

Was ist der biografische Ansatz?

Dieser eignungsdiagnostische Ansatz beschreibt das Prinzip, von in der Vergangenheit gezeigten Leistungen und Erfahrungen auf zukünftige berufliche Leistungen zu schließen. So kommen z.B. regelmäßig biografische Fragebögen zur Auswahl von Mitarbeitern im Außendienst zum Einsatz. Im Multimodalen Interview MMI® leisten biografiebezogene Fragen einen wichtigen Beitrag zur Personalauswahl.

Was ist der Eigenschaftsansatz?

Dieser eignungsdiagnostische Ansatz trägt der Tatsache Rechnung, dass es grundlegende Persönlichkeitseigenschaften gibt, die nachweislich mit beruflichem Erfolg zusammenhängen und in ihrer Ausprägung über längere Zeit relativ stabil bleiben. Der Eigenschaftsansatz trägt besonders mit dazu bei, Potenziale - teilweise auch noch unentdeckter Art - aufzuzeigen, die jemanden zu künftigem Erfolg befähigen. Beispiele für nach diesem Ansatz konstruierte Auswahlverfahren sind Intelligenz- und Persönlichkeitstests.