Paper & Pencil vs. Digitales Testen: Besonderheiten aus Sicht der Testentwicklung

Der Trend zum Digitalen ist auch an der psychologischen Diagnostik und damit an Pearson nicht vorübergegangen. Auf den Pearson-Plattformen Q-global und Q-interactive werden zunehmend mehr Testverfahren für die digitale Testung und Auswertung zur Verfügung gestellt. Dies bringt natürlich auch für die Testentwicklung von Pearson Veränderungen und neue Aufgaben mit sich.

Zunächst einmal werden alle Verfahren grundsätzlich für die Nutzung in Paper & Pencil-Form entwickelt. Da es sich zumeist um deutsche Adaptationen bereits existierender Testverfahren aus den USA handelt, besteht die erste Phase der Entwicklung in der Übersetzung, Adaptation und Entwicklung bestehender und neuer Testinhalte, wobei entsprechende Experten auf dem jeweiligen Gebiet miteinbezogen werden. Hierbei ist darauf zu achten, dass die Aufgaben sprachlich und inhaltlich zu den Bedürfnissen deutscher Anwender passen müssen. Nach einigen Erprobungsphasen, während derer der Test mit repräsentativen Stichproben durchgeführt und auf dieser Grundlage verschiedene statistische Kennwerte ermittelt werden, um weiteren Anpassungsbedarf aufzudecken, wird die finale Version des Testverfahrens an einer deutschsprachigen, repräsentativen Stichprobe normiert, um eine Einordnung einzelner Testergebnisse zu ermöglichen. Der jeweilige Entwicklungsprozess wird im zugehörigen Testmanual dokumentiert, das daneben auch Angaben zum theoretischen Hintergrund, zur Interpretation, zu den Gütekriterien und viele weitere Informationen enthält.

Seit der Einführung der digitalen Pearson-Plattformen in Deutschland werden die meisten der neu entwickelten Testverfahren auch für die Nutzung auf Q-global und/oder Q-interactive aufbereitet. 

Q-global

Q-global erlaubt die schnelle digitale Auswertung und Berichterstellung für komplexere Testverfahren wie die WISC-V oder WPPSI-IV, aber auch die online-basierte Bearbeitung von Fragebögen, wie beispielsweise die kürzlich erschienenen Beck Youth Inventories – Second Edition (BYI-II) oder die Symptom-Checkliste-90-R (SCL-90-R), durch die Testperson am PC, wobei die Ergebnisse im Anschluss ebenfalls direkt ausgewertet werden. 

Bei der Übertragung eines Testverfahrens auf Q-global dient im Normalfall wiederum die englische Q-global-Version des Tests als Vorlage. Mit Hilfe eines speziellen Programmes werden die englischen Inhalte so ins Deutsche übertragen, dass sie mit der Paper & Pencil-Version des deutschen Tests übereinstimmen. Hierbei muss im Hinblick auf die digitale Darstellung berücksichtigt werden, dass der Wortlaut des Deutschen meist länger ist als der des Englischen. Um sicherzugehen, dass alle Inhalte korrekt angezeigt werden und mit der Paper & Pencil-Version, aber auch mit anderen bereits auf Q-global veröffentlichten Testverfahren konsistent sind, wird die deutsche Q-global-Version während einer mehrwöchigen Testphase noch einmal auf Herz und Nieren geprüft. Hierbei werden alle übersetzten Texte gesichtet, verschiedenste Testergebnisse und Sonderfälle simuliert, alle Variationen möglicher Ergebnisberichte erstellt und evaluiert, sowie die Funktionalität der Testauswertung überprüft, bevor grünes Licht für die Veröffentlichung gegeben wird.

Q-interactive

Mit Q-interactive können Testungen digital durchgeführt werden. Dazu werden zwei iPads verwendet, die mit Bluetooth miteinander verbunden sind. Auf einem iPad werden dem Testleiter die Aufgaben und die zugehörigen Anweisungen angezeigt. Er sieht das visuelle Stimulusmaterial, kann dieses auf das iPad der Testperson senden, und die Antworten der Testperson bewerten. Auf dem zweiten iPad kann die Testperson die Stimuli ansehen und die Aufgaben beantworten. Im Anschluss erhält der Testleiter einen ersten Überblick über die Gesamtleistung der Testperson.

Auch für Testverfahren auf Q-interactive ist der Ausgangspunkt ein Verfahren, das in der Paper & Pencil-Version vorliegt oder sich gerade in der Entwicklung befindet. Wichtig ist, dass zwischen der Durchführung des Testverfahrens in der Paper & Pencil-Version und der digitalen Fassung eine größtmögliche Übereinstimmung besteht. So sollen zum Beispiel Aufgaben in der gleichen Weise vorgegeben werden, die Darstellungsgröße von Stimuli identisch sein oder die Bedienbarkeit der Q-interactive Version so gestaltet sein, dass der Testablauf in beiden Versionen identisch ist, wie beispielsweise in Bezug auf Zeitbegrenzungen oder die Möglichkeit für den Testleiter, die Antworten der Testperson zu dokumentieren. 

Im ersten Schritt wird – ganz ähnlich wie bei Q-global – auf der Grundlage einer bereits vorliegenden, fremdsprachigen Vorlage des betreffenden Verfahrens in Q-interactive, die deutsche Übersetzung von Instruktionen, Hinweisen und Aufgaben implementiert. Dabei wird darauf geachtet, an welchen Stellen Anweisungen oder die Darstellung einer Aufgabe im Gegensatz zur ursprünglichen Paper & Pencil-Version für die Durchführung mit den iPads angepasst werden müssen, um die Durchführung für den Testleiter flüssig und fehlerfrei zu gestalten. Da Q-interactive dem Testleiter die Testdurchführung erleichtern soll, werden bestimmte Regeln automatisch berücksichtigt und Hinweise implementiert, die den Testleiter auf spezifische Ereignisse aufmerksam machen (wie beispielsweise das Eintreten der Abbruchregel oder Umkehrregel), um so Fehler während der Testung zu reduzieren. Liegt die digitale deutsche Fassung des Verfahrens vor, durchläuft diese zahlreiche Überprüfungen. Hier wird neben dem digitalen Testmaterial (also die Darstellung der Anweisungen, Aufgaben und Stimuli auf den iPads) auch überprüft, ob die erreichten Testergebnisse korrekt ermittelt und die Berichte fehlerfrei erstellt werden. Diese Überprüfungen nehmen mehrere Monate in Anspruch. Kurz vor der endgültigen Fertigstellung des Testverfahrens auf Q-interactive wird noch einmal geprüft, ob das Verfahren auf der Plattform einwandfrei läuft – und dann darf es live gehen.