Die Validität der Skalen und der darauf aufbauenden multiplen Konstrukte aus dem International Personality Item Pool wurde in einer beachtlichen Zahl von Studien erprobt und nachgewiesen. Die gilt nicht nur für die englischsprachige Fassung, sondern auch für deutschsprachigen Übersetzungen (vgl. z.B. Hartig, Jude & Rauch, 2003; Streib & Wiedmaier, 2001). Von zentraler Bedeutung sind hierbei die direkten Zusammenhänge zwischen den sich entsprechenden Merkmalen aus beiden Testformen (Original vs. IPIP): Auf der IPIP-Webseite werden für die englischsprachigen Fassungen (unreliabilitätskorrigierte) Korrelationswerte in der Höhe von 0.75 – 0.99 für die innerhalb von OPENTEST eingesetzten Skalen berichtet. Auch die gesammelten Erfahrungen aus dem OPENTEST-Angebot mit Quervergleichen lassen auf eine weitreichende Ähnlichkeit der Ergebniswerte schliessen.
Kritischer ist derzeit die Repräsentativität der Normierung zu betrachten. Innerhalb des IPIP-Angebots wird aus methodischen Gründen die Erarbeitung und Darstellung von Normen gar nicht erst angestrebt: “None are available, nor should there be”. Stattdessen wird darauf hingewiesen, dass sich Normierungen mit Vorteil an lokalen Begebenheiten auszurichten haben: “Far more defensible are local norms, which one develops oneself”.
Genau dieser Ansatz wird hier aufgegriffen: Im Rahmen des OPENTEST-Angebots sollen eigene CH-Normen für die verschiedenen Testversionen erarbeitet werden. Realisiert wird dieses Ziel durch die Wiederverwendung der online eingegangenen Testantworten zur weiteren Validierung und Normierung. Die Normierung soll sich durch diesen Ansatz mit dem Angebot qualitativ weiterentwickeln (evolving quality). Nähere Angaben dazu finden sich unter den Detailangaben zu den einzelnen Tests.
Auf ein besonderes Qualitätsmerkmal sei abschliessend hingewiesen: Das IPIP-Instrumentarium wurde vollumfänglich für eine rein internetbasierte Erhebung konzipiert, entwickelt und validiert. Dies gereicht dem OPENTEST-Angebot eindeutig zum Vorteil, zumal es kaum ausreichen würde, bestehende Papier-und-Bleistift-Tests eins zu eins ins Internet zu übertragen und anzunehmen, dass sich die Erfahrungen einfach übertragen lassen (vgl. hierzu Proyer, 2006; Reips, 2003).
Die aufgeführten Eigenschaften und Befunde gelten in gleichwertiger Form auch für die Itempools I-CAR und IIP.