Validität und Reliablilität von PEP weiter auszubauen ist ein Dauerziel. Bei der Revision 2007 wurde eine Gruppenauswertung von ~3000 deutschsprachigen Führungskräften gemacht, um die Funktion "Gruppen erstellen" zu testen. Anschließend wurden die deutschsprachigen Führungskräfte mit ca. gleich vielen Anders-sprachigen verglichen. Dabei ist die Kontrollskala "Realitätsferne" aufgefallen. Diese zeigte bei N=2948 Deutschsprachigen 38 % was den Erwartungen entspricht, aber satte 50% bei N=2793 Anderssprachigen. Die deutschsprachigen Führungskräfte antworten also realitätsnaher, "schwindeln" damit weniger als die Latinos (spanisch, portugiesisch, französisch, italienisch) und Ex-Ostblockstaatler (tschechisch, slowenisch). Ein Vergleich der beiden Sprachgruppen Item für Item hat durchwegs höhere "Realitätsferne" der Anderssprachigen ergeben. Allerdings mit einer Ausnahme: Das Item "Ich verfüge über sehr gute Menschenkenntnisse und habe mich - jedenfalls so lange ich mich erinnern kann - noch nie in jemandem getäuscht." wurde von den Anderssprachigen signifikant öfter verneint also von den Deutschsprachigen.Wenn allgemein mehr "gelogen" wird, sind Enttäuschungen häufiger; logisch. Nun stellte sich die Frage, ob es den "Schwindlern" gelingt, sich durch "realitätsfernes" Beantworten der Items Vorteile zu verschaffen. Um dies zu Untersuchen wurden die beiden Sprachgruppen in 4 Gruppen aufgeteilt:   "Realitätsnahe" "Realitätsferne" Realitätsferne < 25% 25-50% 50-75% >75% Sodann wurde die Gruppe mit Realitätsferne >75% mit der Gruppe mit Realitätsferne < 25% verglichen und zwar anhand des Mastermodells und mit einzelnen ausgewählten Untertiteln, welche als besonders "betrugsanfällig" vermutet wurden. Nachstehend die Ergebnisse:   Deutschsprach. 38% N=2948 Anderssprach. 50% N=2793   < 25% N=759 > 75% N=493 Diff. < 25% N=499 > 75% N=421 Diff. Mastermodell       57.7 56.4 -1.3 Wirkt kraftvoll und zeigt Ausdauer 54.7 56.9 +2.2 55.0 56.4 +1.4 Macht die Arbeit sehr gut 57.7 57.5 -0.2 58.4 57.4 -1.0 Baut auf die eigene Leistungsfähigkeit 59.3 58.3 -1.0 59.6 58.0 -1.6 Übernimmt gerne Verantwortung 60.0 58.4 -1.6 60.4 58.1 -2.3 Ist zu erfolgsrelevanten Verhaltens-änderungen bereit 61.3 59.7 -1.6 61.7 59.3 -2.4       -2.2     -7.2 Durchschnitt     -0.44     -1.2 Die Mittelwerte wurden mit dem Mittelwertsinhomogenitätswert T gemessen und die Ergebnisse zeigen, dass die Gruppen mit Realitätsferne > 75% signifikant schlechter abschneiden, als die "Ehrlichen" (Realitätsferne < 25%). Insgesamt, d.h. im Mastermodell und in 4 der 5 untersuchten Untertiteln. Aufgrund der Deutlichkeit dieser Ergebnisse und des damit verbundenen Aufwandes wurde darauf verzichtet, die restlichen Untertitel einer Untersuchung zu unterziehen. Schlussfolgerung: PEP manipulieren zu wollen - so zeigt die Untersuchung - ist großmehrheitlich kontraproduktiv. 1. Werden "Schwindler" erkannt 2. gelingt es nicht, den Gesamtwert zu steigern 3. erhalten die "Schwindler" mit zunehmender "Realitätsferne" einen zunehmenden Abzug auf den Gesamtwert, weil Aufrichtigkeit und Ehrlichkeit im Führungskontext unerlässlich sind, um ein vertrauensvolles Arbeitsklima und einen entspannten Umgang miteinander zu ermöglichen, damit die Energien auf die Unternehmensziele - und nicht auf das interne Geplänkel - fokussiert werden können. Daher darf gesagt werden, dass die Items von PEP nachgewiesenermassen in hohem Masse täuschungsresistent sind (was ja auch der Grund dafür ist, dass sich die PEPItems von anderen Tests etwas unterscheiden). Zwar mag es einzelne, besonders instruierte Personen geben, (z.B. Trainer, Berater, Coaches, Personalfachleute, Psychologen) denen es dank ihres besonderen Wissens oder der jahrelangen Auseinandersetzung mit dem Thema Führung gelingt, die Ergebnisse zu beeinflussen. Diese sind aber seltene Einzelfälle (<1%) wie die zahlreichen tiefen Gesamtwerte eben dieser Berufsgruppen immer wieder zeigen. Wer trotz klaren Anweisungen und plausiblen Erklärungen und bei Abweichung durch die zusätzlich eingeblendeten Aufforderungen "so realitätsnah" wie möglich zu Antworten etwas anderes für das Vorteilhaftere hält, straft sich selbst. Auf den folgenden Seiten finden Sie die statistischen Auswertungen. Können Tests gefälscht werden? Können die Resultate von PEP in gewünschter Weise beeinflusst werden? Die Antwort auf die erste Frage lautet klar ja und auf die zweite Frage ebenso klar nein, wie folgende Studie mit N=5'741 Teilnehmenden zeigt. Normen: Die Zielgruppen Management, Verkauf und Sachbearbeitung sind eigenständige Test mit unterschiedlichen Items, Dimensionen und Normen für die verschiedenen betrieblichen Hierarchiestufen und Funktionsbereiche. Diese wurden letztmals 2009 mit N > 5000 nachnormiert. P.S.: Hohe "Realitätsferne" korreliert positiv mit Verkaufserfolg, . . . . leider!   Mastermodell   Wirkt kraftvoll und zeigt Ausdauer (Deutschsprachige)   Wirkt kraftvoll und zeigt Ausdauer (Anderssprachige)   Macht die Arbeit sehr gut (Deutschsprachige)   Macht die Arbeit sehr gut (Anderssprachige)   Baut auf die eigene Leistungsfähigkeit (Deutschsprachige)   Baut auf die eigene Leistungsfähigkeit (Anderssprachige)   Übernimmt gerne Verantwortung (Deutschsprachige)   Übernimmt gerne Verantwortung (Anderssprachige)   Ist zu erfolgsrelevanten Verhaltensänderungen bereit (Deutschsprachige)   Ist zu erfolgsrelevanten Verhaltensänderungen bereit (Anderssprachige)  Wissenschaftlichkeit • Reliabilitätskoeffizient: Es werden Reliabilitätskennwerte auf hohem Niveau erreicht. Halbierungs-Konsistenzkoeffizient: 0.92, N = 1210. Retest-Reliabilität 0.958 (gleiche Items) und 0.72 (Gesamtwert). N = 33 Wiederholung nach 18 Monaten. • Validität: Alle Untersuchungen zur Validität haben gezeigt, dass es ausgesprochen hohe Zusammenhänge des Gesamtwertes (!) mit Merkmalen von beruflichem Erfolg gibt. Die unterstrichenen Untersuchungen können durch Mausklick eingesehen werden. Rangreihenfolge Gesamtwert und Vorgesetzteneinschätzung: Korrelationskoeffizient Rho Management 0.74, N = 26; 0.87, N = 21; 0.78, N = 10; 0.60, N = 11; 0.58, N = 8; 0.78, N = 28; Schnitt: 0.76, N = 76 Verkauf 0.76, N = 46; 0.88 N = 10; 0.92 N = 14; Schnitt: 0.80, N = 70 Fachexperten 0.72, N = 87; 0.81, N = 24; 0.74, N = 13; 0.84, N = 22; N = 28; 0.79 Schnitt: 0.76, N = 174 Verkauf und Produktionsrate: Korr. 0.68, N = 276; 0.82, N = 10; 0.77, N = 22; Schnitt: 0.69, N = 308 Selbstbild-Fremdbild-Vergleich Management: 0.56, N = 32 SB und N = 186 FB. Management und Assessment-Center: 0.48, N = 124 Management und MbO-Ergebnisse: 0.83, N = 6 Management und Verkauf: 0.73, N = 10 Validitätskennwerte zur Übereinstimmung mit Neo-FFI und den in PEP verwandten Konstrukten: Neurotizismus R = 0.584 Korr. -0.47 bis -0.30 und 0.27 Extraversion R = 0.536 Korr. 0.39 - 0.65 Offenheit für Erfahrungen R = 0.544 Korr. 0.31 - 0.40 Verträglichkeit R = 0.684 Korr. 0.34 - 0.44 Gewissenhaftigkeit R = 0.655 Korr. 0.46 - 0.52 • Soziale Validität: Viele, genaue, zutreffende, wesentliches ausdrückende Aussagen. • Normen: Die Fragenkataloge verfügen über unterschiedliche Items, Dimensionen und Normen für die verschiedenen betrieblichen Hierarchiestufen und Funktionsbereiche. Diese wurden letztmals 2013 mit N > 5000 nachnormiert. Rangreihe erstellt durch 4 Vorgesetzte korreliert mit PEP Management 0.74, N = 26 Rangreihe erstellt durch 5 Vorgesetzte korreliert mit PEP Management 0.87, N = 21 Rangreihe erstellt durch 2 Vorgesetzte korreliert mit PEP Management 0.78, N = 10 Rangreihe erstellt durch 1 Vorgesetzten korreliert mit PEP Management 0.60, N = 11 Rangreihe erstellt durch 2 Vorgesetzte korreliert mit PEP Management 0.58, N = 8 Rangreihe erstellt durch 4 Vorgesetzte korreliert mit PEP Management 0.78, N = 28 Rangreihe erstellt durch 3 Vorgesetzte korreliert mit PEP Verkauf 0.88, N = 10 Umsatz korreliert mit PEP Verkauf 0.82, N = 10 Rangreihe erstellt durch 3 Vorgesetzte korreliert mit PEP Management 1, N = 6 Rangreihe erstellt durch 3 Vorgesetzte korreliert mit PEP Verkauf 0.92, N = 14 PEP Management und PEP Verkauf korrelieren zu 0.73, N = 10      Prof. Dr. Hans Peter Kempkes  Gutachten zum Potenzial-Evaluations-Programm (PEP) von © InSyst Master Data Establishment (IMDE)   1.  Zweck des Gutachtens 2.  Motivation zur Beschäftigung mit PEP 3.  Schriftliche Quellen und Beobachtungen 4.  Beurteilung von PEP 5.  Verwendungsmöglichkeiten 6.  Abschließende Würdigung   1.  Zweck des Gutachtens Zweck der vorliegenden Arbeit ist es zum Einen, PEP einer kritischen Würdigung zu unterziehen, zum Anderen die daraus folgenden Verwendungsmöglichkeiten des Instrumentes im Rahmen der Personalentwicklung und der strategischen Unternehmensführung aufzuzeigen. Mit diesem Gutachten sollen die bisher vorliegenden wissenschaftlichen Untersuchungen und praktischen Erfahrungen zusammen gefasst und der interessierten Öffentlichkeit vorgestellt werden. Den Personalverantwortlichen in den Unternehmen werden Kriterien aufgezeigt, damit die Auswahlentscheidung beim Einsatz von Potenzialanalyseinstrumenten erleichtert und der Einsatz dieser Instrumente effizienter gestaltet werden. 2. Motivation zur Beschäftigung mit PEP Der Autor setzt sich seit geraumer Zeit mit dem Thema "Potenzial-Analyse" in doppelter Funktion auseinander: Zum Einen beschäftigt er sich in seiner Funktion als Professor für Strategische Unternehmensführung und Personalmanagement wissenschaftlich mit dem Themenbereich. Andererseits kennt er die betriebliche (Beratung-)Praxis seit Jahren und weiß daher um die Bedürfnisse und Anforderungen, welche die Unternehmensführung und die Personalmanager stellen. Dabei wurden die unterschiedlichsten Test und Methoden (z. B. auch AC) "ausprobiert" und deren Einsatz wissenschaftlich begleitet. Mit zunehmender Erfahrung wuchs jedoch auch die Unzufriedenheit mit den am Markt erhältlichen Test. Fast alle zeigten ein wenig brauchbares oder sehr eingeschränktes Ergebnis, weil • sie in ihrer Aussage zu allgemein sind • die Aussagen oft nicht nachvollziehbar sind • sie aufgrund ihres Modells oder des Menschenbildes stark kategorisieren (z.B. Typologien) • die Dimensionen nicht anforderungsbezogen sind • die Entwicklungspotenziale nicht klar benannt werden • viele in ihrer Aussage zu positiv und damit letztlich nicht ganz ehrlich sind. Hinzu kam, dass viele Hersteller eine hohe Validität, Reliabilität und Praxisnähe versprachen, diese aber meist nicht nachvollziehbar nachweisen konnten. För Personalfachleute in den Unternehmen wirkt das umso verwirrender, weil die einzelnen Tests in ihren Grundlagen, Wirkungszusammenhängen, dem dahinter liegenden Menschenbild usw. zu beurteilen doch recht schwierig ist. Durch die generelle und pauschale Behauptung hoher Qualität geben dann häufig der Preis, die Präsentation des Beraters oder die Gefälligkeit von Broschüren und Gutachten den Ausschlag. Auch Analyseergebnisse legen die Schwächen vieler Tests den Personalverantwortlichen häufig nicht klar erkennbar offen, weil die getesteten Personen häufig mit unzureichenden Ergebnissen zufrieden sind, insbesondere wenn sie ein geschöntes Bild der Realität zeichnen. Mit anderen Worten: Tests, die anforderungsbezogene Stärken und Schwächen nicht wirklich aufzeigen, finden eine höhere Akzeptanz bei den getesteten Personen - und auch teilweise aus falsch verstandenem Harmoniebedürfnis bei den Personalverantwortlichen. Diese Zustände wurden vom Autor als völlig unbefriedigend angesehen. Erst die weitere Suche und Analyse einer Vielzahl von computergestützten Test zeigte im Ergebnis, dass PEP einen völlig anderen Ansatz hat als die meisten anderen Programme hat. PEP geht von Anforderungen aus, von dem, was effektive Manager, Projektleitern, Verkaufsberatern und Sachbearbeitern von den weniger effektiven und weniger erfolgreichen unterscheidet. Da es darum gehen muss, die richtigen Personen in die richtigen Positionen zu bringen bzw. die richtigen Personalentwicklungsmaßnahmen zu veranlassen, ist der Abgleich der konkreten Anforderungen einer Position mit den Kompetenzen des Bewerbers oder Inhabers aus Sicht des Autors der einzig richtige Weg. Eigenschaftsdiagnostische Instrumente sind dafür nicht wirklich geeignet. PEP hat einen etwas unpopuläreren, aber erfolgsrelevanten Ansatz. Stärken und Schwächen einer Person sind direkt ablesbar und - wie nachzuweisen sein wird - mit einer hohen Stimmigkeit belegt. 3. Schriftliche Quellen und Beobachtungen: Dieses Gutachten beruht auf folgenden schriftlichen Quellen: • Abati, V. Dahinden, P., Thönen, D., Bericht zur Revision von PEP, unveröffentlichtes Manuskript, Bern 2001; • Simonet, S., Bericht zur Revision von PEP zur Beurteilung von Führungskräften, Verkäufern und Sachbearbeitern, unveröffentlichtes Manuskript, Bern 2003; • O.V., Kriterienorientierte Validitätsstudie, Selbstbild-Fremdbildvergleich, Bern 2003; Was ist damit gemeint? • Steinhauser, Th., Personalentwicklung auf der Grundlage von computergestützten Potenzialanalyseinstrumenten, dargestellt am Beispiel einer mittelgroßen Genossenschaftsbank, unveröffentlichte Diplomarbeit, Juli 2003; • Thönen, D., Dahinden, P., Tests und Auswertungen zur Reliabilität, unveröffentlichtes Manuskript, Bern 2007 Ergänzend seien folgende Quellen genannt: • Durchführung von über hundert Potenzialanalysen an Testpersonen durch den Autor; dabei konnten vielfältige Eindrücke und Erfahrungen zur Stimmigkeit des Instrumentes und zu den Einsatzmöglichkeiten gesammelt werden. • Beobachtende Teilnahmen bei Einsätzen des Instrumentes durch ausgebildete Trainer. • Teilnahme am Ausbildungsseminar von IMDE zum qualifizierten PEP-Anwender, August 2003 in Bern, Schweiz und weitere Informations- und Trainingsveranstaltungen Sowohl die schriftlichen Quellen als auch sämtliche Eindrücke des Autors deuten darauf hin, dass PEP mit großer Ernsthaftigkeit und äußerster Sorgfalt allein auf der Grundlage rationaler, nachvollziehbarer Überlegungen entwickelt und weiter ausgebaut wird. Besonderen Wert legen die Autoren dabei auf eine konstruktive Einbeziehung der Anwender zur ständigen Verbesserung des Produktes, was seit Beginn anfang der 90er Jahre im Ergebnis dazu geführt hat, dass PEP zum "Best of Class" bei den anforderungsorientierten Potenzialanalyse-Instrumenten wurde oder wahrscheinlich besser gesagt, wegen seiner Qualität und Multifunktionalität eine neue Generation von Tests einleitet. Um sicher zu stellen, dass der hohe Qualitätsstandard des Produktes durch die Anwender realisiert wird, bietet IMDE neben einer fundierten Aus- und Weiterbildung zu PEP (inkl. Auswahl- und Fördergespräche mit den Probanden) auch einen Support, der den technischen Bereich umfasst, sowie ein "Distanz-Coaching" zur Klärung von offen gebliebenen Fragen oder Besonderheiten beim Anwender. Dadurch wird eine weltweite, jederzeitige und aktuelle Hilfestellung im Rahmen des Beraternetzwerkes ermöglicht. Durch das konstruktive Miteinander während der Ausbildung erzeugen die IMDE-Referenten eine deutliche Win-Win-Einstellung der Teilnehmer untereinander. Andere (Vertriebs-) Partner werden nicht als Konkurrenz angesehen, sondern als mögliche Ergänzung des eigenen Beratungsangebotes. Auch nach den Seminaren bestehen umfangreiche Kontakte untereinander. Damit kann jederzeit auf ein umfangreiches Beraternetzwerk zurück gegriffen werden. Die hervorragenden Ergebnisse, die mit dem Einsatz von PEP erzielt werden können, beruhen sicherlich nicht zuletzt auf diesen psychologischen Einflüssen in Kombination mit dem ausgefeilten Qualitätsmanagement und den ständigen Revisionen und Weiterentwicklungen des Instrumentes. 4. Beurteilung von PEP: Die oben angeführten Argumente und Erläuterungen ergeben sicherlich wichtige Hinweise zur Tauglichkeit von PEP, die auch durch die tägliche Arbeit des Autors mit Einzelpersonen und bei Unternehmen untermauert werden. Allerdings wird dadurch der Nachweis eines stimmigen theoretischen Konzeptes sowie der statistischen Untermauerung nicht ersetzt. Die Autoren von PEP haben im oben angeführten Bericht bereits alle wichtigen Eigenschaften ihres Erhebungsverfahrens dokumentiert, so dass eine auf statistischen Angaben beruhende, objektive Beurteilung vorgenommen werden kann. Die Autoren stellen im Bericht zunächst ihr theoretisches Grundgerüst dar, das allerdings keine Persönlichkeitstheorie ist, sondern ein praxisorientierter, auf die Anforderungen ausgerichteter Ansatz der auf Modeling und Benchmarks beruht, wobei eine Theorie über Bedürfnisse, deren Befriedigung und des Umgangs mit Frustration teilweise zur Zuordnung der kritischen Ereignisse zu Itemgruppen verwendet wurde. Aus einer Vielzahl von Quellen haben die Autoren erfolgsrelevante Ereignisse (Critical Incidents) für grundsätzliche Aufgabenbereiche für Management, Verkauf, Sachbearbeitung (wobei diese noch weiter untergliedert wurden) zusammengetragen. Diese wurden zu Aussagen formuliert (insgesamt ca. 1500 Items) und werden den Probanden mit einer vierstufigen Skala (++ stimme voll zu, + stimme weitgehend zu, - stimme eher nicht zu, -- stimme gar nicht zu) vorgelegt. In den Fragekatalogen läuft eine Kontrollskala mit, aus welcher das Ausmaß der realitätsnahen Beantwortung der Fragen erschlossen werden kann. Auf diese wird noch unter dem Punkt "Reliabilität" näher eingegangen. Nach Beantwortung der Items errechnet PEP die Ergebnisse, welche in Beziehung zu nachgewiesenermaßen besonders effektiven Personen der jeweiligen Funktionsgruppe (z.B. Management mittlere und untere Ebene) gesetzt und in Profilen dargestellt werden. Durch Gewichtung und Festlegen der gewünschten Ausprägung können die PEP-Profile anforderungsbezogen oder unternehmensspezifisch angepasst werden. Somit ist es einerseits möglich, PEP den jeweiligen Anforderungen verschiedener Funktionen anzupassen, z. B. den im Unternehmen bereits vorhandenen Stellenprofilen, andererseits ist jedoch durch die starke Standardisierung im Vorgehen (Standardtexte leiten den Probanden durch das Programm) eine hohe Durchführungsobjektivität gewährleistet, da eine Versuchsleitervarianz ausgeschlossen werden kann. Hinweise zur Akzeptanz des Verfahrens durch die Probanden liefert eine Umfrage mit über 1000 Probanden, aus der deutlich wird, dass die gestellten Fragen durchweg gut verstanden werden. Auch in Hinsicht auf die Auswertungsobjektivität kann von einer großen Unbefangenheit ausgegangen werden, da die Verarbeitung der Daten elektronisch erfolgt und damit die Fehlervarianz auf ein absolutes Minimum reduziert wird. Zur korrekten Auswertung und treffenden Interpretation der Ergebnisse werden den Anwendern die bereits oben erwähnten mehrtätigen Seminare angeboten, in der u. a. die Interpretation verschiedener Ergebnisse selbständig geübt wird, wobei die Ausbilder - sofern erforderlich - Hilfestellungen und Korrekturen vornehmen. Aufgrund dieser intensiven Ausbildung und des oben angesprochenen Support werden im Hinblick auf die Interpretationsobjektivität die bestmöglichen Voraussetzungen geboten. Hinzu kommt, dass PEP zahlreiche Gesprächsanregungen erhält, die beispielsweise als Interviewleitfaden im Gespräch verwendet werden können. Die Autoren haben der Revision von PEP eine ausführliche Itemanalyse zugrunde gelegt, die es ermöglichte, Items aufgrund verschiedener Indikatoren zu untersuchen. Diese Analysen wurden dazu genutzt, das Verfahren auf zuverlässige Items im teststatistischen Sinne zu reduzieren. Auch bei einer vom Kunden gewünschten Anpassung der Anforderungen können die Items für zusätzliche Anforderungen nach statistischen Kriterien zugewiesen werden. PEP wurde auch aus faktorenanalytischer Sicht untersucht, wobei diese Analyse unter Verwendung von Itemgruppierungen vollzogen wurde. Dabei zeigt sich eine Faktorenstruktur, die je nach verwendetem Kriterium von 3 - 4 bis hin zu 8 Faktoren beinhaltet. Aufgrund eines relativ hohen Varianzanteils der einzelnen Dimensionen und auch anforderungsbezogenen, inhaltlichen Überlegungen erscheint die gewählte Faktoren-Lösung angebracht. Aufgrund des praxisorientierten, berufs- und anforderungsbezogenen Ansatzes entstehen zum Teil beträchtliche Interkorrelationen, die in der Faktorenanalyse dazu führen, dass die einzelnen Dimensionen sich überschneiden. Dies lässt sich inhaltlich so rechtfertigen, dass Aussagen in Hinsicht auf eine breites Spektrum an trainierbaren Merkmalen gemacht werden sollen. Dieser Sachverhalt wird in der Interpretation der Ergebnisse entsprechend berücksichtigt. Weiterhin ist zu erwähnen, dass die Anwender selbst eine anforderungsgerechte Gewichtung von Dimensionen vornehmen können (s. auch Erläuterungen oben). Nach einer Prüfung der Verteilungsmerkmale der Antworten für die einzelnen Items wurde eine Normierung der Ergebnisse vorgenommen, um eine der Realität besser angepasste Beurteilung der gemachten Angaben zu ermöglichen. Im Rahmen der vom Autor betreuten, oben zitierten Diplomarbeit wurde PEP nach folgenden Qualitätsstandards analysiert: • Validität, verstanden als Grad der Genauigkeit, mit dem ein Test dasjenige erfasst, das gemessen oder vorhergesagt werden soll. • Reliabilität, die angibt, in welchem Maße unter den gleichen Bedingungen gewonnene Messwerte über dieselbe Testperson übereinstimmen. • Objektivität, verstanden als Grad, mit dem die Ergebnisse eines Tests unabhängig vom Untersucher sind. Hierbei wird unterschieden nach Durchführungs-, Auswertungs- und Interpretationsobjektivität. • Soziale Validität, die verschiedenen Aspekte zusammenfasst, welche die eignungsdiagnostische Situation zu einer akzeptablen sozialen Situation für den Probanden macht, damit die Potenzialanalyse erfolgreich eingesetzt werden kann. • Praktikabilität verstanden als Anwenderfreundlichkeit • Wirtschaftlichkeit, wobei hier aus theoretischer Sicht zu diskutieren wäre, ob Nutzenaspekte der Anwendbarkeit, z. B. im Rahmen von Personalentscheidungen mit einzubeziehen wären. Dies sollte aus Sicht des Autors unbedingt geschehen, um das Instrument einem umfassenden Controlling zugänglich zu machen. Das daraus resultierende Preis-/Leistungsverhältnis ist ein wichtiger Faktor für den Erfolg auf dem Markt. Hinsichtlich der Validität gibt es etliche Untersuchungen, welche die Gültigkeit von PEP hinreichend nachweisen. Diese zeigen, dass es ausgesprochen hohe Zusammenhänge des PEP Gesamtwertes (!) mit Merkmalen von beruflichem Erfolg gibt. Die teilweise unglaublich hohen Werte (PEP Management mit Rangreihung durch Vorgesetzte 0.75, N = 104; PEP Verkauf mit Produktionsrate 0.69, N = 308) konnten durch die Diplomarbeit nicht nur bestätigt, sondern sogar noch übertroffen werden (PEP Management r = 1; N = 6; PEP Verkauf r = 0,879; N = 10). Weitere Vergleiche, die in der Diplomarbeit vorgenommen wurden, zeigten ebenfalls erstaunlich hohe Übereinstimmungswerte. So wurden die Testergebnisse von PEP zum Beispiel abgeglichen mit den vorangegangenen Vorgesetztenbeurteilungen, mit den gezahlten Gehältern, mit den von den Mitarbeitern erbrachten Umsatzergebnissen im Verkauf (0.818, N =10), etc. Ohne im Rahmen dieses Berichtes hierauf näher eingehen zu können, kann gesagt werden, dass bei jedem Messkriterium die hohe Qualität des Instrumentes deutlich wurde. Weitere Diplomarbeiten zu dieser Thematik, u. a. zum Vergleich mit Assessment-Centern, die vom Autor vergeben wurden, ergaben hier weitere interessante Ergebnisse und sprechen durchweg für eine zunehmende Überlegenheit von PEP als Instrument zur Personalauswahl, -beurteilung und -entwicklung. Die Forschungen zu diesen Fragestellungen werden permanent fortgesetzt. So werden zurzeit die Ergebnisse einer Langzeitstudie mit Spannung erwartet, die den Einsatz von PEP in einem größeren mittelständischen Unternehmen begleitet. Dabei geht es um die Frage, inwieweit PEP geeignet ist als Grundlage für Organisations- und Personalentwicklungsmaßnahmen und ob die Veränderungen bei den Probanden langfristig messbar sind. Die Reliabilität, also die Zuverlässigkeit der Messung, wurde von den Autoren von PEP anhand der Halbierungs-Konsistenzkoeffizient (0.92, N = 1210) und Retest-Methode (0.958 gleiche Items, N=33 Wiederholung nach durchschnittlich 18 Monaten) vorgenommen und auch die daraus abgeleiteten Ergebnisse zeigen, dass die Messmethode zuverlässig ist. Weitere Tests im Rahmen einer Überarbeitung aus dem Jahre 2007 haben den hohen Reliabilitätswert weiter bestätigt. So zeigte die Kontrollskala "Realitätsferne" unterschiedliche Werte in drei verschiedenen Kulturkreisen. Daraufhin konnte nachgewiesen werden, dass die Probanten, die versuchten, die Testergebnisse zu manipulieren, nicht, wie von ihnen erhofft, bessere Ergebnisse erzielten, sondern signifikant schlechtere. Damit konnte, statistisch erhärtet, bewiesen werden, dass der Versuch, PEP manipulieren zu wollen, kontraproduktiv ist. Angesichts der Anforderungen einer modernen Führungsphilosophie, die Vertrauen und Ehrlichkeit zur Grundlage aller Beziehungen hat, kann dieses Ergebnis nur begrüßt werden. Insgesamt kann damit gesagt werden, dass PEP in hohem Maße täuschungsresistent ist. Die Probanden, die trotz der Aufforderungen, ehrlich und realitätsnah zu antworten, versuchen den Test zu täuschen, werden signifikant schlechter bewertet als die ehrlichen. Zur Objektivität wurde bereits oben Einiges gesagt. Diese Aussagen konnten durch weitere Untersuchungen bestätigt werden. Die hohe soziale Validität ist ein besonders positives Merkmal von PEP. Dadurch, dass der Proband am Computer die Testsituation und den -zeitpunkt selbst wählen kann, hat das Instrument erhebliche Vorteile gegenüber etlichen anderen Tests und insbesondere auch Assessment-Center. Da der Proband einen Zeitpunkt wählen kann, an dem er sich physisch und psychisch besonders wohl fühlt, werden fehlerhafte oder ungenaue Ergebnisse, die aus der "Tagesform" resultieren könnten, weitgehend ausgeschlossen. Durch eine Probandenumfrage parallel zu allen Teststufen konnte nachgewiesen werden, dass im Laufe des Prozesses die zu Beginn vorhandenen Zweifel an der Gültigkeit der Ergebnisse oder an der Zuverlässigkeit des Tests etc. völlig abgebaut werden konnten. Aufgrund der Anwenderfreundlichkeit und der Klarheit des weiteren Prozesses kann von einer hohen Praktikabilität gesprochen werden. Die Fragekataloge sind auf Internet in zahlreichen Sprachen verfägbar. Der Marktpreis des Instrumentes erscheint im Vergleich zu anderen Test auf den ersten Blick verhältnismäßig hoch. Sobald der Einsatz des Instrumentes jedoch in einen personalpolitischen Gesamtzusammenhang gestellt wird, relativiert sich das Preis-/Nutzenverhältnis deutlich und stellt sich sogar als günstig dar, weil kostenintensive Fehlentscheidungen reduziert und die Gelder für die Aus- und Weiterbildung effektiver eingesetzt werden können. Auf einige weitere Verwendungsmöglichkeiten von PEP, die der Beratungspraxis des Autors entstammen, soll weiter unten unter Wirtschaftlichkeitsgesichtspunkten eingegangen werden. 5. Verwendungsmöglichkeiten: Im Rahmen von Karriere-Beratung für Einzelpersonen hat sich PEP als sehr hilfreich erwiesen. Auf einer objektiven Basis, die dem Probanden oftmals neue Einsichten bezüglich eigener Fähigkeiten und der geforderten Anforderungen erschließt, ist eine Neuorientierung oder ein beruflicher Aufstieg sinnvoll planbar. Dasselbe gilt für die Entwicklung unternehmensinterner Entwicklungsstrategien für förderungswürdige Mitarbeiter. Die Bildung von Teams, z. B. im Bereich des Verkaufs, oder die Installation einer zweiten Führungsebene, die Gründung eines Pools für High-Potencials, die Personalauswahl bei mehreren Kandidaten usw. ist auf der Basis einer fundierten Potenzialanalyse effektiv möglich. Unter diesem Gesichtspunkt relativiert sich auch der Gesichtspunkt der Wirtschaftlichkeit, wenn man bedenkt, was bereits die Fehlbesetzung einer einzigen wichtigen Position das Unternehmen kostet. Insofern kann PEP als hervorragende "Versicherung" gegen falsche Personalentscheidungen angesehen werden. Besonders zu erwähnen ist der Nutzen von PEP im Rahmen des strategischen Personalmanagements des Unternehmens. So konnte aufgrund der vorliegenden Daten ein Personalportfolio für wichtige Teilbereiche des Unternehmens erstellt werden, das die Grundlage bildete für strategische Neuausrichtungen von Teilbereichen des Unternehmens. Damit konnte PEP als wichtiger Bestandteil für eine Stärken-Schwächen-Analyse des Unternehmens eingesetzt werden, die im Rahmen der SWOT-Analyse wichtige Impulse für eine strategische Neuausrichtung des Unternehmens gegeben hat. Auch dieser Aspekt war ein wichtiger Punkt in der praxisnahen Forschung. Diese Gedanken, die hier nur angerissen werden konnten, bedürfen einer weiteren Vertiefung in der Zukunft und weiterer wissenschaftlicher Untersuchungen, die bereits eingeleitet wurden. 6. Abschließende Würdigung: Die vorgelegten Literaturquellen dokumentieren PEP in einer sehr aufwendigen und sachgemäß durchgeführten Weise, dass eine testtheoretische Untermauerung klar gemacht werden konnte. Damit wird die Grundlage geliefert zu einer kritischen Auseinandersetzung mit dem Instrument, die dem Kriterium der Transparenz in der Diagnostik erfolgsrelevanter Merkmale im beruflichen Kontext gerecht wird. Die vorliegenden Validitätsdaten zeigen, dass PEP aus teststatistischer Hinsicht auf einer soliden Basis aufbaut. Die von den Autoren vorgelegten Daten konnten durch eigenen Untersuchungen und Messungen eindrucksvoll bestätigt werden. Auch bei allen weiteren Messkriterien schneidet PEP überdurchschnittlich gut ab. Damit kann gesagt werden, dass PEP ein geeignetes Instrument zu Selbst- und Fremdbeurteilung von Führungskräften, Verkäufern und Sachbearbeitern ist. Um PEP noch besser mit anderen Potenzialanalyse-Instrumenten vergleichen zu können, ist eine wissenschaftliche Untersuchung zum Vergleich unterschiedlicher am Markt erhältlicher Instrumente anzustreben. Nach Kenntnis des Autors dieses Berichtes wurden allerdings erst der NEOFFI und ein anderer Test mit PEP verglichen. Insgesamt läst sich damit sagen, dass es bei PEP um ein in der Praxis äußerst hilfreiches Instrument handelt, das sich auf ein klares, wissenschaftlich vertretbares, statistisch gemessenes Fundament stützt. Es ist damit ein Mittel, um personalpolitische und -strategische Fragestellungen der Auswahl, Entwicklung, Freisetzung von Personal in Hinsicht auf anforderungsbezogene und erfolgsrelevante Merkmale zu bearbeiten und zu beurteilen. Für die Zukunft der Personalarbeit werden solche Instrumente unerlässlich sein und andere, welche nicht über solche Qualitäten und Nutzen verfügen ablösen. Es ist festzustellen, dass sie in der Praxis zunehmend an Akzeptanz gewinnen und frühere Vorbehalte inzwischen weitgehend abgebaut werden konnten.                               Freiburg, 07. August 2007       (Prof. Dr. Hans Peter Kempkes) Studie zur Reliabilität mit 36 Testwiederholungen ohne Ergebnisrückmeldung MiniPEP hat 90 (Sachbearbeitung) bis 120 Items (Management). Validität ~0.75 von PEP mit ca. 50% der Items. Reliabilität von MiniPEP bei 36 Kandidaten bei Test 1 und Test 2. Annahme, . . . 33%, d.h. die 12 Kandidaten mit den höchsten Potential werden zur weiteren Abklärung eingeladen. Resultate: Unter die ersten 12 gelangen sowohl in Test 1 und Test 2 9 Kandidaten. 3 erreichen die letzten 12 in Test 1: Realitätsferne: 60, 90, 50 3 erreichen die letzten 12 in Test 2: Realitätsferne: 50, 60, 50 Das bedeutet: 9 von 12 Teilnehmer sind sowohl beim ersten wie beim zweiten Test im obersten Drittel. MiniPEP ist damit bei der Vorauswahl ausreichend zuverlässig, um sagen zu können, wenn man zuerst zum Gespräch einladen soll, wen danach und wenn nicht.