Validita výberových metód

Výberový proces môže mať viacero podôb. Vo väčšine prípadov nechýba klasické interview, často je však výberové konanie obohatené aj o iné, viac či menej známe prvky. Môžeme sa stretnúť s posudzovaním IQ, assessment centrami, testami vedomostí súvisiacich s náplňou práce, hodnotením záujmov či písma uchádzačov, kladením zapeklitých otázok, na ktoré neexistuje jednoznačne správna odpoveď….

Ktoré z týchto metód sú pri predpovedaní úspešnosti uchádzača lepšie ako ostatné? Kto je pravidelným čitateľom nášho občasníku určite vie, že prvenstvo si odnášajú práve IQ testy. Čo však zvyšok? Je možné, že niektoré pokusy lepšie odhaliť kompetenciu kandidáta majú rovnakú výpovednú hodnotu, ako hodenie si mincou?

Na to všetko sa rozhodla pozrieť trojica Frankl. Schmidt, In-Sue Oh a Jonathan Shaffer, ktorí urobili veľký prehľad validity jednotlivých výberových metód:

Metóda (prediktor pracovného výkonu) Koeficient validity (r) Spoločná validita, ak sa metóda použije s najlepšou (teda s testami rozumových schopností) Prírastok validity pri spoločnom použití s testami rozumových schopností
Testy rozumových schopností .65 x x
Testy integrity .46 .78 .130
Štruktúrované interview .58 .76 .117
Neštruktúrované interview .58 .73 .087
Záujmy .31 .71 .062
Štruktúrované telefonické interview .46 .70 .057
Svedomitosť .22 .70 .053
Referencie .36 .70 .050
Otvorenosť voči skúsenosti .04 .69 .039
Biografické údaje .35 .68 .038
Pracovná skúsenosť (roky) .16 .68 .032
Emocionálna inteligencia črtová .32 .68 .029
Zhoda človek – organizácia .13 .67 .024
Testy situačného usudzovania zamerané na vedomosti .26 .66 .016
Zhoda človek – práca .18 .66 .014
Assessment centrá .36 .66 .013
Hodnotenie predchádzajúcej skúsenosti a tréningov .11 .66 .009
Prospech (priemer) .34 .66 .009
Počet rokov vzdelania .10 .65 .008
Extroverzia .09 .65 .006
Hodnotenie kolegami .49 .65 .006
Emocionálna inteligencia schopnostná .23 .65 .004
Prívetivosť .08 .65 .002
Testy vzoriek pracovného výkonu .33 .65 .002
Testy situačného usudzovania zamerané na tendencie v správaní .26 .65 .001
Emocionálna stabilita .12 .65 .000
Grafológia .02 .65 .000
Metóda vyskúšania si práce .44 .65 .000
Metóda konzistencie správania .45 .65 .000
Testy pracovných vedomostí .45 .65 .000
Vek .00 .65 .000

Ako lepšie porozumieť čo tabuľka hovorí?

Podstatné sú tri stĺpce s číselnými hodnotami:

Koeficient validity (r): v tomto stĺpci sa dozviete, ako na tom sú metódy so svojou účinnosťou, ak by boli použité samostatne. Hodnota v stĺpci vlastne znamená, nakoľko správne daná metóda predpovedala budúci pracovný výkon uchádzačov. Ideálna validita by bola = 1, vtedy by predpoveď bola absolútne presná, avšak ideálne metódy pochopiteľne neexistujú, takže výsledky sa pohybujú v intervale 0 (absolútne neužitočná predpoveď pracovného výkonu) po 0.65 (veľmi solídna predpoveď).  Z výsledkov vyplýva, že najlepšie predpovedajú testy rozumových schopností, naopak, napríklad grafológia nie je schopná predpovedať takmer nič…

Spoločná validita, ak sa metóda použije s najlepšou (teda s testami rozumových schopností)– tento stĺpec odpovedá na veľmi praktickú otázku: Ak viem, ktorá metóda samostatne predpovedá najlepšie, akú druhú metódu mám zvoliť, aby som svoju predpoveď čo najvýraznejšie vylepšil? Aká kombinácia je najvýhodnejšia? Práve podľa neho sú výsledky zoradené a vy tak môžete veľmi jednoducho zistiť, ako veľmi či málo sa vám oplatí pridať danú metódu k IQ testu do batérie výberových metód. Odpoveďou totiž nie je jednoduchý súčet dvoch validít (pre tých, ktorých to zaujíma: je to kvôli tomu, že dve rôzne metódy môžu postihovať takmer totožné predpoklady), ale tzv. inkrementálna validita, hovoriaca práve o miere vylepšenia predpovede. Tú potom v čistej podobe zachytáva tretí stĺpec.

Prírastok validity pri spoločnom použití s testami rozumových schopností. Pridať k testu rozumových schopností ešte  testy pracovných vedomostí nám predpoveď budúceho pracovného výkonu nevylepší vôbec,napriek tomu, že tieto samy o sebe predpovedajú vcelku solídne (pravdepodobne kvôli tomu,  že miera rozumových schopností silne súvisí s mierou pracovných vedomostí, inými slovami, že inteligentní ľudia vedia o svojej práci viac). Naopak, úspešnosť predpovede vylepšíme o 0.13 ak k testom rozumových schopností pridáme testy integrity (= čestnosť a osobná bezproblémovosť).  Tretí číselný stĺpec teda hovorí o tom, nakoľko stúpne kvalita našej predpovede, druhý nás informuje o tom, na akú úroveň sa dostaneme (dospeje sa k tomu súčtom hodnoty v treťom stĺpcia koeficientu validity pre testy rozumových schopností = .65.)

Po tomto nevyhnutnom metodologickom objasnení sa s vami ešte chceme podeliť o pár postrehov k vybraným metódam:

Testy rozumových schopností – prvé miesto medzi samostatnými prediktormi pracovného výkonu si udržiavajú konzistentne a dlhodobo,koeficient validity od predchádzajúcej metaštúdie ešte narástol. Jednoduchý a mnohokrát zavrhovaný IQ test nám toho o budúcej pracovnej úspešnosti uchádzača prezradí jednoznačne najviac, bez ohľadu na to, čo vraví marketing, šarlatáni alebo manažéri spoliehajúci sa na to, že od dverí na uchádzačovi spoznajú, či sa do firmy hodí, alebo nie. Toto zistenie je mnohonásobne podložené tisíckami štúdií (neporovnateľne viac než v prípade ktorejkoľvek inej metódy), preverené vyše 100 rokmi výskumu a miliónmi skúmaných jedincov. Platí taktiež zákonitosť, že čím je vyššia komplexnosť práce (čím náročnejšie samostatne prijímané rozhodnutia zamestnanca), tým je aj predpovedná sila testov rozumových schopností vyššia. Ak uvážime, že do publikovaného výsledku sú zarátané aj menej komplexné pracovné činnosti (napríklad jednoduché výrobné), stáva sa nevyužívanie testov rozumových schopností  či ignorovanie ich výsledkov v rámci výberu ťažkým profesionálnym hriechom ohrozujúcim produktivitu organizácií a stojacim ich nemalé peniaze.

Interview – kým štruktúrované potvrdilo svoju reputáciu druhej najúčinnejšej samostatne použiteľnej metódy a jedného z najlepších možných doplnení testov rozumových schopností, výsledok pre neštruktúrované interview je podstatne lepší než sa očakávalo, aj podstatne lepší než bola jeho naposledy uvádzaná validita. Ak by sa tento výsledok potvrdil, znamenalo by to, že nezáväzné porozprávanie sa bez plánu a osnovy je takmer rovnako efektívne ako kontrolovaný proces s otázkami zameranými na minulé pracovné správanie alebo zvládanie hypotetických situácií na pracovisku. Vítame tento výsledok ako nádejný, avšak keď sme si pozreli, že autori ho odôvodňujú najmä vylepšenou štatistikou, zachovávame si voči nemu zdravú skepsu a budeme naďalej uprednostňovať štruktúrovaný rozhovor- minimálne jeho„prídavok k testu rozumových schopností je väčší. O tom, že telekomunikačná technika zatiaľ nie je schopná prenášať úplne všetko svedčí (o niečo) horší výsledok pre štruktúrované telefonické interview, stále je to však v kombinácii s IQ testom životaschopná metóda.

Záujmy – v tejto hitparáde sú jednoznačne skokanom roka. Oproti predchádzajúcim udávaným koeficientom validity (len okolo .10) sa ich predpovedná sila niekoľkonásobne zväčšila. Je možné, že bude potrebné znovu oprášiť RIASEC (psychológovia poznajú, pre ostatných: ide o typológiu šiestich hlavných okruhov záujmov), ak sa na to odhodláte, vedzte, že by ste mali dávať do súvislosti každý typ práce len s jedným prislúchajúcim typom záujmov (napríklad mechanický typ práce s realistickými záujmami). Bude však potrebné znovu preskúmať a asi aj redefinovať, ktorému typu záujmov jednotlivé typy práce prislúchajú, čo môže byť pri niektorých moderných povolaniach celkom náročné.

Emocionálna inteligencia črtová a schopnostná – napriek masívnej podpore reklamou, tento moderný koncept príliš nepresvedčil. Sám o sebe v jednom i druhom prípade síce niečo predpovedá, výsledok sa však v porovnaní s inými metódami dá označiť maximálne ako slabší priemer. Rozhodne to nie je najdôležitejšia vec v živote, zodpovedná za 80% životného úspechu, ako kedysi napísal nekriticky nadšený Goleman. Naopak, EI ani náhodou nedorastá svojho staršieho brata, „bežnú“ inteligenciu a k jeho predpovediam dokáže pridať len zanedbateľné hodnoty, ktoré sú zreteľne nižšie než pridáva napríklad Svedomitosť. Takže na svojom názore,že EI je v podstate zbytočný „mačkopes“ v ktorom sú zmiešané veci,ktoré dokážeme lepšie zmerať samostatne, budeme asi sotva čokoľvek v dohľadnej budúcnosti meniť…

Assessment centrá – Málo muziky za veľa peňazí. AC-čka povestné svojou finančnou, časovou a organizačnou náročnosťou vylepšujú predpoveď len o zanedbateľné 1-2%. Zaujímavý je najmä fakt, že v mnohých AC/DC sú obsiahnuté aj testy rozumových schopností a rozhovory, ktoré sa podľa výsledkov štúdie javia ako prínosné metódy. Ako je teda možné, že AC majú nižšiu validitu? Je teoreticky možné, že zvyšné časti AC (hranie rolí, simulované pracovné úlohy a pod) v skutočnosti môžu pôsobiť kontraproduktívne, prípadne skresliť dojem a spôsobiť uprednostňovanie nevyhovujúcich uchádzačov? Domnievame sa že áno, a to napríklad v dôsledku pocitu „falošnej istoty“, ktorý pramení z toho, že sme uchádzačov pozorovali v dôveryhodne pôsobiacich, „skoro pracovných“ situáciách…

Emocionálna stabilita – na záver zoznamu dobrá správa pre citlivejších! Nervozita ovplyvňuje pracovný výkon o niečo menej, než sa predpokladalo v minulosti. Ak udržíte svoju trému pod kontrolou natoľko, že vám nepokazí výsledok testu rozumových schopností, mali by ste byť úspešní aj v práci. Vaša odolnosť voči stresu bude síce stále o niečo menšia, ale v drvivej väčšine súčasných povolaní sa rozdiel medzi vami a menej citovo založenými kolegami vôbec nemusí dať postrehnúť a pracovná úspešnosť sa bude odvíjať viac od vašich schopností než nálad. Subjektívne k tomu dodávame, že nie citlivosť, ale naopak chýbanie emócií je tým momentom, kedy by sme v rámci výberu mali spozornieť  – neželané psychopatické prejavy sa totiž spájajú práve s týmto pólom, rovnako ako aj chladná manipulatívnosť…

Na záver pár slov o zmysle tohto všetkého. Koeficienty v tabuľke určite nie sú nemennou pravdou tesanou do kameňa. Naopak, za desaťročia sa vo viacerých ohľadoch zmenili a určite sa budú meniť aj naďalej. Ak si k tomu prirátame variabilitu súčasného sveta práce je zrejmé, že asi nie je možné sa ich otrocky pridržiavať, bez snahy o ich overovanie v čo najrozličnejších prostrediach či bez snahy o vývoj nových typov metód. Na druhej strane, dané hodnoty tu a teraz vytvárajú najvyšší stupeň poznania vedy o výbere zamestnancov, ktorý by sme mali v praxi odovzdávať svojim zákazníkom, až kým sa neobjavia dôkazy o tom, že je niečo inak.. Práve to vytvára benchmark profesionality, rozlišujúci odborný výber od neodborného, na vede založenú pomoc organizácii schopnú jej prospieť ľudsky aj ekonomicky od púšťania jej žilou.

Na záver ešte pripájame dve užitočné tabuľky:

Do tejto skupiny patria okrem vyššie uvedených aj projektívne testy vrátane tých, ktoré sú založené na obľúbených kresbách či výbere farieb, rovnako ale aj celý rad pokútnych osobnostných dotazníkov merajúcich často nezmyselné veci, akokoľvek zvučne znie meno ich vydavateľov, či metód skrývajúcich svoju podstatu za know-how či obchodné tajomstvo. Nikto, kto nenechá svoju metódu posúdiť odborným kolegom z rôznych hľadísk si nemôže nárokovať jej vedeckosť.

Niektoré z vyššie uvedených metód sa síce javia ako celkovo neúčinné, ale v špecifických prípadoch význam mať môžu. Ak hľadáme ľudí s kreatívnym potenciálom, zmerať Otvorenosť voči skúsenosti je na mieste… využitie Grafológie si však vieme predstaviť naozaj veľmi ťažko… azda pre kaligrafické činnosti či učiteľov krasopisu? 🙂

Pochopiteľne,aj v tomto prípade môžu mať niektoré z neuvedených (a teda „neužitočných“) metód svoj význam pri špecifických pozíciách, dôležité však je vedieť, prečo ich chcete využiť a čo nimi chcete zachytiť.