Vzdelávanie a hodnotenie sú dôležité aspekty ľudského rozvoja a spoločenského pokroku. V dnešnej dobe, keď sa technológia rýchlo mení a ovplyvňuje všetky oblasti života, je potrebné prispôsobiť sa novým výzvam a príležitostiam, ktoré prináša digitálny svet. Ako sa vzdelávať a hodnotiť efektívne, spravodlivo a bezpečne v online prostredí? Ako využiť inovácie a transformáciu, ktoré ponúka digitálna doba? Ako zabezpečiť diverzitu a inklúziu všetkých zúčastnených v procese vzdelávania a hodnotenia? A ako spolupracovať a vytvárať partnerstvá medzi rôznymi zainteresovanými stranami v oblasti vzdelávania a hodnotenia?
Týmto a ďalším otázkam sa venovala E-ATP konferencia, ktorá sa konala od 27. do 29. septembra 2023. Konferencia bola určená pre všetkých, ktorí sa zaoberajú vzdelávaním, testovaním a hodnotením v digitálnej dobe, ako sú učitelia, študenti, výskumníci, manažéri, politici, dodávatelia a ďalší, predovšetkým na nej však boli zúčastnení vydavatelia testov a odberatelia ich služieb. Keďže ma problematika dlhodobo zaujíma a som v tejto oblasti profesionálne aktívny, zaskočil som aj ja…
Association of Test Publishers (ATP) je medzinárodné združenie (inak tvrdo si konkurujúcich) vydavateľských spoločností, ktoré na jednej strane obhajuje spoločné záujmy voči iným entitám, súčasne ale robí aj obrovský kus práce v rozvoji branže ako takej, nastavovaní pravidiel pre svojich členov, tak aby pôsobili v súlade s princípmi rovnosti, integrity a neustáleho odborného vzdelávania sa. Členovia sa pred vstupom museli zaviazať, že budú svoje podnikanie rozvíjať v súlade s vedeckými a etickými princípmi a združenie im v tom poskytuje podporu radami a metodickými usmerneniami. Tieto sa týkajú často veľmi konkrétnych tém, akými je napríklad využívanie videa v testovaní, či narábania so súkromím pri vyhodnocovaní integrity uchádzačov o pracovné pozície. Výročná konferencia ATP je podujatie, ktoré sa zameriava na vzdelávanie, testovanie a hodnotenie v digitálnej dobe, preberajú sa aktuálne trendy a výzvy, či už sa to týka psychologického merania, vyučovania, odborných testov, alebo jazykov. Podujatie rotuje po jednotlivých kontinentoch a bolo šťastie, že tohto roku bola organizácia pridelená európskej časti združenia. Krásna jesenná Viedeň prilákala naozaj reprezentatívnu zostavu účastníkov a čo sa týka zastúpených firiem, dá sa konštatovať, že prítomnosť bola podľa hesla „everyone who is anyone“. Vydavatelia jazykových testov (British Council), aplikácií na učenie sa cudzích jazykov (Duolingo), vydavateľstvá orientované prednostne na psychologické testy (Hogan), ale aj na širokú škálu testov odborných znalostí, výkonových testov či osobnostných dotazníkov (Pearson VUE, PSI) – v neposlednom rade doplnení startupmi aj zavedenými firmami ponúkajúcimi špičkové technologické riešenia na zamedzenie podvádzania pri online administrácii testov alebo aplikácie v ktorých umelá inteligencia využíva virtuálnu realitu pri vyučovaní a overovaní kvality lekárskej diagnostiky.
Obsahu prednášok, sponzorských prezentácií aj diskusií dominovala umelá inteligencia a to nielen v príspevkoch, ktoré jej boli priamo venované, ale nedalo sa jej vyhnúť napríklad ani v témach týkajúcich sa rovnoprávnosti a odstraňovania znevýhodnenia či predsudkov pri testovaní, alebo využití testovania pri odhade potenciálu utečencov a ich schopnosti naučiť sa programovať. Aj my sa tejto téme v DV plánujeme venovať podrobnejšie, v tomto príspevku však heslovito uvádzame skôr všeobecnejšie informácie týkajúce sa testovania ako takého.
Jednou z hlavných tém rezonujúcou celou konferenciou bolo testovanie a rôzne spôsoby overovania vedomostí, zručností, vlastností, dispozícií a kompetencií ako prirodzená súčasť moderného sveta. Vo vyspelých krajinách je takmer nemysliteľné prijať niekoho na pozíciu s vyšším dosahom, či už manažérsku alebo špecialistu, bez toho že by sa jeho predpoklady overili (aj) testami. Testovanie rozhoduje o osudoch a životných dráhach nielen testovaných, ale aj tých, ktorí sa neskôr budú spoliehať na kompetentnosť ich práce či služieb. Nie je dokonalé, ale má svoje jasné výhody oproti všetkým ostatným spôsobom ako uvedené kvality odhadnúť. Postupne sa stalo vysoko sofistikovanou expertnou činnosťou, na ktorú si síce laicky trúfa kdekto, ale realizovať ju pri súčasnom splnení všetkých odborných požiadaviek dokáže len málokto. Otázka pre predvídavých: zveríte sa do rúk lekárovi, ktorého odbornosť overila AI posúdením toho, ako vyšetroval virtuálnych pacientov?
Testovanie v online prostredí
Pandémia urýchlila proces prechodu testovania do online prostredia, ktorý ale prebiehal už pred ňou. Klasické testovanie v osobnom kontakte formou ceruza – papier bolo nahradené neosobnými procedúrami, ktoré však často študenti či uchádzači môžu absolvovať tzv. asynchrónnym spôsobom, v čase alebo prostredí podľa vlastných preferencií. Reálnymi alebo predpokladanými prínosmi sú lepšia používateľská skúsenosť, celkovo vyšší počet ľudí, ktorí sú ochotní testovanie podstúpiť, v neposlednom rade aj vyššia objektivita výsledkov. Pôvodné formy testovania alebo overovania vedomostí síce stále existujú, ale využívajú sa skôr v prípade starších, menej vzdelaných či technostresu podliehajúcich ľudí, ktorí už ale začínajú byť menšinou aj v rozvojových krajinách. Trh práce postupne ovláda digitálna generácia a testovacie postupy túto skutočnosť využívajú, čiže podobne ako v lekárskych vedách sa čoraz viac presadzuje telemedicína, sú postupy „na diaľku“ postupne tými hlavnými aj v testovaní.
Dá sa zabrániť podvádzaniu?
Objektivita takto získaných výsledkov je však ruka v ruke spojená s kontrolou nad celým procesom, tak aby nikto nebol zvýhodnený (napríklad tým, že sa mu darí podvádzať) ani znevýhodnený (napríklad výpadkami v kvalite pripojenia). Podvádzaniu sa usiluje zamedziť tzv. proktorovanie, teda dohľad nad uchádzačom pri vypĺňaní testu, ktoré môžu vykonávať školení ľudskí pozorovatelia, ale aj technické prostriedky. V prípade technického proktorovania je obvyklé, že sa využíva kamera, mikrofón aj snímky pracovnej plochy testovaného človeka, pokročilejšie systémy dokážu detekovať aj či sa v blízkosti nachádzajú ďalšie (pravidlami nepovolené) zariadenia, na ktorých by testovaný človek mohol hľadať pomoc. Všetko toto je však inváziou do súkromia a z legitímnych legálnych dôvodov by to malo prebiehať podľa prísnych pravidiel. Vo väčšine prípadov sa na dobrý proktorovací softvér dá spoľahnúť, nie vo všetkom sa však podvádzanie odhaľovať darí bezo zvyšku. Dokáže generatívna AI napísať diplomovku tak, aby nikto nepostrehol, že ju nepísal študent? Ako vysokoškolského pedagóga ma zaujala informácia o overovaní účinnosti softvérov, ktoré sa snažia zistiť, či text písal človek, alebo umelá inteligencia. Popredná svetová univerzita skúmala mnohé takéto programy, úspešnosť žiadneho z nich neprekročila 80%, čo je dobrá správa pre tých čo plánujú odovzdať svoje bakalárske, diplomové a iné titulové práce v blízkej budúcnosti – a horšia pre tých čo sa neskôr budú na ich odbornosť spoliehať.
Proti znevýhodneniam
ATP sa veľmi aktívne hlási k rovnosti príležitostí pre všetkých a má snahu minimalizovať rôzne druhy znevýhodnení, ktoré by sa mohli prejavovať podľa veku, pohlavia, rasy, alebo postihovať ľudí bez prístupu k internetu, vzdelaniu, technológiám. Požiadavkou dňa je rovnosť príležitostí, inklúzia, podpora, spravodlivosť, maximum šancí pre každého z dobrými úmyslami – dokonalé to asi hneď nebude, ale snaha riešiť problém je evidentná. Väčšina testov bola v minulosti vytvorená dobre vzdelanými bielymi mužmi, je snaha postupne to meniť (aj za pomoci AI – hoci tá paradoxne ťaží z obsahu na internete, v ktorom je tiež prítomný celý rad predsudkov, tak ako ich tam ľudia preniesli). Rovnako je ale napríklad dôležité, aby online platformy testovania mali v sebe zabudované mechanizmy proti kolísavej kvalite pripojenia, aby neboli poškodení uchádzači, ktorí z ekonomických dôvodov nemajú k lepšiemu pripojeniu prístup (čo je problém nielen v Nigérii, ale ako vieme z vlastných skúseností aj v nejednom menšom sídle na Slovensku). S tým vcelku zaujímavo súvisí množstvo úloh, ktoré sú k dispozícii (ak niekomu zlyhá pripojenie, je možné mu ako náhradu dať inú, rovnako náročnú úlohu). Za samozrejmosť sa považuje, že všetko musí byť psychometricky podložené, validizované, a štandardizované na konkrétnych vzorkách.
Big data
Dramatický nárast výpočtovej kapacity a rozvoj strojového učenia či neurónových sietí umožňujú extrahovať a spracúvať údaje, ktoré sa nám v minulosti zdali ako príliš zložité na spracovanie. Môže sa to týkať toho, čo človek za sebou zanecháva v digitálnom priestore, ale aj biologických či behaviorálnych premenných, ktoré sa dajú získať z nositeľných smart zariadení. V neposlednom rade sem patrí napríklad psycholingvistika a na jej princípoch založený odhad schopností a osobnostných čŕt podľa toho čo človek vypovie alebo napíše, podobne začínajú byť v reálnom čase analyzovateľné aj neverbálne obsahy ako je výraz tváre, paralingvistické vlastnosti ľudského hlasu, alebo mimovoľne vydávané zvuky pri hovorení. Vo všetkom uvedenom sa skrýva obrovský potenciál a je veľmi pravdepodobné, že týmto smerom bude diagnostika ďalej napredovať, možnosti predikovať takto pracovne relevantné ale napríklad aj medicínske alebo klinicko psychologické dôsledky sú mimoriadne nádejné. Pochopiteľne, všetko uvedené je veľkou inváziou do súkromia testovaných a „meraných“ osôb a pre využívanie bude musieť byť vytvorený právny rámec. Zatiaľ sa však zdá, že technológie napredujú rýchlejšie než legislatíva.
Dobrou správou je, že s mnohými supermodernými technológiami sme v kontakte a v blízkej budúcnosti ich predstavíme na vzdelávacích podujatiach aj slovenskej psychologickej a HR komunite.