ARVAMUS ⟩ Tehisaru eksamitulemuste kallal: kas tulemuseks on tõde või rikutud tulevik?

Testimata tehisaru põhisest valedetektorist võib väga lihtsalt saada giljotiin, mis õpilaste tulevikule alusetult kriipsud peale tõmbab. Foto: Marek Strandberg Dall-E tehisaru abil

Pinnapealselt tehisaru või mistahes muudki testimisvõttestikku kasutades võib kõvasti mööda panna. Kontrollimatult ja seda eelneva katsetamiseta tehisaruga õpilaste ausust mõõtma minnes võib aga tekitada pöördumatut kahju.

Seekordsed riigieksamid tõid taas esile probleemi, et tihti ei saada aru diagnostiliste testide omadustest ja ka piiridest nende kasutamisel. Varem on avalikkuseni jõudnud teadmine, et ei koroonatestid ega ka näiteks dopingutestid pole päris perfektsed ja seda fakti tuleks arvesse võtta saadud tulemuste tõlgendamisel. Seekord on aga jutuks test, mis võiks tuvastada petturlust riigieksamil.

Diagnostiliste testide ampluaa on lai, ulatudes meditsiinist kriminalistikani, spordist pedagoogikani, süvateadusel põhinevatest meelelahutuslike testideni. Testide põhjal otsuste tegemisel tuleb aga arvestada asjaoluga, et perfektseid teste peaaegu ei leidugi. Seetõttu on iga testi jaoks kindlaks tehtud kaks omadust: testi tundlikkus ja testi spetsiifilisus. Neist esimene – tundlikkus, on tõenäosus, et uuritava seisundi esinemisel annab test positiivse tulemuse. Näiteks on ühe levinud koroonaviiruse kiirtesti tundlikkus hinnanguliselt 97 protsenti (see arv on leitav ka pakendis olevalt infolehelt) – seega tegelikest nakatunutest tuvastab see test 97 protsenti, ning kolm protsenti nakatunutest saavad valenegatiivse tulemuse. Spetsiifilisus on aga tõenäosus, et test annab seisundi puudumisel negatiivse tulemuse. Mainitud kiirtesti spetsiifilisus on veidi üle 99 protsendi – seega sajast mittenakatunud isikust keskmiselt 99 saavad selle testiga negatiivse tulemuse, kuid üks võib saada positiivse, ehk valepositiivse tulemuse.

Reaalsuses huvitab meid aga vastupidine tulemus – kui inimene saab positiivse tulemuse, siis kui suure tõenäosusega on tal antud seisund (viirusnakkus, keelatud aine või ka keelatud võtete tarvitamine)?

Koroonatesti näites saame selle leida, kui teame, kui palju on testitute seas eeldatavalt nakatunuid ja kui palju on mittenakatunuid. Näiteks kui testitakse 10 000 inimest, kellest 10 protsenti ehk 1000 on nakatunud, siis annab test positiivse tulemuse 970 nakatunul. Samas annab ta ka positiivse tulemuse ühel protsendil mittenakatunutest, keda on kokku 9000/100=90. Nii on meil kokku 970+90=1060 positiivset testitulemust, millest 970, ehk 91,5 protsenti on tegelikult nakatunud. Seega on positiivse testi saaja üsna suure tõenäosusega tegelikult ka nakatunud ja peaks seda oma elukorralduses arvesse võtma.

Teistsuguse olukorraga on tegemist aga siis, kui testitavate hulgas on nakatunuid väga vähe – näiteks ainult 0,1 protsenti ehk ainult 10 inimest 10 000st. Ka siis, kui kõik 10 saavad korrektselt positiivse testitulemuse, tekib nende kõrvale ülejäänud 9990 isiku testimisel umbes sada (üks protsent 9990st) valepositiivset testitulemust. Seega on positiivse testi saajaid kokku 110, kellest vaid 10 ehk veidi alla 10 protsendi on tegelikult nakatunud. Sellele mõeldes on selge, et kui testida massiliselt inimesi, kelle hulgas esineb testitavat seisundit pigem harva, siis ei tohiks positiivse testi põhjal teha veel ühtegi põhjapanevat järeldust – testi saaks ehk kasutada vaid nn sõeluuringu põhimõttel, et teha kindlaks väiksem rühm isikuid, keda kindlamate meetoditega edasi uurida.

Kuidas see kõik on seotud riigieksamitega? Tegelikult üsna otseselt – ka petturluse tuvastamiseks kasutatav test on samasugune diagnostiline test nagu koroona-, dopingu-, narko- või rasedustest. Seega on selle testi kasutamisel elementaarne, et eelnevalt on tehtud põhjalik uuring, mis teeb kindlaks testi tundlikkuse ja spetsiifilisuse. Siiani pole avalikkust teavitatud ei sellisest uuringust ega ka selle tulemustest. On aga üsna selge, et kumbki neist näitajatest ei ole 100 protsenti – tõepoolest, kui õpilane kasutas eksamiteks valmistumisel tekstiroboti abi, õppides lausa mõned roboti pakutud laused pähe, ei ole pelgalt selle testi põhjal võimalik tuvastada, kas õpilane kasutas välist abi ka eksami ajal.

Kui palju oli aga tegelikke pettureid? Arvestades meie õpetajate suurt kogemust ja eksami ajal kehtestatud rangeid reegleid, oli tõenäosus ebaausate võtete kasutamiseks siiski väga väike. Selle põhjal saame vaid järeldada, et kui kasutatud testi põhjal jäi mitmel noorel gümnaasium kaaslastega koos lõpetamata ja mõni neist jäi ka kõrgkooli ukse taha, siis sellega tekitatud kahju ületab kordades võimaliku «kasu» (ehk tõenäosuse tuvastada mõni päris pettur).