Toimus Eesti esimene keemia e-test
Novembri alguses toimus kolmekümnes Eesti koolis Sihtasutus Innove korraldatud uuringu käigus katsetöö keemias. Erinevalt traditsioonilistest eksamitest ja tasemetöödest sooritasid õpilased testi mitte ainult paberil (nn p-test) vaid ka elektrooniliselt (nn e-test).
Elektrooniline testimine ei ole koolide jaoks uus, kuna paljud neist osalesid ka PISA 2011-2012 elektroonilises testis. Kokku osales uuringus 30 koolist 860 õpilast, neist e-testi lahendas 409 (258 eesti keeles ja 151 vene keeles) õpilast ning p-testi lahendas 451 õpilast (291 eesti keeles ja 160 vene keeles). Testiga koos vastas õpilane ka küsimustikule, mille abil üritatakse leida erinevuste põhjusi juhul, kui olulisi erinevusi tuvastatakse.
Erinevalt PISA-st osalesid selles katsetöös 10. klassi õpilased. Pooled nendest lahendasid e-testi Elektroonilises Infosüsteemis (edaspidi EIS), teine pool aga lahendas samade küsimustega pabertesti. See, millise testi mingi õpilane pidi tegema, otsustati juhusliku valiku teel, et tagada tulemuste suurem usaldusväärsus. Tegemist oli proportsionaalse valimiga selles mõttes, et osalesid õpilased nii linna- kui ka maa-, nii eesti kui ka vene õppekeelega koolidest.
Uuringu eesmärgiks on välja selgitada, kas õpilaste tulemused erinevad, lahendades samu ülesandeid p-testis (paber) ja arvutihinnatavas e-testis. Selle eesmärgi saavutamiseks koostati kaks testi – elektrooniline ja pabertest, – kus kasutati samu õpitulemusi hindavaid ülesandeid, mis olid nii sisult (küsimused ja vastusevariandid) kui ka visuaalselt (pildid, enamiku küsimuste paigutus leheküljel) ühesugused ning mõlema testi sooritamiseks oli õpilastele antud ühepalju aega – maksimaalselt 2 tundi. Ainuke erinevus oli see, et osa õpilasi lahendas testi paberil, teised aga arvutiekraanil ning selle testi hindamine toimus kohe peale vastuste salvestamist. Pabertest hinnatakse ja selle tulemused sisestatakse süsteemi käsitsi ning see võtab tunduvalt rohkem aega. Testid on koostatud põhikooli lõpueksami tasemel.
E-testi korraldamiseks kasutati elektroonilist infosüsteemi (EIS), mis võimaldab koostada elektroonilisi nii käsitsi kui arvutiga hinnatavaid ülesandeid, koostada ja administreerida teste ning väljastab testidega seotud statistilisi andmeid. Keemia katsetöö oli esimene seni läbiviidud suurim testimine EIS-is. Kooli arvutite testiks ettevalmistamiseks kasutati mälupulkasid nagu PISA elektroonilise testi puhul. Kuid sellega kogu sarnasus piirdus. Kui PISA testis oligi kogu test mälupulgal, õpilaste vastused salvestati mälupulgale ning internetiühendust polnud vajagi, siis EIS-i testi puhul kasutati mälupulka vaid turvalise ühenduse tekitamiseks keskse serveriga, milleks laaditi arvutitele testi ajaks Linux-i põhjal kirjutatud operatsioonisüsteem. Läbi selle süsteemi pääses õpilane ligi vaid testimisserverile ja sinna salvestati iga ülesande lahendamise järel õpilase antud vastused. Peale testi lahendamist sai õpilane kohe oma esmase tulemuse teada. Lõplik tulemus selgub seekord peale kõigi vastuste ja hindamismaatriksite standardiseerimist. Tulevikus toimub maatriksite standardiseerimine eeltestimise ajal.
Kahes koolis ei olnud võimalik kooli arvutitega testi läbi viia: ühes koolis oli kasutusel terminalsüsteem, nemad kasutasid testi läbiviimiseks sõbraliku naaberkooli võimalusi; teine kool oli remondi ajaks asenduspinnal ja nendele tekitati arvutiklass 15 õpilasele + testi administraatorile kaasavõetud sülearvutite, pikendusjuhtmete ja võrgukaablite abil. Tehniliste võimaluste puudumisel test üheski koolis ära ei jäänud. Üldiselt tekkisid probleemid vaid mõnes koolis, ning kuna testide toimumise ajal olid koolides koolitatud Innove testiläbiviijad, lahendati need sujuvalt. Samas suhtusid ka koolid testimisse positiivselt ning mõni neist avaldas soovi kaasata testimisse Innove palutud ühe klassi asemel kõik paralleelklassid.
Vaatamata sellele, et testide lõpp-tulemused ei ole veel teada, saab juba välja tuua mõningaid tendentse:
● E-testide ja e-ülesannete sooritamisel teevad õpilased palju vähem juhuslikke vigu, kui lahendades samu ülesandeid paberil. P-testide hindamisel tekivad hindajatel hindamisvead (hindamispraak). Seda ei saa 100% vältida, kuna hindaja on inimene ja teeb vigu, arvuti hindab vaid hindamismaatriksi järgi.
● E-testi puhul ei mõjuta tulemust vastaja arusaamatu käekiri.
Kokkuvõttes saab öelda, et testimisvormi mõju õpilaste tulemustele ning arvutihinnatavate e-testide kasutamisele võtmine on olulised küsimused, millega tegelevad testimisega seotud organisatsioonid üle maailma. Kui kogu ülejäänud elu läheb üha enam üle arvutitele, siis paberil testides ei mõõdeta enam oskusi selles formaadis, nagu neid tegelikult elus rakendatakse.
Selge on, et kuna e-testid annavad meile rohkem võimalusi küsimuste esitamiseks, siis mitte ainult testimisvorm, vaid ka testis kasutatud ülesandetüübid ja tehnilised võtted võivad mõjutada õpilase tulemusi. Nende faktorite mõju uurimine õpilase sooritusele võiks olla uuringu järgmine samm.
Keemia e-testi läbiviimine sai teoks tänu ESF-i programmile „Õppe kvaliteedi parendamine õppeasutuste sise- ja õpitulemuste välishindamissüsteemi arendamise kaudu“.