Tudengid analüüsisid 6. klassi e-tasemetööd

E-tasemetöös võib õpilane mõne ülesande puhul kasutada tavapäraselt hiirt ja klaviatuuri nooleklahve, kuid mõne teise ülesande lahendamisel need ei toimi. Foto on illustratiivne. Foto: Raivo Juurak

EIS-i tarkvaras on matemaatika e-tasemetöö jaoks vajalikud funktsionaalsused välja arendamata.

Käesolev artikkel tekkis sellel kevadsemestril TÜ arvutiteaduse instituudis ainet „Õpiprogrammid” kuulanud õpetajakoolituse tudengite initsiatiivist. Nad soovisid pärast algebra õpiprogrammide käsitlemist analüüsida ka matemaatika 6. klassi tasemetöö jaoks kasutatavat programmi. Enne praktikumi palusin Innoves asjaga tegelevatelt spetsialistidelt võimalust saada programmile õpetaja taseme ligipääs, et saaksime selgeks, milliste ülesannete koostamist see tarkvara tegelikult võimaldab. Samuti palusin õpetaja juhendmaterjali.

Rein Prank: „Selle e-tasemetöö harjutusülesannete hulgas ei ole ühtegi, kus poleks vastuse sisestamise liideses või vastuse hindamisel ühtegi tõsist viga.” Foto: erakogu

Dokumenteerimata tarkvara

Ligipääsu kohta teatati, et „EIS sisaldab mh andmeid – nii õpilaste, eksaminandide, koolide kui ka tulemuste kohta. … me ei luba süsteemi (nn köögi poolele) inimesi, kellel puudub lepinguline suhe Innovega”. Mulle saadeti ka õpetajatele mõeldud kutse kandideerida ülesannete koostajaks ja sõlmida selleks leping. Ülesannete koostajaks pole ma veel kandideerinud, sest tahan enne näha, kas tööandja pakutav tööriist võimaldab korralikult toimivaid ülesandeid teha. Mis puudutab süsteemi turvalisust, siis samasuguses olukorras on ju kõik kõrg- ja teised koolid, kes kasutavad Moodle’it, Black­boardi või muud sarnast süsteemi. Ma ei ole kuulnud, et mingi kursusega tegelev õppejõud oleks pääsenud Moodle’is ligi teiste kursuste andmetele või mõni tudeng kuhugi sisse häkkinud. Loomulikult võib olla kahtlusi värskelt programmeeritud süsteemi turvalisuses. Aga mingi leping siin küll ei aita. Tuleb üles seada ülesannete koostajatele ja katsetajatele mõeldud paralleelne server ning kõlbulikuks tunnistatud ülesandeid peavad sealt eksamiserverisse tõstma usaldatud töötajad. Harjutamisserveris võiksid ka õpilased lahendamist harjutada. Leping ei takista palgatud ülesannete koostajat lihtsalt oskamatuse, uudishimu või ka pahatahtlikkuse tõttu midagi lubamatut korda saatmast, kui tarkvara talle liiga palju õigusi annab.

Saadetud juhendmaterjali kohta öeldi, et fail ei kirjelda süsteemi uuemaid täiendusi. Halvem on aga see, et ka varasemate osade kohta ei sisalda juhend praktiliselt mingit kirjeldust, kuidas üks või teine ülesandetüüp või seal olemas olev optsioon töötab. Tuleb välja, et sadadele õpetajatele ja tuhandetele õpilastele mõeldud tarkvara on täiesti dokumenteerimata, kuigi eksamineerimistarkvara juures on toimimise detailid muu tarkvaraga võrreldes palju suurema tähtsusega. Kui kusagil pole kirjas, kuidas programm peab töötama, pole seda ka millegi alusel võimalik testida. Korralik dokumentatsioon on vajalik sellekski, et õpetaja saaks vastata õpilaste küsimustele programmi töö kohta. Praegu pole tal neid vastuseid kusagilt võtta. Kooli käsutuses oleva süsteemi puhul saab õpetaja vajadusel ise küsimust varieerides katsetada, siin aga peaks tal selleks Innovega tööleping olema.

Eespool kirjeldatud põhjustel analüüsisime aines „Õpiprogrammid” Innove tarkvara nende seitsme harjutusülesande peal, mis olid enne kuuenda klassi tasemetööd avalikult välja pandud. Saime sisestada vastuseid, uurida sisestamisel tekkivaid probleeme ja seda, kuidas programm vastuseid hindab.

Mida me avastasime?

Tudengite ülesanne oli lisaks programmi testimisele mõelda välja ka õpetused ja soovitused õpilaste jaoks, kes tasemetööd tegema hakkavad. Nad pidid muuhulgas uurima:

• millisel kujul saab / ei saa vastust sisestada ja millised kujud loetakse õigeks, millised valeks,
• kas programm toetab õpilast, et ei tekiks vastuste formaadi ja süntaksi vigu,
• kuidas õpilane sisestatud, aga kontrollimiseks veel esitamata vastust korrigeerida saab.

Paljud allpool kirjeldatavad probleemid on leidnud tudengid ja nende loal olen neid artiklis kasutanud. Vaatame nüüd konkreetseid ülesandeid. Soovi korral võib lugeja siin kirjeldatavaid efekte aadressil https://eis.ekk.edu.ee/eis/lahendamine ka ise läbi mängida (kui tarkvara või ülesannete seadeid vahepeal muudetud pole).

Harjutusülesanne 1

Tuleb arvutada kaheksa avaldise väärtus, kus tuleb teha 1–2 tehet harilike ja kümnendmurdudega (joonis 1).

Joonis 1. Harjutusülesande 1 algus koos kolmandasse sisestuskasti hüpanud murruga.

Ülesandes on kirjutatud „Klõpsa lüngal ja kirjuta lünka ainult vastus”. Ekraanil on ka nupuriba, milles on saadaval Undo- ja Redo-nool, korrutamise ja jagamise märk ning murru(joone) tekitamine. Kooloni dubleerimine võib õpilastel muidugi tekitada küsimusi, kas kõlbab ka klaviatuurilt sisestatud koolon või mitte. Järgnevalt kirjeldame, mida leidsime. Kõik loetletud nähtused ei ole vead. Mõnikord on tegemist momentidega, mis on normaalsed, aga võiksid olla ülesande tekstis selgitatud või peaks õpetaja nende eest hoiatama. Lugejal soovitame aga mõelda, mida ütleksite oma õpilastele tasemetöö eel, kui olete autoriteetset eksamineerimisprogrammi katsetades leidnud midagi sellist.

• Koma või punkt. Esimene avaldis on 18 : 6 ⋅ 0,5. Katsetame kümnendmurru kirjutamist nii koma kui ka punktiga, sest paljud õpilased on proovinud mõnda veebis olevat murdude harjutamise programmi, kus peab kasutama punkti. Vastus 1,5 loetakse õigeks ja 1.5 valeks. Selle asemel võiks programm anda teate ja nõuda õpilaselt komaga kirjutamist. Muidu tuleb hulk lahendusi käsitsi üle hinnata, sest vaevalt loevad ka töö korraldajad sellisel juhul õigeks programmi antud hinnet 0.
• Murru tekitamine. Proovime vastuse sisestada hariliku murru kujul. Sisestame vastuse 1 1/2 täisosa ja vajutame murru tekitamise nupule. Tulemus on ootamatu. Kursor hüppab esimese ülesande sisestuskastist kolmandasse ja murd tekib sinna (joonis 1). Kui vajutada murru tekitamise nupule pärast seda, kui kolmanda ülesande vastus 1 7/12 on juba sisestatud, tekib murd nimetajasse arvu 12 järele ja seda ei saa sealt ka niisama lihtsalt kustutada. Kui märkida murd ja vajutada harjunud viisil Delete, siis kaovad sisestuskastid selle murru lugejast ja nimetajast, aga murrujoon jääb alles (ja kolmas vastus endiselt hinnet 0 väärivaks).
• Segaarvu täisosa. Proovime nüüd olukorda, kus õpilane on kõigepealt tekitanud murru ja tahab murru ette segaarvu täisosa kirjutada. Igasugustes redaktorites oleme harjunud selliseid asju tegema nii, et viime hiirega kursori murru ette ja kirjutame. Siin aga kursori paigutamine ei õnnestu (ei saa aru, miks nii on programmeeritud). Kui kuuenda klassi õpilane taipab klõpsata küsimärki nupuribal, siis ta saab teada:
  -segaarvu täisosa kirjutamiseks võid kasutada ka parema hiireklikiga valikut „Lisa vasakule”.
  Seevastu üles ja alla liikumiseks töötavad tavalised vahendid: liikumiseks murru lugejast nimetajasse ja vastupidi kasuta hiirt või nooleklahve klaviatuuril.
  Leiame ka eelnenud probleemi lahenduse (pisut imeliku): murru kustutamiseks kasuta parema hiireklikiga valikut „Kustuta tabel”. Miks nimetatakse kuuenda klassi õpilasega matemaatikast rääkides murdu tabeliks?

• Explorer, Linux. Kui lahendada Internet Exploreriga, siis saab murdu ka sisestuskastis teisele kohale lohistada ja tekitada võimaluse murru ette täisosa kirjutada (Firefoxiga ei õnnestunud lohistada). Mõnel juhul loetakse niimoodi sisestatud vastus õigeks ja mõnel valeks. Artikli autor pole testinud, mis kõik veel Linuxi all juhtuda võib. Igatahes on selge, et kui oleme midagi Exploreri abil avalikest ülesannetest õppinud, ei tarvitse see Firefoxi all kehtida.
• Suvalised sümbolid. Katsetamine näitab, et programm võimaldab nõutava arvulise vastusega küsimuse korral sisestada ka suvalisi muid sümboleid. Kahju. Iga vähegi mõistlik programmeerimiskeskkond võimaldab programmeerijal tekitada sisestuslehele arvude sisestamise kasti, mis ignoreerib mittesobivaid klahvivajutusi.
• Hoiatuse puudumine. Programm ei väljasta mingit hoiatust, kui õpilane on jätnud mõne sisestuskasti täitmata või selle mingi osa (näiteks lugeja või nimetaja) sisestamata, tekitades süntaksivea. Vastus loetakse lihtsalt valeks. Muidugi peab õpilasel olema võimalus jätta vastus andmata, kui ta seda leida ei oska. Aga enne sisulist kontrolli tuleks poolikule vastusele tähelepanu juhtida.
• Taandamine. Kui õpilane on tehted õigesti ära teinud, aga sisestab vastuseks taandamata või segaarvuks teisendamata murru, saab ta lihtsalt null punkti. Kas programm ei võimaldagi mõnele vastusele osalisi punkte määrata või pole ülesande koostajad osanud seda teha?

Harjutusülesanne 2

Olulisem osa lahendamise aknast on joonisel 2 (allpool on veel klahv „Kinnitan vastuse” ja lahendusest väljumine). Probleeme on ootamatult palju.

Joonis 2.

• Tehe, avaldis, vastused. Ülesande tekst pole korrektne. Kõigile eeskujuks olevas ülesandes ei tohiks ajada segamini termineid „tehe” ja „avaldis”. Esimeses avaldises on kaks tehet, aga esimese tehte tulemuse 1,6 saab õpilane küll leida, aga mitte esitada. Oleks muidugi veel koledam, kui ka see arv parempoolses tulbas esineks ja õpilane püüaks tõesti ülesande teksti järgi tegutseda. Samuti on asjatult mitmuses sõna „vastused”. Ühte vasakul olevat varianti ei lase programm mitme parempoolsega ühendada.
• Avaldise kasti muutuv kuju. Kui avaldist 1 + 0,6 + 0,0005 liigutada parempoolsete valikute kohal, muudab avaldise kast millegipärast kuju ja avaldis poolitatakse kahele ja vahepeal koguni kolmele reale. Tekib raskesti loetav puder, kus parempoolsete kastide sisu paistab liigutatava kasti sisust läbi.
• Ülesande kadumine. Valitud avaldist lohistades hakkab akna sisu millegipärast asukohta muutma. Lohistades päris akna alla serva, on võimalik ülesanne hoopis aknast välja lennutada.
• Valikute parandamine. Ekslikke valikuid ei saa parandada, vaid tuleb need (tagantpoolt alates ükshaaval) tühistada. Kui näiteks esimesele avaldisele on valitud algul vastus 16,005 (nagu joonisel 2), siis intuitiivne viis parandamiseks oleks võtta uuesti vasakpoolne avaldis ja ühendada see õige vastusega. Aga siin lõpeb selline katse arusaamatu veateatega: „Valikut ei saa kasutada rohkem kui üks kord. Valikute arv on täis.” Sealjuures tuleb see teade mitte vasakpoolset avaldist teist korda valides, vaid sellele paremal vastet märkides. Aga seda parempoolset valikut kasutatakse alles esimest korda ja ülesandes vajalike valikute arv 4 pole ka veel kaugeltki täis.
• Valiku tühistamine. Viimasena tehtud valiku tühistamiseks tuleb vajutada eksliku pealkirjaga klahvile „Katkesta”. Selle all tundub olevat tavaline Undo-funktsioon. Aga sõna „Katkesta” tähendab antud kontekstis kindlasti selle ülesande lahendamise katkestamist ja sattumist kas järgmisse ülesandesse või ülesannete kogusse. Õpilane kindlasti ei julge vajutada „Katkesta” ja vajutab ka viimasel sammul tehtud viga märgates „Tühista kõik” ning alustab lahenduse sisestamist otsast peale.
• Õige vastuse aken. Klahv „Katkesta” töötab millegipärast Undo-na ka õige vastuse aknas. Õiges vastuses saab seoseid ühekaupa kustutada ja vastust niiviisi teistsuguseks võltsida. Kui õpetaja seda ei tea, siis võib õpilane demonstreerida, kuidas tema vastus langeb õigega kokku, aga programm pole andnud täispunkte.

Harjutusülesanne 3

Arvuti maksab 900 eurot, aga monitor maksab 3/5 arvuti hinnast. Milline tehe on vaja teha, et arvutada monitori maksumus? Märkimiseks on pakutud kuus varianti, millest kaks on õiged.

• Kuni neli valikut. Kui õpilane on juba valinud neli vastust ja klõpsab viiendal, ilmub ootamatu teade „Saab teha kuni 4 valikut. Valikute arv on täis”. Milleks selline laest võetud kitsendus? Kas see tuleb programmist või ülesande autorilt?
• Arusaamatu hindamine. Hindamine on väga sõbralik. Kui õpilane märgib kaks õiget ja kaks valet vastust, saab ta kaks punkti kahest! Kui ta valib ühe õige ja kolm valet, saab ta ühe punkti.

Mida õpetaja peaks sellise e-tasemetöö puhul oma õpilastele soovitama? kas näiteks „Vali enda arvates õiged vastused ära ja siis igaks juhuks veel mõned, kuni programm laseb”?

Loetelu on saanud sellise tähtsa programmi jaoks juba kolme ülesandega ­ootamatult pikk. Köster ütles, et enne läheb issanda päike looja, kui Tootsi pattude register üles loetud saab. Jätame ka meie ülesanded 4–7 detailselt läbi ­uurimata, et ajaleht artiklit liiga pikaks ei tunnistaks. Märgime veel vaid kahte fakti. Ülesandes 6 loetakse erinevalt teistest nii komaga kui punktiga kümnendmurd õigeks. Ülesandes 5 tuleb järjestada viis suurust. Kui valida õigesti kolm esimest ja jätta ülejäänud kaks üldse märkimata, saadakse 1,5 punkti 2,5-st. Kui õpilane jätab paigutamata esimese valikvastuse, aga järjestab ülejäänud neli vastust õigesti, siis ta ülesande eest punkte ei saa. Kui ta valib kolm esimest valikvastust õigesti ja märgib kaks viimast vahetatud järjekorras, annab arvuti talle jälle kogu ülesande eest 0 punkti.

Mitmed muud probleemid ülesannetes 4–7 kordavad neid, mis juba kirjas. Sellist ülesannet ei olegi, kus poleks ühtegi tõsist viga vastuse sisestamise liideses või vastuse hindamisel.

Natuke üldisemalt

EIS-i tarkvara on üldotstarbeline testisüsteem, nagu on QuestionMark, HotPotatoes ja paljud teised ning samuti Moodle’i, BlackBoardi jt õppeainete administreerimise pakettide testikomponendid. Artikli autorile pole selge, miks on ette võetud veel ühe üldotstarbelise testisüsteemi programmeerimine. Innove räägib ülesannete 29 tüübist, aga tegelikult on klassikalised ülesandetüübid uuesti programmeeritud ja lisatud neile täiendavaid vastamisliideseid, mitte uusi tüüpe. Näiteks erinevate vastamisliidestega harjutusülesanded 2 ja 7 kuuluvad tegelikult tavalisse küsimuste tüüpi Matching (vastavusse seadmine). Uued vastamisliidesed võivad küll atraktiivsed välja näha, aga kahjuks on vähemalt need kaks silmanähtavalt vigased. Sellisel kujul teevad nende veidrused vastamise keerulisemaks ja lihtsalt segavad tasemetööd.

Tuntud testisüsteemidega võrreldes on EIS-i programmis aga üks oluline asi puudu: pole arvulise vastusega küsimuse tüüpi. Innovest saadetud tüüpide kirjelduses seda pole ja siin vaadeldud matemaatika harjutusülesannetes ka ei paista. Arvulise vastusega küsimusi esitatakse tekstilise vastusega tüübi all, kus sisestatavate sümbolite hulk pole piiratud ja vastuseid kontrollitakse mitte võrdumise, vaid täht-tähelise ühtimise järgi. Selle artikli autorile on täiesti arusaamatu, miks on matemaatika tasemetööde jaoks valitud tarkvara, millele pole programmeeritud isegi üldotstarbelise testisüsteemi tavalisi matemaatilisi võimeid. On raske uskuda, et matemaatika tasemetöö programm loeb mingi eristuseta nulli vääriliseks nii tühjaks jäetud sisestuskasti kui ka vastused, kus tehe murdudega on õigesti ära tehtud, aga vastus on jäänud lõpuni taandamata või segaarvuks teisendamata. Mis e-tasemetöö see on, kui kõigepealt teatatakse silmanähtavalt rumalad hindamistulemused ja seejärel peavad kõike hindama ikka õpetajad? Ja sealjuures pole programm õpilasi vastuste sisestamise juures mitte toetanud, vaid pigem segadusse ajanud.

Ülesannete lahendamise keskkondi programmeeritakse nii harjutamiseks kui ka kontrolltöödeks selle eesmärgiga, et arvuti teeks ära rutiinse töö ja õpetajale jääks see, mida me programmeerida ei oska või mis nõuab väga palju detaile. Näiteks võib programm kontrollida võrdusmärgi kehtimist järjestikustel avaldise teisendamise sammudel ja teha kindlaks, millised vastusele esitatud tingimused (näiteks taandamine ja segaarvuks teisendamine) on täidetud, aga lahendustee otstarbekuse hindamine võib olla jäetud õpetajale. Kui aritmeetika ja algebra ülesannetes on vastuseks (või sammu tulemuseks) arv või avaldis (või mitu), siis programm peab kõigepealt kontrollima:

• kas kõik nõutud vastused on sisestatud,
• kas vastused on süntaktiliselt korrektsed avaldised.

Ilma neid kahte punkti korda tegemata ei saa programm vastuse sisulise kontrolli juurde asuda. Seetõttu oleks mõistlik vastuse puuduvate komponentide või süntaksivigade korral nõuda õpilaselt vastuse korrigeerimist juba töö ajal, sest me ei taha õpilase matemaatiliste oskuste hindamise asemel panna puuduva sulu pärast nulli või suunata kõiki selliseid lahendusi käsitsi kontrollima. Kui peetakse vajalikuks, siis võib paranduste vajalikkuse korral rakendada mingit trahvi punktides.

Kasu toov matemaatikaülesannete lahendamise/kontrollimise tarkvara algab sellest tasemest, kus programm on võimeline kontrollima lahendustes esinevate avaldiste (arvude, murdude, hulkliikmete jne) võrdust, võrrandite korral nende samaväärsust. Kui sisestatakse ainult vastus, siis peab programm võrdlema seda õpetaja antud (või programmi arvutatud) õige vastusega. Samm-sammulise lahendamise korral tuleb vahetulemust võrrelda eelmise avaldisega. Lisaks võrduse kehtimisele saab üsna kergesti programmeerida ka kontrolli, kas koolimatemaatika avaldis kuulub mingisse nõutud süntaktilisse klassi: kas arvude vahel on kõik tehted ära tehtud või leidub veel tehtemärke, kas arv on liigmurd või sega­arv, kas murd on taandatud või võimaldab edasist taandamist, kas leidub veel läbi korrutamata hulkliikmeid või mitte, kas sarnased liikmed on koondatud, kas hulkliige on tegurdatud jne. Diagnoositavatele vigadele saab määrata trahvid punktides ja nii võib programm arvutada üsna mõistlikult ka vähemalt esialgse skoori. Sellest tasemest kehvem programm tähendab aga matemaatika puhul mitte e-tasemetööd, vaid arvutil sisestatud tööde käsitsi hindamist.

Tasemetööst ja hindamisest

Kindlasti tuleb ka küsida, kas testisüsteemiga tehtud e-tasemetöö tulemus ikka näitab meile õpilase taset 6. klassi matemaatikas. Siin on mitu aspekti:

• milliseid ülesandeid e-töös esitatakse,
• mida õpilane oma lahenduse kohta peab sisestama,
• kuidas kontrolltöö korraldamine ­e-tööna mõjutab õpilase tulemust.

Võti on teises küsimuses, mis määrab ka esimese ja kolmanda sisu. Matemaatika õpetajad on kontrolltöös ja eksamil alati hinnanud mitte ainult ülesannete vastuseid, vaid ka lahendusi. Korrutustabeli tundmise taset saab ju kontrollida ka tavalise testiprogrammi abil. Aga juba murdude liitmise ülesannete puhul tahab õpetaja osaliste punktide andmiseks ka lahendussamme näha. Ja sealjuures nii, et sammude arvu ja vahetulemuste kuju otsustab õpilane (nagu paberil). See tähendab, et kui tahame hinnata seda, mida matemaatikas oluliseks peetakse, saame e-tasemetöös kasutada vaid selliseid ülesandeid, mida meie tarkvara kontrollida oskab. Kui tarkvara sisestavast materjalist jagu ei saa, tuleb e-eksamite sisseviimisega veel oodata.

Lahendussammude osas võib tasemetöö ülesandeid näinud lugejal muidugi tekkida vastuväide. Tasemetöös olid ju sellised ülesanded, kus nõuti lahenduse osade sisestamist. E-hindamise mõttes oli see aga Potjomkini küla. Õpilastel kästi küll lahendussammud sisestada, aga programm pole suuteline neid kontrollima. Tegemist on e-tasemetööga, mida õpetajad peavad kontrollima traditsioonilisel viisil. Siis pole erilist vahet, kas õpilane tegi e-tasemetöö EIS-i tarkvara või Microsoft Wordi abil. Lahenduse sisestamist nõudvad ülesanded olid ka avalike harjutusülesannete seast välja jäetud, sest neid ülesandeid uurides oleks kohe läinud lärmiks, et programm ei saa mõne sisestuskasti sisu kontrolliga üldse hakkama. Oleksin väga rõõmus, kui eksiksin.

Järgmine probleem on, et eksamisüsteemi autorid on näinud vaeva huvitavate vastamisliideste programmeerimisel. Aga kui need pole õpilastele käepäraseks harjutatud, siis nad mitte ei soodusta, vaid hoopis raskendavad tasemetöö tegemist. Matemaatika kontrolltööl saab kasutada ainult sellist tarkvara, mida enne seda on piisavalt kasutatud sellesama teema harjutuste lahendamisel. Tavaliselt ütlen tudengitele, et nad prooviksid juba enne kontrolltööd järele ka programmi reaktsioonid kõigile vigadele, mida nad oskavad välja mõelda. Mõnes teises aines kirjutatakse tasemetööl kastidesse ainult õigeid tähti, sõnu või tekstilõike ja tehakse märke õigete vastusevariantide juurde. Siis piisab õpilasele mingist üldisest testiküsimuste tüüpidega tutvumisest. Matemaatikas tuleb igas uues peatükis sisestada uusi matemaatilisi struktuure (murrud, astmed, ühikud, geomeetria tähised jms), otsustada arvude esituste vahel, panna tühikuid või jätta need panemata jne. Seitsmest harjutusülesandest terve aasta matemaatika katmiseks küll ei piisa. Ja kui lisaks on tarvis mööda laveerida vastamisliidese vigadest ja imelikest omadustest, siis muudavad õpilasele kaela langevad tehnilised probleemid tasemetöö tulemused lihtsalt mõttetuks.

Kokkuvõtteks

Praeguses EIS-i tarkvaras on matemaatika jaoks vajalikud funktsionaalsused välja arendamata. Isegi igas tavalises üldotstarbelises testisüsteemis olevat arvulise vastusega küsimuse tüüpi ei ole. Lahenduskäike saab ainult sisestada, aga programm neid kontrollida ei suuda. Programm on testimata ja vigane. Õpilased ei saa programmi kasutamist vajalikul määral harjutada. Pole saadaval programmi dokumentatsiooni. Arvan, et selline e-tasemetöö toob matemaatika õpetamisel kasu asemel kahju.

Loe ka:

Allar Veelmaa: „Vigadest ei õpita”