Að PISA upp í vindinn – getur gervi­greind þýtt náms­efni fyrir börn?

Mennta- og barnamálaráðherra kynnti niðurstöður nýjustu PISA-könnunarinnar á kynningarfundi þann 8. september. Niðurstöðurnar voru að sögn verri en nokkru sinni fyrr og benda til þess að einungis 56% nemenda hafi grunnhæfni í lesskilningi. Aðrir þættir sem mældir voru komu líka illa út. Á fundinum voru ýmsar aðgerðir boðaðar til að spyrna gegn þróuninni. Ein þeirra felur í sér að nota gervigreind til að þýða námsefni. Í Kastljósviðtali sama dag sagði ráðherrann:

„Síðan erum við að fara að taka í okkar þjónustu nýja tækni sem heitir gervigreind. Við getum í rauninni þýtt mörgum sinnum meira af góðum og frábærum námsgögnum erlendis frá. […]

Fyrir 455 milljónir í námsgagnaútgáfu getum við sennilega gert jafn mikið eins og fyrir milljarð miðað við þá nýju tækni sem við erum að fara að taka upp hvað það varðar.“

Hér vakna ýmsar spurningar og ég ætla að gera tilraun til að svara einni þeirra: Er gervigreindartækni líkleg til að geta þýtt námsefni fyrir börn svo vel sé?

Undanfarin ár hefur verið gerður fjöldi rannsókna á getu gervigreindar til að þýða yfir á íslensku. Þar ber hæst að þýðingar úr ensku á íslensku hafa verið hluti af stærstu rannsókn á almennri þýðingargetu gervigreindarkerfa í heiminum, en hún fer fram ár hvert í tengslum við stóra alþjóðlega vélþýðingaráðstefnu, WMT. Þá eru þýðingar úr fjölda þýðingarkerfa bornar saman við þýðingar þýðanda af holdi og blóði. Aðrir þýðendur meta textana svo blint, án þess að vita hvaðan hver þýðing kemur. Þegar þýtt er á íslensku hefur hingað til alltaf verið talsverður munur á vélunum og manninum, manninum í vil. Og raunar er það svo að nú er munurinn á gervigreindinni og manninum meiri á milli ensku og íslensku en á milli ensku og annarra tungumála sem metin eru. Við megum því búast við að vélþýddir textar séu líklegri til að innihalda þýðingarvillur og líklegri til að vera stirðari og erfiðari í lestri en textar þýddir af fólki.

Þegar tilteknir þættir eru skoðaðir í vélrænum þýðingum sjáum við að geta til að þýða sértækan orðaforða á mörgum fagsviðum er slök þegar þýtt er á íslensku. Þetta á líka við um bestu líkönin. Þegar setningagerð í vélþýðingum er skoðuð sérstaklega sjáum við að hún er oft enskuleg og þegar þýðingarvélin þarf að breyta setningagerð til að koma merkingu rétt til skila er hún líklegri til að gera mistök. Þá er ónefnd slagsíða, stundum kölluð bjagi, sem innbyggð er í líkönin og getur haft áhrif þegar fjallað er um minnihlutahópa eða menningarbundin málefni.

Þrátt fyrir þetta geta vélþýðingar, unnar með sérhæfðum þýðingarvélum eða öðrum gervigreindarlíkönum, auðvitað gagnast á margvíslegan hátt. Til að þýða tal eða texta til einkanota, til dæmis í daglegri notkun fólks sem þarf að glöggva sig á einhverju sem það skilur illa eða ekki á öðrum tungumálum. Til að þýða texta fyrir litla hópa sem gera sér grein fyrir að um vélþýðingu sé að ræða og geta spurst fyrir um hver merkingin eigi að vera ef vafi leikur á því. Og sem hjálpartæki í starfi þýðenda, sem þekkja getu og takmarkanir tækninnar og kunna að nota hana án þess að þýðingin, íslenski textinn, líði fyrir það. Hættan þar, sem vanir þýðendur þekkja og reyna að varast, er að festast í vélþýdda textanum. Ef þeir hafa hann fyrir framan sig áður en þeir þýða sjálfir verður tilhneigingin sú að villurnar eru lagaðar en setningagerðin stendur og yfirbragð þýðingarinnar getur borið keim af málinu sem þýtt er úr.

Ráðherra talar ekki um hvort ætlunin sé að láta gervigreind alfarið um þýðingarnar eða hvort ætlunin sé að lækka þýðingarkostnað með því að láta fólk fara yfir úttak úr þýðingarvélum og laga það sem það finnur og er athugavert. Ef 455 milljónir með gervigreind eiga að skila jafn miklu og milljarður án gervigreindartækni vaknar spurning um hversu mikil yfirferð á að fylgja vélþýðingunni. Ekki síst í ljósi þess að um er að ræða heildarkostnað við útgáfu námsefnisins.

PISA-prófin sýna að stór hluti nemenda hefur ekki nægilega góðan lesskilning. Þegar það er eitt stærsta vandamálið hlýtur að skipta sérstaklega miklu máli að námsefnið sé á skýrri og læsilegri íslensku og uppbygging texta og orðaval við hæfi lesenda og lagað að þeim. Hér eru kröfurnar aðrar en til þýðinga sem eingöngu er ætlað að hjálpa fólki að glöggva sig á merkingu texta sem skrifaður er á öðru tungumáli. Þýðingar þurfa að vera réttar, auðskiljanlegar, lifandi og þær mega ekki bjóða upp á misskilning. Ástæða er til að ætla að notkun gervigreindar, a.m.k. ef henni er ekki stýrt af færum þýðanda, sé líkleg til að vinna gegn þessu öllu.

Góðir þýðendur vita hver bestu verkfærin eru og kunna að nota þau. Hvort sem það eru bestu gervigreindartólin á hverjum tíma, orðabækur og orðasöfn sem gervigreindin hefur mögulega ekki aðgang að, eða önnur tól sem þeir nýta sér. Þeir vita fyrir hvaða lesendahóp þeir eru að vinna og geta miðað málið á þýðingunum við það. Góðir höfundar og öflugir þýðendur eru lykillinn að því að bæta lesskilning. Ef nemendur eiga að fá besta námsefni sem völ er á, eins og ráðherra boðaði á fyrrnefndum kynningarfundi, er of áhættusamt að láta gervigreind um verkið. Við þurfum að treysta færu fólki til starfans og láta það sjálft um að velja verkfærin. Gervigreind þarf að vera verkfæri þýðandans – ekki staðgengill hans.

Höfundur er rannsóknarlektor í máltækni við Stofnun Árna Magnússonar í íslenskum fræðum og sinnir rannsóknum á vélþýðingum og gervigreind.