Tämä kirjoitus on luomua. Siis ihmisen alusta loppuun kirjoittama. Tulevaisuudessa tällaiset tekstit saattavat olla enää pelkkä kuriositeetti, sillä etenemme nopeasti kohti maailmaa, jossa kuka tahansa voi tuottaa kirjatolkulla tekstiä nappia painamalla. Tätä tulevaisuutta on synnyttämässä tietenkin suuret kielimallit, kuten ChatGPT. Tätä kehityskulkua vauhdittaa suoranainen kielimallihype, jonka ansiosta käytettävissä on suuri määrä pääomia ja kohdistettua tutkimusintoa. Kielimallit puolestaan ovat puhaltaneet lisää vauhtia jo valmiiksi kuumana käyneeseen tekoälyhypeen, enkä minä henkilökohtaisesti usko aiheeseen liittyvän tutkimuksen ja kehityksen vauhdin ihan heti hidastuvan. Hypeä hypen päälle siis.
Näiden kielimallien toimintaperiaate on kaikessa yksinkertaisuudessaan, ja vielä hieman yksinkertaistettuna seuraavanlainen: koneoppimisen avulla opetettu matemaattinen malli; tässä tapauksessa hirvittävän syvä, lavea ja iso neuroverkko, joka sisältää enimmäkseen yhteen ja kertolaskua ja muutamia epälineaarisia muunnoksia kerrosten välissä; tuottaa tekstiä ennustamalla tekstikatkelmalle todennäköisimmän seuraavan sanan. Tai, itse asiassa, jos ollaan tarkkoja, se ennustaa kaikille mahdollisille sanoille todennäköisyyden ja valitsee sen, jonka todennäköisyys on suurin. Mikäli haluamme, että tekoäly kirjoittaa kuumeisemmin eli vapaammin, voimme valita myös satunnaisesti vähemmän todennäköisiä sanoja. Tätä säätävää parametria sanotaankin lämpötilaksi. Oli sanan valintaperiaate mikä tahansa, niin seuraavalle algoritmin askeleelle äsken tuotettu sana muuttuu osaksi syötettä. Ja tämä tilastollinen ”puppugeneraattori” jatkaa siitä seuraavan sanan ennustamiseen ja sitten taas seuraavaan. Toimintaperiaate sisältää myös syyn sille, miksi kielimallien tekstit ovat välillä keskinkertaista proosaa, mutta täyttä puutaheinää. Tekoälyllä ei ole selkeää suunnitelmaa aloittaessaan, että minne sen ennustama sanaketju päättyy. Se saattaa siis tavallaan ajautua puheissaan alueelle, jossa on ainoastaan epätodennäköisiä epätotuuksia jäljellä ennustettavaksi. Tätä voidaan hillitä monilla eri tekniikoilla. Eräs tapa on pyytää tekoälyä ”miettimään” eli tuottamaan lisää tekstiä ennen varsinaisen tehtävän aloittamista. Toinen uusi idea on sallia ”peruuttaminen” eli sanojensa syöminen, mikäli tekoäly huomaa päätyneensä puheissaan umpikujaan. Tämä ei tule ilmaiseksi: poisheitettävä metatyö kuluttaa yhtä lailla kellojaksoja. Ja aivan kuten kuka tahansa kombinatoriikkaa joskus opiskellut heti huomaa, että erilainen lukuisien vaihtoehtojen tutkiminen muuttuu nopeasti suuren vaihtoehtomäärän vuoksi laskennallisesti sietämättömän hitaaksi.
Uusimmat mallit ovat tällä hetkellä visusti tekoälylaboratorioiden uumenissa piilossa. Silti, ilmaiseksi kaikkien saatavilla olevat mallit, kuten ChatGPT-3.5, ovat nekin melko eteviä ja joissain tapauksissa hyvinkin käyttökelpoisia. Kielimalli voi toimia keskustelukumppanina ja ajatusten peilinä, jolla on aina sinulle aikaa – edellyttäen toki, ettei palvelussa ole ruuhkaa tai jokin vikatila päällä. Keskustelemaan viritetyn kielimallin kanssa voit vaihtaa ajatuksia, avartaa omaa ajattelua, hakea uusia ideoita ja näkökulmia. Mitä tavallisempi ja yleisempi aihe, kuten vaikkapa arjen pienet murheet, sitä enemmän vastaavia keskusteluita on ollut kielimallin opetusaineistossa ja sitä paremmin tekoäly pysyy aiheessa ja tarjoaa hyödyllisiä neuvoja. Kannattaa silti olla tarkkana: mikäli keskustelu ajautuu aiheisiin, joita harva ihmisistäkään tuntisi, saattaa meitä palvelemaan ja miellyttämään viritetty tekoäly alkaa lörpöttelemään omiaan. Jotain meistä ihmisistä kenties kertoo se, että ”en tiedä” ei ole tainnut olla opetusaineistossa kovin usein ilmenevä sanayhdistelmä.
Olen monessa yhteydessä sanonut, että avoimen ja vapaan kielimallin kehittäminen on minun sukupolveni Linux. Tuotos, joka mullistaa koko alan ja koskettaa miljardien ihmisten elämää. Kielimallien opettaminen on pahaksi onneksi järjettömän kallista. Satoja miljardeja parametreja sisältävän mallin opettaminen tyhjästä vaatii tuhansien yleiskäyttöisten grafiikkapiirien ajamista rinnakkain, ja uskomattomasta rinnakkaisesta laskentakapasiteetista huolimatta opetus voi kestää kuukausia. Huomattavan paljon pienempiä malleja osana tutkimusprojekteja opettaneena voin vain kuvitella sitä stressin määrää, mitä tähän erikoistuneet insinöörit kokevat valvoessaan ja mitatessaan näitä satoja tuhansia tai jopa miljoonia euroja maksavia opetusajoja. Onneksi kielimallien suorittaminen, eli sanojen ennustaminen, on laskennallisesti vähemmän vaativaa. Melko eteviä ja vapaasti ladattavissa olevia kielimalleja varten et tarvitse konesalia. Niitä voi ajaa jopa kohtalaisen järeällä työasemalla tai viimeisimmillä ja hienoimmilla Applen M2 suorittimilla. Paikallisesti ajettaessa tekstiä syntyy ehkä suunnilleen samaa tahtia kuin minä tätä tässä kirjoitan. Tällä hetkellä vielä siis hitaammin kuin ihminen lukee, mutta tämä toki muuttuu laskentatehon kasvaessa ja halvetessa. Annetaan siis hieman aikaa, niin omassa laitteessasi asuva tekoälyapuri on todellisuutta. Sitä odotellessa tietotyötä tekevän kannattaa maksaa muutama kymppi kuussa esim. ChatGPT-4:n käytöstä. Tietysti pitää harkita, mitä tietoja luovuttaa tekoälyn luoneelle OpenAI:lle, mutta hyödyt ovat monessa tehtävässä niin kiistattomat, että sijoitus todellakin kannattaa. Väitän, että jos sinä et vielä käytä tekoälyä päivittäin insinöörityössä, joko et maksa etevästä mallista tai et ole riittävän sinnikkäästi etsinyt tapoja, jolla se voi keventää, helpottaa ja nopeuttaa sinun työtäsi.
Palaan avaukseeni luomutekstistä. On esitetty huoli, että kun tekoälyn tuottama teksti yleistyy ja ylittää ihmisten tuotannon, niin uusia ajatuksia ei enää synny. Tässä on mielestäni kuitenkin sellainen harha, että pidämme ainutkertaisten oivallusten löytämistä ihmisten etuoikeutena. Kun minä avaan suuni tai aloitan lauseen, en itse ainakaan aina tiedä, minne se päättyy. Tietyllä tavalla me ihmisetkin olemme tilastollisia ”puppugeneraattoreita”. Ehkä meillä toistaiseksi on parempi maku sen suhteen, mikä on hyvää tekstiä, ja mahdollisuus palata ja muokata tuottamaamme, mutta en pitäisi tätä kovin suurena etumatkana ja asiana, joka ei olisi kopioitavissa tai jäljiteltävissä. Mikäli luovuus ja uuden tuottaminen on vain kielimallin lämpötilan nostosta kiinni, niin ainut, mitä tarvitsee ihmisten kyvyistä toistaa, on kyky erottaa jyvät akanoista. Riippuu tutkijasta, kuinka vaikeaksi tutkimuskysymykseksi tämä arvioidaan.
Tutkijatohtori Jussi Rasku
Jussi Rasku työskentelee tutkijatohtorina Tampereen yliopiston Seinäjoen yksikössä. Tällä hetkellä Jussi enimmäkseen pyrkii varmistamaan, että Seinäjoella on muutaman vuoden päästä entistä suurempi joukko tietotekniikan diplomi-insinöörejä ja tietojenkäsittelytieteen maistereita. Tutkimuksessa mielenkiinto on jo pitkään suuntautunut koneoppimiseen ja sen hyödyntämiseen ja viime vuosina digitaalisiin avustajiin ja keskustelukumppaneihin.
Jussin yhteystiedot löydät Seinäjoen yliopistokeskuksen sivuilta.
Artikkeli on julkaistu Etelä-Pohjanmaan Insinöörien jäsentiedotteessa syyskuussa 2023.