Miten tekoäly ajattelee? (Teoria ChatGPT:n taustalla)

Sovellusten luominen, sisällön tuottaminen, ongelmien ratkaiseminen – tehtävät, jotka aiemmin vaativat asiantuntijaa, hoituvat nyt muutamalla hyvin muotoillulla kysymyksellä. Muutos on merkittävä, ja ymmärtääksemme, miten tähän pisteeseen on päästy, on tarkasteltava tekoälyn kehityskaarta.

Tässä artikkelissa seurataan tekoälyn kehitystä keskeisten vaiheiden kautta:

• Mitä tekoäly on ja mistä se tulee?
  Yleiskatsaus sen alkuperään ja varhaiseen kehitykseen.

• Syväoppimisen nousu
  Miten lisääntynyt laskentateho ja data muuttivat koneoppimista.

• Kielimallien synty
  Kuinka järjestelmät, jotka kykenevät käsittelemään ja tuottamaan ihmiskieltä, tulivat esiin.

• Mikä LLM oikeastaan on?
  Suurten kielimallien anatomia ja toimintaperiaatteet.

• Mitä on generatiivinen tekoäly?
  Tekoälyn kyvyn luoda uutta sisältöä tekstissä, kuvissa ja muissa muodoissa tarkastelu.

• Digitaaliset oppaat: miten chatbotit johdattavat tekoälyyn
  Keskustelupohjaisten käyttöliittymien rooli tekoälyn tuomisessa kaikkien ulottuville.

Jokainen osio rakentaa selkeämmän kuvan järjestelmistä, jotka muovaavat tämän päivän teknologiakenttää.

Mitä tekoäly on ja mistä se tulee?

Ihmiset ovat aina pohtineet, voimmeko rakentaa ajattelevia koneita. Kun tietokoneet alun perin kehitettiin, tämä ajattelu vauhdittui ja vuonna 1950 Alan Turing esitti saman kysymyksen ja seurasi sitä kuuluisalla Turingin testillä, ajatuskokeella, jossa kone yrittää huijata ihmistä luulemaan itseään ihmiseksi. Tämä sytytti tekoälyn kipinän. Tekoäly määriteltiin tehtäviksi, jotka normaalisti vaativat inhimillistä älykkyyttä, kuten kielen ymmärtäminen, kuvien tunnistaminen, ongelmien ratkaiseminen ja päätösten tekeminen itsenäisesti, eli käytännössä virtuaalihenkilöksi, joka voi vastata kaikkiin kysymyksiisi ja ratkaista kaikki ongelmasi. Tästä syystä Turingin testi oli tärkeä: siinä tekoäly asetetaan kasvokkain ihmisen kanssa, jonka pitää päättää, keskusteleeko hän ihmisen vai koneen kanssa. Tekoäly jäljittelee ihmismäistä ajattelua. Siksi John McCarthy antoi sille nimen tekoäly (Artificial Intelligence). Uskottiin, että tämän tason saavuttaminen olisi kesän mittainen projekti, jossa tekoäly läpäisisi nämä testit ja toimisi täydellisesti itsenäisesti, mutta todellisuudessa tekoälyn kehitys on yhä kesken.

Mitä tekoäly on ja mistä se tulee?

Varhainen tekoäly, 60- ja 70-luvuilla, oli sääntöpohjaista. Jos halusit tietokoneen “ajattelevan”, sinun piti kertoa sille tarkalleen, miten ajatella. Nämä olivat asiantuntijajärjestelmiä, joissa jokainen sääntö piti koodata ihmisen toimesta. Tämä toimi aikansa, kunnes ei enää toiminut – tekoälylle ei voi opettaa jokaista mahdollista päätöstä jokaiseen mahdolliseen tilanteeseen, se on mahdotonta, tai ainakin tehotonta. Oli keksittävä, miten tietokoneet voisivat tehdä päätöksiä itse, päätöksiä, joita kukaan ei ollut niille etukäteen antanut.

Kuvioihin tuli koneoppiminen. 1980- ja 1990-luvuilla tutkijat siirtyivät uuteen ajatukseen: entä jos opetamme tietokoneet oppimaan datasta pelkkien sääntöjen sijaan? Tätä on koneoppiminen, algoritmin kouluttamista esimerkeillä, jotta se osaa havaita kaavoja ja tehdä ennusteita. Mitä tämä tarkoittaa? Kuvitellaan, että ennen opetettiin tekoälylle kielioppi kirjoittamalla jokainen kielioppisääntö, kun taas koneoppiminen tarkoitti sitä, että tekoälylle annettiin tuhansia artikkeleita, kirjoja ja dokumentteja luettavaksi ja se sai itse päätellä, miten englanti toimii, itsenäisesti oppien.

Syväoppimisen nousu

Koneoppiminen oli hyvä, mutta rajoittunut. Se tarvitsi usein ihmistä kertomaan, mihin ominaisuuksiin kiinnittää huomiota. Sitten tuli syväoppiminen, jota ohjasivat neuroverkot, rakenne, joka on väljästi saanut innoituksensa ihmisaivoista, ja joka kävi suuria tietomääriä läpi askelittain, mikä auttoi löytämään yhä enemmän kaavoja.

Todellinen läpimurto tapahtui noin 2012, kun AlexNet, syvä neuroverkko, voitti ylivoimaisesti suuren kuvantunnistuskilpailun. Yhtäkkiä syväoppiminen pystyi voittamaan ihmiset kisassa kissakuvien tunnistuksessa netissä. Tämä ei ollut vain parempaa, vaan pelottavan hyvää. Syväoppiminen mahdollisti raakadatan (teksti, kuvat, ääni) syöttämisen mallille, joka löysi itse olennaiset kaavat. Ei enää kädestä pitämistä, vaan enemmän dataa, enemmän kerroksia, enemmän laskentatehoa. Tekoäly alkoi oppia eksponentiaalisesti.

Kielimallien synty

Kun syväoppiminen ratkaisi kuvat, tutkijat kysyivät: voiko se ratkaista myös kielen? Vastaus oli kyllä, mutta ei helposti. Kieli on täynnä vivahteita. Mutta riittävällä datalla ja fiksulla arkkitehtuurilla syväoppimismallit, kuten rekurrenttiset neuroverkot (RNN), pystyivät ymmärtämään dataa järjestyksessä, eli ne eivät katsoneet vain yhtä sanaa, vaan miten sanat seuraavat toisiaan ja miksi ne esiintyvät tietyssä järjestyksessä. Myöhemmin Transformerit eivät enää tarkastelleet vain yksittäisiä sanoja järjestyksessä, vaan pystyivät katsomaan koko tekstin kokonaisuutena kerralla, mikä mahdollisti tekstin ymmärtämisen ja tuottamisen.

Vuonna 2017 Google esitteli Transformer-arkkitehtuurin. Se muutti pelin. Transformerit pystyivät prosessointiin rinnakkain, nopeammin ja kiinnittämään huomiota eri osiin lausetta, jäljittelemään ihmismäistä tarkkaavaisuutta. Tämä arkkitehtuuri mahdollistaa suuret kielimallit eli LLM:t, kuten GPT, Gemini, Mistral, ja yhtäkkiä kaikki halusivat luoda oman LLM-mallinsa, joka olisi parempi kuin muiden.

Mikä LLM oikeastaan on?

Suuri kielimalli (LLM) on eräänlainen tekoälyjärjestelmä, joka on suunniteltu tuottamaan ja ymmärtämään ihmiskieltä. Sitä koulutetaan valtavilla tekstiaineistoilla, kuten kirjoilla, verkkosivuilla, artikkeleilla ja koodilla, ja se perustuu syväoppimiseen. Se ei ymmärrä sanoja kuin ihminen, vaan oppii kaavat siitä, miten kirjoitamme ja puhumme.

Tekniikka tämän takana? Jotain nimeltä Transformer-arkkitehtuuri, joka mahdollistaa kielen käsittelyn ja tuottamisen suuressa mittakaavassa. Tästä tulee “GPT” ChatGPT:ssä:

• Generative – luo uutta sisältöä
• Pre-trained – oppii ensin yleisellä datalla
• Transformer – mallin rakenne, joka tekee raskaimman työn

LLM:n version mukaan chatbotin älykkyys, tarkkuus ja keskustelukyky voivat vaihdella huomattavasti. Uudemmat versiot ymmärtävät kontekstia paremmin, tekevät vähemmän virheitä ja tarjoavat hyödyllisempiä vastauksia.

Ero perustuu parametreihin – miljardeihin yhteyksiin, jotka määrittävät, miten malli prosessoi tietoa. Enemmän parametreja tarkoittaa yleensä parempaa muistia ja syvempää ymmärrystä.

Olet varmasti kuullut GPT-4:stä, Claude:sta, Gemini:stä, LLaMA:sta. On tärkeää ymmärtää yksi asia: yksikään näistä malleista ei “ymmärrä” sanomaansa, ne ovat vain todella hyviä ennustamaan seuraavaa sanaa kontekstin perusteella.

Mitä on generatiivinen tekoäly?

Generatiivinen tekoäly on käsite, johon törmäät usein tekoälyistä puhuttaessa. Se on kattotermi kaikille tekoälyille, jotka luovat uutta. Jos tekoäly osaa kirjoittaa, piirtää, puhua tai laulaa kopioimatta olemassa olevaa materiaalia, se on generatiivinen – se luo uutta. Se voi tuottaa uutta tekstiä (ChatGPT), kuvia (DALL·E, Midjourney), videoita (Sora), tai koodia (GitHub Copilot). Eri tyyppejä tukevat erilaiset LLM:t.

Chatbotit: digitaaliset oppaamme

Chatbotit ovat ystävällinen porttimme koko maailman tietämykseen. Tekniset tiedot eivät ole välttämättömiä – riittää, että aloitamme keskustelun ja tutkimme tekoälyä luontevasti. Ne kääntävät pelottavan teknologian meille ymmärrettävään muotoon.

Chatbotin käyttämät tekniikat:

• Syväoppiminen: oppii kielen malleja valtavista tekstiaineistoista
• Transformer-arkkitehtuuri: mahdollistaa skaalautuvan ja tehokkaan kontekstin ymmärtämisen
• Koneoppiminen: kehittyy ja mukautuu jatkuvasti palautteen perusteella
• Generatiivinen tekoäly: tuottaa ihmismäisiä vastauksia reaaliajassa

Mutta muistetaan: se ei “ymmärrä” kuten ihminen. Se jäljittelee ymmärrystä. Se riittää toistaiseksi. Emme ole vielä tekoälyn singulariteetissa, mutta olemme selvästi matkalla sitä kohti. Ja ChatGPT? Se on vain viimeisin kilometripylväs paljon pidemmällä tiellä.