Ohjattu oppiminen

Ohjattu oppiminen on keskeinen lähestymistapa koneoppimisessa ja tekoälyssä, jossa algoritmit oppivat nimetyistä tietoaineistoista tekemään ennusteita tai luokituksia. Tässä paradigmassa mallia koulutetaan syöttämällä sille dataa, jossa jokainen syöte on liitetty oikeaan lopputulokseen, jolloin malli oppii näiden kahden välisen yhteyden. Analysoimalla näitä nimettyjä datapisteitä malli voi yleistää ja tehdä tarkkoja ennusteita uusille, aiemmin näkemättömille tiedoille.

Miten ohjattu oppiminen toimii?

Ohjattu oppiminen tarkoittaa koneoppimismallin kouluttamista nimetyn tietoaineiston avulla, jossa jokainen datapiste koostuu syöteominaisuuksista ja vastaavasta toivotusta lopputuloksesta. Prosessi etenee seuraavien päävaiheiden kautta:

1. Datan keruu ja valmistelu:

   • Nimetty data: Kerätään tietoaineisto, jossa syötteet on liitetty oikeisiin lopputuloksiin. Tämä nimetty data toimii koulutuksen totuutena.
   • Ominaisuuksien poiminta: Tunnistetaan ja poimitaan syötteistä olennaiset ominaisuudet, jotka auttavat mallia tekemään tarkkoja ennusteita.

2. Mallin valinta:

   • Valitaan ongelmaan sopiva ohjatun oppimisen algoritmi (luokittelu tai regressio) ja datan luonteen mukaan.

3. Mallin koulutus:

   • Alustus: Aloitetaan mallin alkuarvoilla tai painoilla.
   • Ennuste: Malli tekee ennusteita koulutusdatalla nykyisten parametrien avulla.
   • Häviöfunktio: Lasketaan häviöfunktio (tunnetaan myös kustannusfunktiona), joka mittaa mallin ennusteiden ja todellisten lopputulosten eroa.
   • Optimointi: Mallin parametreja säädetään häviön minimoimiseksi käyttäen optimointialgoritmeja, kuten gradienttimenetelmää.

4. Mallin arviointi:

   • Arvioidaan mallin suorituskykyä erillisellä validointidatalla, jotta nähdään, yleistyykö se hyvin uuteen dataan.
   • Suorituskykyä mitataan esimerkiksi tarkkuudella, tarkkuusluvulla, muistilla ja keskineliövirheellä.

5. Käyttöönotto:

   • Kun malli saavuttaa riittävän hyvän suorituskyvyn, se voidaan ottaa käyttöön tekemään ennusteita uudelle, näkemättömälle datalle.

Ohjatun oppimisen ydin on siinä, että mallia ohjataan koulutusvaiheessa oikeilla vastauksilla, jolloin se oppii datan sisäiset mallit ja yhteydet syötteiden sekä lopputulosten välillä.

Ohjatun oppimisen tyypit

Ohjatun oppimisen tehtävät jaetaan pääasiassa kahteen tyyppiin: luokittelu ja regressio.

1. Luokittelu

Luokittelualgoritmeja käytetään, kun lopputulos on kategoria tai luokka, kuten “roskaposti” tai “ei roskaposti”, “sairaus” tai “ei sairautta” tai erilaiset objektityypit kuvissa.

• Tavoite: Jakaa syöttödata ennalta määriteltyihin kategorioihin.
• Yleisiä luokittelualgoritmeja:
  • Logistinen regressio: Käytetään binaarisiin luokittelutehtäviin, mallintaa diskreetin lopputuloksen todennäköisyyttä.
  • Päätöspuut: Jakaa datan ominaisuusarvojen perusteella ja tekee päätöksen jokaisessa solmussa.
  • Tukivektorikoneet (SVM): Löytää optimaalisen hypertason, joka erottaa luokat ominaisuusavaruudessa.
  • k-lähimmän naapurin menetelmä (KNN): Luokittelee datapisteen lähimpien naapureiden enemmistöluokan perusteella.
  • Naiivibayes: Todennäköisyyspohjainen luokittelija, joka käyttää Bayesin kaavaa ja olettaa ominaisuuksien riippumattomuuden.
  • Satunnaismetsä: Useiden päätöspuiden yhdistelmä, joka parantaa luokittelutarkkuutta ja ehkäisee ylisovitusta.

Esimerkkejä käyttötilanteista:

• Sähköpostin roskapostin tunnistus: Luokittelee sähköpostit “roskapostiin” tai “ei roskapostiin” sisällön perusteella.
• Kuvantunnistus: Tunnistaa objekteja tai henkilöitä kuvista.
• Lääketieteellinen diagnoosi: Ennustaa, onko potilaalla tietty sairaus testitulosten perusteella.

2. Regressio

Regressioalgoritmeja käytetään, kun lopputulos on jatkuva arvo, kuten hinnan, lämpötilan tai pörssiarvon ennustaminen.

• Tavoite: Ennustaa todellinen tai jatkuva lopputulos syöteominaisuuksien perusteella.
• Yleisiä regressioalgoritmeja:
  • Lineaarinen regressio: Mallintaa syöttömuuttujien ja jatkuvan lopputuloksen suhdetta lineaarisella yhtälöllä.
  • Polynominen regressio: Laajentaa lineaarista regressiota sovittamalla polynomikäyrän dataan.
  • Support Vector Regression (SVR): SVM:n sovellus regressio-ongelmiin.
  • Päätöspuuregressio: Käyttää päätöspuita jatkuvien arvojen ennustamiseen.
  • Satunnaismetsäregressio: Yhdistää useita päätöspuita regressiotehtäviin.

Esimerkkejä käyttötilanteista:

• Asuntojen hintojen ennustaminen: Arvioi kiinteistön hintaa sijainnin, koon ja varustelun perusteella.
• Myynnin ennustaminen: Ennustaa tulevia myyntilukuja historiallisen datan perusteella.
• Sääennuste: Arvioi lämpötiloja tai sademääriä.

Keskeisiä käsitteitä ohjatussa oppimisessa

• Nimetty data: Ohjatun oppimisen perusta on nimetty data, jossa jokainen syöte on yhdistetty oikeaan lopputulokseen. Nimetyt datapisteet tarjoavat mallille tarvittavan ohjauksen oppimiseen.
• Koulutus- ja testiaineistot:
  • Koulutusaineisto: Käytetään mallin kouluttamiseen. Malli oppii tästä datasta.
  • Testiaineisto: Käytetään mallin suorituskyvyn arviointiin uudella, näkemättömällä datalla.
• Häviöfunktio:
  • Matemaattinen funktio, joka mittaa mallin ennusteiden ja todellisten arvojen virhettä.
  • Yleisiä häviöfunktioita:
    • Keskineliövirhe (MSE): Käytetään regressiotehtävissä.
    • Ristiinentropiahäviö: Käytetään luokittelutehtävissä.
• Optimointialgoritmit:
  • Menetelmät, joilla mallin parametreja säädetään häviön minimoimiseksi.
  • Gradienttimenetelmä: Säätelee parametreja vaiheittain kohti häviöfunktion minimiä.
• Ylisovitus ja alisovitus:
  • Ylisovitus: Malli oppii koulutusdatan liian tarkasti, mukaan lukien kohinaa, ja suoriutuu huonosti uudella datalla.
  • Alisovitus: Malli on liian yksinkertainen eikä kykene oppimaan datan olennaisia rakenteita.
• Validointitekniikat:
  • Ristiinvalidointi: Data jaetaan osiin mallin suorituskyvyn arvioimiseksi.
  • Regularisointi: Tekniikoita, kuten Lasso- tai Ridge-regressio, ylisovituksen ehkäisemiseksi.

Ohjatun oppimisen algoritmit

Ohjatun oppimisen ytimessä on useita algoritmeja, joilla kullakin on omat erityispiirteensä eri ongelmiin.

1. Lineaarinen regressio

• Tarkoitus: Mallintaa syötemuuttujien ja jatkuvan lopputuloksen suhdetta.
• Toiminta: Sovittaa lineaarisen yhtälön havaittuun dataan minimoiden ennustettujen ja todellisten arvojen erot.

2. Logistinen regressio

• Tarkoitus: Käytetään binaarisiin luokittelutehtäviin.
• Toiminta: Mallintaa tapahtuman todennäköisyyttä sovittamalla datan logistiseen funktioon.

3. Päätöspuut

• Tarkoitus: Sekä luokittelu- että regressiotehtäviin.
• Toiminta: Jakaa datan haaroihin ominaisuusarvojen perusteella muodostaen puumaisen rakenteen päätöksenteolle.

4. Tukivektorikoneet (SVM)

• Tarkoitus: Tehokas korkean ulottuvuuden avaruuksissa luokitteluun ja regressioon.
• Toiminta: Etsii hypertason, joka erottaa luokat mahdollisimman hyvin ominaisuusavaruudessa.

5. Naiivibayes

• Tarkoitus: Luokittelutehtäviin, erityisesti suurilla tietoaineistoilla.
• Toiminta: Käyttää Bayesin kaavaa ja olettaa ominaisuuksien riippumattomuuden.

6. k-lähimmän naapurin menetelmä (KNN)

• Tarkoitus: Luokittelu- ja regressiotehtäviin.
• Toiminta: Ennustaa lopputuloksen perustuen k lähimmän datapisteen enemmistöluokkaan (luokittelu) tai keskiarvoon (regressio).

7. Neuroverkot

• Tarkoitus: Mallintaa monimutkaisia epälineaarisia suhteita.
• Toiminta: Koostuu kerroksista toisiinsa yhdistetyistä solmuista (neuroneista), jotka käsittelevät syötedataa tuottaen lopputuloksen.

8. Satunnaismetsä

• Tarkoitus: Parantaa ennustetarkkuutta ja ehkäistä ylisovitusta.
• Toiminta: Rakentaa useita päätöspuita ja yhdistää niiden tulokset.

Ohjatun oppimisen sovellukset ja käyttökohteet

Ohjatun oppimisen algoritmit ovat monipuolisia ja niitä hyödynnetään laajasti eri aloilla.

1. Kuvien ja objektien tunnistus

• Sovellus: Kuvien luokittelu tai objektien tunnistaminen kuvista.
• Esimerkki: Eläinten tunnistaminen luontokuvista tai vikojen havaitseminen tuotannossa.

2. Ennakoiva analytiikka

• Sovellus: Tulevien trendien ennustaminen historiallisen datan perusteella.
• Esimerkki: Myynnin ennustaminen, pörssikurssien arviointi, toimitusketjujen optimointi.

3. Luonnollisen kielen käsittely (NLP)

• Sovellus: Ihmiskielen ymmärtäminen ja tuottaminen.
• Esimerkki: Tunnereaktioanalyysi, käännökset, chatbotin vuorovaikutus.

4. Roskapostin tunnistus

• Sovellus: Ei-toivottujen sähköpostien suodatus.
• Esimerkki: Sähköpostien luokittelu sisällön perusteella “roskapostiksi” tai “ei roskapostiksi”.

5. Petosten tunnistus

• Sovellus: Vilpillisten toimintojen havaitseminen.
• Esimerkki: Pankkitapahtumien seuranta poikkeavuuksien varalta.

6. Lääketieteellinen diagnoosi

• Sovellus: Sairauksien tunnistaminen ja ennustaminen.
• Esimerkki: Syövän uusiutumisen ennustaminen potilastiedoista.

7. Puheentunnistus

• Sovellus: Puhutun kielen muuttaminen tekstiksi.
• Esimerkki: Ääniavustajat kuten Siri tai Alexa, jotka ymmärtävät käyttäjän komennot.

8. Henkilökohtaiset suositukset

• Sovellus: Tuotteiden tai sisällön suositteleminen käyttäjälle.
• Esimerkki: Verkkokaupat ehdottavat tuotteita aiempien ostosten perusteella.

Ohjattu oppiminen tekoälyn automaatiossa ja chatboteissa

Ohjattu oppiminen on olennainen osa tekoälyn automaatiota ja chatbot-teknologioita.

1. Aikeen luokittelu

• Tarkoitus: Selvittää käyttäjän aikeet syötteestä.
• Sovellus: Chatbotit käyttävät ohjatun oppimisen malleja, jotka on koulutettu esimerkkikysymyksillä ja niihin liittyvillä aikeilla, jotta ne ymmärtävät pyynnöt.

2. Entiteettien tunnistus

• Tarkoitus: Tunnistaa ja poimia olennaista tietoa käyttäjän syötteestä.
• Sovellus: Poimii esimerkiksi päivämääriä, nimiä, sijainteja tai tuotenimiä relevanttien vastausten antamiseksi.

3. Vastausten generointi

• Tarkoitus: Tuottaa tarkkoja ja kontekstiin sopivia vastauksia.
• Sovellus: Mallien kouluttaminen keskusteludatalla, jotta chatbot osaa vastata luonnollisesti.

4. Tunnereaktioanalyysi

• Tarkoitus: Tunnistaa käyttäjän viestien tunnepitoisuus.
• Sovellus: Muokkaa vastauksia käyttäjän tunnetilan mukaan, esimerkiksi tarjoaa apua turhautumisen havaitessa.

5. Personointi

• Tarkoitus: Räätälöi vuorovaikutusta käyttäjän mieltymysten ja historian perusteella.
• Sovellus: Chatbotit antavat yksilöllisiä suosituksia tai muistavat aiemmat keskustelut.

Esimerkki chatbotin kehityksestä:

Asiakaspalveluchatbot koulutetaan ohjatulla oppimisella historiallisista keskustelulokeista. Jokainen keskustelu on nimetty asiakkaan aikeiden ja sopivien vastausten mukaan. Chatbot oppii tunnistamaan yleiset kysymykset ja antamaan tarkkoja vastauksia, mikä parantaa asiakaskokemusta.

Ohjatun oppimisen haasteet

Vaikka ohjattu oppiminen on tehokas, siihen liittyy useita haasteita:

1. Datan nimeäminen

• Haaste: Nimetyn datan hankinta voi olla aikaa vievää ja kallista.
• Vaikutus: Ilman riittävästi laadukasta nimettyä dataa mallin suorituskyky voi kärsiä.
• Ratkaisu: Hyödynnä data-augmentaatiota tai puoli-ohjattua oppimista käyttämättömän datan hyödyntämiseksi.

2. Ylisovitus

• Haaste: Malli voi menestyä hyvin koulutusdatalla, mutta huonosti uudella datalla.
• Vaikutus: Ylisovitus heikentää mallin yleistettävyyttä.
• Ratkaisu: Käytä regularisointia, ristiinvalidointia ja yksinkertaisempia malleja ylisovituksen ehkäisemiseksi.

3. Laskennallinen monimutkaisuus

• Haaste: Monimutkaisten mallien koulutus suurilla tietoaineistoilla vaatii paljon laskentatehoa.
• Vaikutus: Rajoittaa mallien skaalautuvuutta.
• Ratkaisu: Käytä ulottuvuuksien vähennystekniikoita tai tehokkaampia algoritmeja.

4. Vinoumat ja reiluus

• Haaste: Mallit voivat oppia ja vahvistaa koulutusdatassa olevia vinoumia.
• Vaikutus: Voi johtaa epäoikeudenmukaisiin tai syrjiviin lopputuloksiin.
• Ratkaisu: Varmista monipuolinen ja edustava koulutusdata ja ota käyttöön reiluuden rajoitteita.

Vertailu ohjaamattomaan oppimiseen

Erot ohjatun ja ohjaamattoman oppimisen välillä on tärkeä ymmärtää oikean lähestymistavan valitsemiseksi.

Ohjattu oppiminen

Ohjaamaton oppiminen

Keskeiset erot:

• Nimetty vs. nimeämätön data: Ohjattu oppiminen perustuu nimettyihin tietoaineistoihin, kun taas ohjaamaton oppiminen käyttää nimeämätöntä dataa.
• Lopputulos: Ohjattu oppiminen ennustaa tunnettuja lopputuloksia, ohjaamaton tunnistaa piileviä malleja ilman ennalta määrättyä lopputulosta.

Esimerkki ohjaamattomasta oppimisesta:

• Klusterointialgoritmit: Ryhmittelevät asiakkaita ostokäyttäytymisen perusteella ilman etukäteisluokituksia, hyödyllistä markkinasegmentoinnissa.
• Ulottuvuuden vähennys: Tekniikat, kuten pääkomponenttianalyysi (PCA), vähentävät muuttujien määrää säilyttäen samalla vaihtelua, helpottaen korkean ulottuvuuden datan visualisointia.

Puoli-ohjattu oppiminen

Määritelmä:

Puoli-ohjattu oppiminen yhdistää ohjatun ja ohjaamattoman oppimisen piirteitä. Siinä käytetään pientä määrää nimettyä dataa yhdessä suuren määrittämättömän aineiston kanssa koulutuksessa.

Miksi käyttää puoli-ohjattua oppimista?

• Kustannustehokas: Vähentää laajan nimetyn datan tarvetta, jonka hankinta voi olla kallista.
• Parantaa suorituskykyä: Saavuttaa usein parempia tuloksia kuin pelkkä ohjaamaton oppiminen, hyödyntämällä osittain nimettyä dataa.

Sovellukset:

• Kuvien luokittelu: Kaikkien kuvien nimeäminen on epäkäytännöllistä, mutta osan nimeäminen tehostaa koulutusta.
• Luonnollisen kielen käsittely: Kielimallien parantaminen rajallisen annotoidun tekstin avulla.
• Lääketieteellinen kuvantaminen: Hyödynnetään suurta joukkoa nimeämättömiä kuvia ja muutamia nimettyjä esimerkkejä diagnostisten mallien parantamiseen.

Keskeiset termit ja käsitteet

• Koneoppimismallit: Algoritmeja, jotka on koulutettu tunnistamaan malleja ja tekemään päätöksiä mahdollisimman vähällä ihmisen ohjauksella.
• Datapisteet: Yksittäiset tiedot, joissa on ominaisuudet ja nimitys, joita käytetään koulutuksessa.
• Toivottu lopputulos: Oikea tulos, jonka malli pyrkii ennustamaan.
• Tekoäly: Ihmisen kaltaisen älykkyyden simulointi tietokonejärjestelmillä.
• Ulottuvuuden vähennys: Tekniikat, joilla vähennetään datan syötemuuttujien määrää.

Tutkimus ohjatusta oppimisesta

Ohjattu oppiminen on keskeinen koneoppimisen alue, jossa malleja koulutetaan nimetyllä datalla. Tämä oppimismuoto on perustavanlaatuinen monissa sovelluksissa, kuten kuvantunnistuksessa ja luonnollisen kielen käsittelyssä. Alla on joitakin merkittäviä tutkimuksia, jotka edistävät ohjatun oppimisen ymmärrystä ja kehitystä.

1. Self-supervised self-supervision by combining deep learning and probabilistic logic

   • Kirjoittajat: Hunter Lang, Hoifung Poon
   • Yhteenveto: Tässä tutkimuksessa käsitellään koulutusesimerkkien nimeämisen haastetta suuressa mittakaavassa, mikä on yleinen ongelma koneoppimisessa. Kirjoittajat esittelevät uuden menetelmän nimeltä Self-Supervised Self-Supervision (S4), joka parantaa Deep Probabilistic Logic (DPL) -menetelmää mahdollistamalla sille uuden itseohjauksen oppimisen automaattisesti. Tutkimuksessa kuvataan, miten S4 aloittaa alkuperäisestä “siemenestä” ja ehdottaa iteratiivisesti uusia itseohjaavia malleja, jotka voidaan joko lisätä suoraan tai tarkastaa ihmisen toimesta. Tulokset osoittavat, että S4 voi automaattisesti ehdottaa tarkkoja itseohjaavia malleja ja saavuttaa lähes ohjatun oppimisen tuloksia minimaalisella ihmisen osallistumisella.
   • Linkki julkaisuun: Self-supervised self-supervision by combining deep learning and probabilistic logic

2. **Rethinking Weak Super