Jäsentelemätön data

Mitä on jäsentelemätön data?

Jäsentelemätön data on tietoa, jolla ei ole ennalta määriteltyä rakennetta tai järjestelyä. Toisin kuin jäsennelty data, joka sijaitsee tietokantojen tai taulukkolaskentojen kiinteissä kentissä, jäsentelemätön data on usein tekstiä painottavaa ja sisältää useita tietotyyppejä, kuten päivämääriä, numeroita ja faktoja.

Tämän rakenteen puuttuminen tekee datan keräämisestä, käsittelystä ja analysoinnista haastavaa perinteisillä datanhallintatyökaluilla. IDC ennustaa, että vuonna 2025 maailmanlaajuinen datamäärä yltää 175 zettatavuun, josta 80 % on jäsentelemätöntä. Noin 90 % jäsentelemättömästä datasta jää analysoimatta, ja tätä kutsutaan usein “pimeäksi dataksi”.

Jäsentelemättömän datan ominaisuudet

• Ennalta määritellyn rakenteen puute: Data ei noudata kiinteää rakennetta, mikä mahdollistaa tallennuksen ilman huolta ennalta määritellyistä sarakkeista tai riveistä. Tämä joustavuus kuitenkin vaikeuttaa datan järjestämistä ja hakua.
• Monimuotoiset muodot: Jäsentelemätön data kattaa laajan kirjon eri tyyppisiä tietoja, kuten tekstidokumentit, sähköpostit, kuvat, videot, äänitiedostot, sosiaalisen median julkaisut ja muuta. Jokainen muoto sisältää runsaasti kontekstuaalista tietoa, kuten sijainteja, toimintoja, eleitä tai tunteita.
• Suuri määrä: Suurin osa nykyään tuotetusta datasta on jäsentelemätöntä. Arvioiden mukaan jäsentelemätön data muodostaa noin 80–90 % kaikesta organisaatioiden tuottamasta datasta, mikä edellyttää kehittyneitä työkaluja ja tekniikoita sen käsittelyyn ja analysointiin.
• Monimutkaisuus: Datan analysointi edellyttää kehittyneitä algoritmeja ja merkittäviä laskentaresursseja, usein hyödyntäen tekoälyä ja koneoppimista toiminnallisten oivallusten tuottamiseen.

Esimerkkejä jäsentelemättömästä datasta

Tekstipohjainen data

• Sähköpostit: Viestintää yksilöiden tai ryhmien välillä, usein liitteineen ja multimediasisältöineen. Sähköpostien analysointi voi tuottaa tietoa asiakaspalautteesta ja organisaation viestintäkuvioista.
• Tekstinkäsittelydokumentit: Raportit, muistiot ja muut tekstiasiakirjat, jotka on luotu esimerkiksi Microsoft Wordilla. Näistä voidaan louhia tietoa mielipideanalyysiin ja sisällön luokitteluun.
• Esitykset: PowerPointilla ja muilla työkaluilla tehdyt esitykset, joita käytetään esimerkiksi liiketoiminta-analyyseissä.
• Verkkosivut: Verkkosivustojen sisältö, kuten blogit ja artikkelit, joita voidaan analysoida trendien ja markkinatutkimuksen näkökulmasta.
• Sosiaalisen median julkaisut: Alustojen, kuten Twitterin, Facebookin ja LinkedInin, julkaisut, kommentit ja viestit tarjoavat runsaan lähteen mielipideanalyysiin ja brändiseurantaan.

Multimedia-data

• Kuvat: Valokuvat, grafiikat ja kuvitukset esimerkiksi JPEG-, PNG- ja GIF-muodoissa. Kuvien analysointi on tärkeää mm. kasvojentunnistuksessa ja lääketieteellisessä diagnostiikassa.
• Äänitiedostot: Ääninauhoitukset, musiikkitiedostot ja podcastit esimerkiksi MP3- ja WAV-muodoissa. Äänianalyysi tukee mm. puheentunnistusta ja ääniohjattuja avustajia.
• Videotiedostot: Tallenteet ja videoleikkeet, kuten MP4-, AVI- ja MOV-muodot, joita käytetään esimerkiksi videovalvonnassa ja sisällön automaattisessa tunnistuksessa.

Koneellisesti tuotettu data

• Sensoridata: Laitteiden, kuten älypuhelinten, teollisuuslaitteiden ja IoT-laitteiden sensorien keräämää tietoa, kuten lämpötiloja, GPS-koordinaatteja ja ympäristötietoja. Tämä data on keskeistä ennakoivassa huollossa ja toiminnan kehittämisessä.
• Lokitiedostot: Ohjelmistojen ja järjestelmien tuottamia kirjauksia käyttäjätoiminnasta, järjestelmän suorituskyvystä ja virheistä, joita tarvitaan kyberturvallisuuteen ja suorituskyvyn seurantaan.

Jäsennelty vs. jäsentelemätön data

Mihin jäsentelemätöntä dataa käytetään?

Jäsentelemätön data tarjoaa valtavan potentiaalin organisaatioille, jotka haluavat saada syvällisiä oivalluksia ja tehdä parempia päätöksiä. Tässä joitakin keskeisiä käyttökohteita:

Asiakasanalyytiikka

Yritykset voivat ymmärtää paremmin asiakkaiden tunteita, mieltymyksiä ja käyttäytymistä analysoimalla jäsentelemätöntä dataa asiakaskohtaamisista, kuten sähköposteista, some-julkaisuista ja puhelinkeskustelujen litteroinneista. Tämä analyysi voi johtaa parempaan asiakaskokemukseen ja kohdennettuihin markkinointistrategioihin.

Käyttötapaus:
Vähittäiskauppias kerää ja analysoi sosiaalisen median julkaisuja ja arvosteluita arvioidakseen asiakastyytyväisyyttä uuteen tuotelinjaan ja mukauttaa valikoimaansa sen mukaan.

Mielipideanalyysi

Mielipideanalyysi tarkoittaa jäsentelemättömän tekstidatan käsittelyä tunteiden tunnistamiseksi. Se auttaa yrityksiä ymmärtämään yleistä mielipidettä, seuraamaan brändin mainetta ja vastaamaan asiakkaiden huoliin.

Käyttötapaus:
Yritys seuraa twiittejä ja blogikirjoituksia arvioidakseen reaktioita mainoskampanjaansa ja pystyy tekemään muutoksia reaaliajassa.

Ennakoiva huolto

Analysoimalla koneellisesti tuotettua jäsentelemätöntä dataa, kuten sensoreiden ja lokien tietoja, organisaatiot voivat ennakoida laiterikkoja ja aikatauluttaa huoltoa ennakoivasti, mikä vähentää seisokkeja ja kustannuksia.

Käyttötapaus:
Teollisuusvalmistaja hyödyntää koneiden sensoridataa arvioidakseen, milloin osa todennäköisesti pettää, ja pystyy vaihtamaan sen oikea-aikaisesti.

Liiketoimintatieto ja analytiikka

Jäsentelemätön data rikastuttaa business intelligence -toimintaa tarjoamalla kokonaisvaltaisemman näkymän organisaation tietoon. Jäsennellyn ja jäsentelemättömän datan yhdistäminen tuo syvällisempiä oivalluksia.

Käyttötapaus:
Rahoituslaitos analysoi asiakassähköposteja ja transaktiotietoja havaitakseen petoksia tehokkaammin.

Luonnollisen kielen käsittely (NLP) ja koneoppiminen

Kehittyneet teknologiat, kuten NLP ja koneoppiminen, mahdollistavat merkityksellisen tiedon poiminnan jäsentelemättömästä datasta. Näillä teknologioilla voidaan automatisoida yhteenvedot, käännökset ja sisällön luokittelu.

Käyttötapaus:
Uutisaggregointipalvelu käyttää NLP:tä artikkeleiden luokitteluun aiheittain ja luo niistä tiivistelmiä lukijoille.

Jäsentelemättömän datan haasteet

Tallennus ja hallinta

• Määrä: Datan suuri määrä edellyttää skaalautuvia tallennusratkaisuja.
• Kustannukset: Suurten tietomäärien tallennus voi olla kallista, joten tarvitaan kustannustehokkaita tapoja.
• Järjestely: Ilman ennalta määrättyä rakennetta datan järjestäminen ja haku on monimutkaista.

Käsittely ja analyysi

• Monimutkaisuus: Jäsentelemättömän datan analysointi vaatii kehittyneitä algoritmeja ja paljon laskentatehoa.
• Datan laatu: Datan seassa voi olla virheitä, duplikaatteja tai epäolennaista tietoa.
• Osaamisvaatimukset: Tarvitaan erityisosaajia big data -analytiikasta, koneoppimisesta ja NLP:stä.

Tietoturva ja sääntely

• Tietoturva: Arkaluonteisen datan suojaaminen murroilta on oleellista.
• Sääntely: Datan käsittelyn pitää noudattaa esimerkiksi GDPR- ja HIPAA-vaatimuksia, mikä tuo lisähaastetta.

Tekniikat ja työkalut jäsentelemättömän datan käsittelyyn

Tallennusratkaisut

• NoSQL-tietokannat: Esimerkiksi MongoDB ja Cassandra on suunniteltu jäsentelemättömän ja puolijäsennellyn datan hallintaan, tarjoten joustavuutta ja skaalautuvuutta.
• Datalake-ratkaisut: Keskitetyt tietovarastot, joissa voidaan tallentaa kaikenlaisia tietotyyppejä niiden alkuperäisissä muodoissa, mahdollistaen laaja-alaisen analytiikan.
• Pilvitallennus: Palvelut kuten Amazon S3, Google Cloud Storage ja Microsoft Azure Blob Storage tarjoavat skaalautuvia ja kustannustehokkaita vaihtoehtoja.

Datan käsittelykehykset

• Hadoop: Avoimen lähdekoodin kehys, joka mahdollistaa suurten tietomassojen hajautetun käsittelyn tietokoneklustereissa yksinkertaisilla ohjelmointimalleilla.
• Apache Spark: Nopea ja monipuolinen hajautettu laskentajärjestelmä big data -käyttöön, tukee myös muistiin perustuvaa käsittelyä.

Analytiikkatyökalut

• Tekstianalytiikka ja NLP:
  • Mielipideanalyysi: Työkalut, jotka arvioivat tekstidatan tunnepitoisuutta.
  • Entiteettien tunnistus: Tunnistetaan ja luokitellaan tekstin keskeisiä elementtejä.
  • Koneoppimisalgoritmit: Klusterointi ja luokittelu auttavat löytämään datasta kuvioita ja oivalluksia.
• Data mining: Hyödyllisen tiedon louhiminen suurista tietomassoista piilevien kuvioiden ja oivallusten löytämiseksi.