Tietovarastolla on perinteisesti tarkoitettu relaatiotietokantaa, johon tieto on ladattu ETL-välineillä ja -proseduureilla eri tietolähteistä. Tietovarasto käsitteenä ei ole pitänyt sisällään tiedon hyödyntämiseen, julkaisuun ja jakeluun liittyviä asioita, vaan ne on usein käsitelty erillisinä asioina. Tiedon käyttäjät on unohdettu tietovarastoratkaisujen suunnittelussa. Tämä on johtanut ongelmiin tietovarastoissa. Tarve tietovarastoinnille ei ole kuitenkaan poistunut mihinkään – luotettavaa tietoa päätöksenteon tukemiseksi kaivataan yhä enemmän. Ongelmana on, että perinteiset tietovarastoratkaisut eivät pysty tarjoamaan tietoa riittävän nopeasti, monipuolisesti ja kustannustehokkaasti.
Moderni tietovarastoratkaisu on jo kuitenkin laaja kokonaisuus, joka sisältää tiedon keruun ja varastoinnin, tiedon laadunhallinnan, tallennuksen, jakelun ja hyödyntämisen. Lisäksi siihen kuuluvat tietomallit ja työkalut tiedon analysointiin ja raportointiin.
Moderni tietovarastoratkaisu perustuu tietovarastoautomaatioon (ADW). Se pystyy tarjoamaan myös tietoa Big Data -ratkaisuista ja hyödyntämään pilviratkaisujen tietolähteitä, tallennusratkaisuja sekä analysointi- ja tiedonkäsittelysovelluksia.
A. Automaatio
Perinteisten tietovarastojen yhtenä ongelmana on, että niiden kehittäminen on hidasta. Tämä johtaa siihen, että tietovarasto ei pysty tarjoamaan toiminnan tarvitsemia tietoja riittävän nopealla tahdilla. Syinä tähän ovat:
- ETL-proseduurien ohjelmointi on hidasta
- Tulokset eivät tue tarpeita: on hyvin vaikeaa määritellä toiminnan vaatimuksia ennen teknistä toteutusta – heti tulosten valmistuttua on aloitettava muutosprojekti
- Tieto-ongelmat dataan liittyen ilmenevät vasta lopputestauksessa
Ratkaisuna tähän ongelmaan on tietovarastoautomaatio (ADW). Se tarkoittaa, että joko lähdeaineiston tai käsitemallin perusteella generoidaan tietovarastorakenteet ja ELT-proseduurit. Automaation avulla kehittäminen on nopeaa, muutoksia tietosisältöön voidaan tehdä joustavasti kehittämisen aikana sekä hyödyntää käyttäjälähtöisiä ketteriä kehittämismenetelmiä. Tietovaraston tietosisältöä voidaan muuttaa ja laajentaa nopealla tahdilla.
B. Big Data
Korvaako Big Data -ratkaisut tietovarastoa ja kannattaako tietovarastoon panostaa, jos halutaan hyödyntää Big Dataa?
Big Data on karkeasti kuvattuna teknologia, jonka avulla pystytään käsittelemään suuria tietomassoja ja joiden data voi olla järjestelemätön. Big Data -ratkaisuun kuuluu tiedon keruu, tallentaminen, jakaminen, käsitteleminen ja esittäminen. Tiedon käsittely ja analysointi tapahtuvat usein tilastotieteellisillä menetelmillä tai erilaisilla algoritmeilla, mikä vaatii paljon muistia, tallennustilaa, tehoa ja rinnakkaista prosessointia. Analysoimalla tätä tietomassaa voidaan löytää korrelaatiota ja trendejä, jotka auttavat tekemään parempia päätöksiä.
Tietovarasto on taas arkkitehtuuri, joka määrittelee, miten tieto integroidaan eri tietolähteistä ja julkaistaan muodossa, joka voidaan käyttää BI-työkaluissa. Tieto on selkeästi organisoitu aiheittain ja käsitteittäin, ja käsitteiden tietosisältö ja käsitteiden väliset yhteydet ovat selkeästi määriteltyjä. Erilaisissa tietovarastoarkkitehtuureissa (EDW, tähtimallit, Data Vault) tiedon organisointi on erilainen ja on olemassa eri teknologioita, joiden avulla sama tietovarasto voidaan implementoida. Tavoitteena on tarjota luotettavaa dataa ja trendejä, joiden avulla voidaan tehdä parempia päätöksiä.
Tietovarastot ja Big Data -ratkaisut ovat siis kaksi eri asiaa, joilla on kuitenkin sama tavoite: mahdollistaa parempia päätöksiä. Ne toimivat kuitenkin eri periaatteilla ja käsittelevät erilaisia tietoja. Toinen ei korvaa toista. Moderni tietovarastoratkaisu tarjoaa mahdollisuuden hyödyntää sekä selkeät tietovarastorakenteet että Big Data -tietolähteet.
C. Cloud – Pilvi
Maailmalla on tarjolla useita ratkaisuja, jotka tarjoavat erilaisia tietovarastointiin ja analytiikkaan liittyviä pilvipalveluita. Joillakin niistä on laaja skaala erilaisia palveluja ja työkaluja pilvipalveluissaan, toiset taas keskittyvät joihinkin tiettyihin osa-alueisiin.
Pilviratkaisuja voidaan kaiken kaikkiaan hyödyntää monella tavalla modernissa tietovarastoratkaisussa.
- Tiedon visualisointi ja esittäminen eri laitteilla
- Tiedon analysointi tilastotieteellisillä menetelmillä tai tietoteknisillä algoritmeillä
- Big Datan ja muun pilvessä olevan ja paikallisten tietojen yhdistäminen
- Erityyppisten tietolähteiden liittäminen yhteen, mukaan lukien Big Data -tietolähteet, muut pilvipalvelut, sosiaalinen media ja muita verkkolähteitä
- Tietovarastointi pilvessä
Moderni tietovarastoratkaisu
Moderni tietovarastoratkaisu
Modernin tietovarastoratkaisun tunnusmerkkejä:
- tarjoaa käyttäjilleen tietoja sekä tietovarastoista että Big Data -lähteistä. Käyttäjillä on käytössä monipuolisia työkalua tiedon visualisointiin, raportointiin, analyyseihin sekä hakuun.
- on automatisoitu ja sitä kehitetään jatkuvasti ketterillä menetelmillä.
- lähteinä on monia erityyppisiä tietolähteitä: operatiivisia tietojärjestelmiä, tietokantoja, laitteita, sensoreita, verkkopalveluja, sosiaalinen media, tiedonkeruuohjelmia (”crawler”)
- käyttää tietolähteenä Big Dataa tietovarastolle että analytiikka-, visualisointi-ja raportointiratkaisulle.
