Introduction to Large Data Challenges

Kun työskentelet suurten tietoaineistojen kanssa, kohtaat nopeasti ongelmia, joita ei esiinny pienemmän datan kanssa. Yksi yleisimmistä haasteista on muistin rajallisuus. Tietokoneesi RAM (keskitallennusmuisti) on paljon nopeampi kuin kiintolevy tai SSD, mutta myös huomattavasti pienempi. Jos tietoaineisto on liian suuri mahtuakseen RAM-muistiin, sen lataaminen kokonaisuudessaan voi aiheuttaa ohjelman kaatumisen tai järjestelmän merkittävän hidastumisen.

Tässä kohtaa levyn ja RAM-muistin ero korostuu. Vaikka levytilaan mahtuu teratavuittain dataa, tiedon hakeminen levyltä on paljon hitaampaa kuin RAM-muistista. Perinteiset menetelmät, kuten koko CSV-tiedoston lataaminen pandas DataFrameen, toimivat hyvin pienillä aineistoilla, mutta epäonnistuvat usein suurten aineistojen kanssa, koska kaikki data pitäisi mahtua muistiin kerralla.

Näiden rajoitusten kiertämiseksi käytetään tekniikoita kuten paloittelu (chunking) ja virtautus (streaming).

• Paloittelu tarkoittaa datan lukemista ja käsittelyä pienemmissä, hallittavissa osissa sen sijaan, että kaikki ladattaisiin kerralla. Näin voidaan analysoida tai muokata dataa, joka ei kokonaisuudessaan mahtuisi muistiin;
• Virtautus vie tämän vielä pidemmälle käsittelemällä dataa lennossa sitä mukaa kun sitä luetaan, usein käyttäen iteraattoreita tai generaattoreita, jolloin koko aineistoa ei tarvitse koskaan ladata muistiin.

Näiden haasteiden ja ratkaisujen ymmärtäminen on olennaista kaikille, jotka työskentelevät suurten tietomäärien kanssa, olipa kyseessä data-analyysi, analytiikka tai koneoppiminen. Seuraavissa luvuissa opit käytännön tapoja jakaa dataa paloihin, käsitellä tietovirtoja ja hallita suuria aineistoja tehokkaasti Pythonilla.