Politik

Har du koll på Hadoop, en av hörnpelarna i den globaliserade sociala webben?

Vi lever i ett helt nytt lags samhälle, ett samhälle till bredden fyllt med data. Data om dig, om mig, ekonomiska data, data i sociala nätverk, data inom sjukvården, inom skolan, industrin, nöjeslivet, från FRA, kort sagt ren jäkla massa data.

Hur hanter vi alla dessa data, all den här informationen som idag inte längre handlar om kilobytes, megabytes eller ens gigabytes utan om petabytes med data?

Den öppna kodrörelsen, som är den rörelse som har gjort de sociala nätverken och demokratirörelser som Jasminrevolutionen möjliga, har utvecklat verktyg som Apache Hadoop ett ramverk skrivit i Java som gör det möjligt att analysera och behandla gigantiska mängder med data på tusentals billiga distribuerade Intel-datorer med en enkel programmeringsmodell, s.k. Map Reduce, som utvecklades på Google år 2004 och som idag används för att göra supersnabba sökningar på webben.

Hadoop och Map Reduce används på Facebook, Twitter, Google (Som använder sin egen ursprungliga version), Yahoo och en stor mängd Webbaserade startupföretag här i Silicon Valley.

Kortfattat så kan man säga att Hadoop en helt ny lags distribuerad databas, anpassad till dagens enorma datamängder. Det är helt enkelt enda möjligheten att analysera och behandla såna extrema datamängder.

Så här förklarar man på Twitter hur man använder Hadoop Hadoop at Twitter

Imagine you have a cluster of 100 computers. Hadoop’s distributed file system makes it so you can put data “into Hadoop” and pretend that all the hard drives on your machines have coalesced into one gigantic drive. Under the hood, it breaks each file you give it into 64- or 128-MB chunks called blocks and sends them to different machines in the cluster, replicating each block three times along the way. Replication ensures that one or even two of your 100 computers can fail simultaneously, and you’ll never lose data. In fact, Hadoop will even realize that two machines have failed and will begin to re-replicate the data, so your application code never has to care about it!

The second main component of Hadoop is its map-reduce framework, which provides a simple way to break analyses over large sets of data into small chunks which can be done in parallel across your 100 machines.

De webbaserade sociala nätverken är dagens motsvarighet till forna tiders järnvägar, motorvägar, radio och TV. Det är helt enkelt den nya globala data-drivna infrastrukturen som vi alla använder närhelst vi sätter på våra mobiler, googlar och kopplar upp oss till de väldiga datormolnen.

Och Hadoop, uppkallad efter uppfinnaren Doug Cuttings sons leksakselefant, är en av de nyckelverktyg som används för att skapa ett nytt datadriver samhälle.

Den som vill jobba som programmerare i Silicon Valley, Kista eller Seattle bör lära sig det mycket matnyttiga Hadoop i grunden.

Det är också viktigt att påpeka att Hadoop är Öppen Kod, tillgänglig för alla data-intresserade över hela världen, och inte bara för regeringar, storföretag och myndigheter. En i sanning revolutionerande teknologi som alltså kommer härifrån Silicon Valley.

Läs boken ovan, den är viktig.

Axplock från den nordiska pressen:

SvD – Senaste nytt,SvD – Senaste nytt, SvD – Senaste nytt, digi.no, digi.no, digi.no, ITavisen.no, ITavisen.no

[tags]Hadoop, Apache Hadoop, Hadoop Twitter, Hadoop Facebook, MapReduce Google, Google Hadoop, Silicon Valley Hadoop [/tags]