Vi lever i ett helt nytt lags samhälle, ett samhälle till bredden fyllt med data. Data om dig, om mig, ekonomiska data, data i sociala nätverk, data inom sjukvården, inom skolan, industrin, nöjeslivet, från FRA, kort sagt ren jäkla massa data.
Hur hanter vi alla dessa data, all den här informationen som idag inte längre handlar om kilobytes, megabytes eller ens gigabytes utan om petabytes med data?
Den öppna kodrörelsen, som är den rörelse som har gjort de sociala nätverken och demokratirörelser som Jasminrevolutionen möjliga, har utvecklat verktyg som Apache Hadoop ett ramverk skrivit i Java som gör det möjligt att analysera och behandla gigantiska mängder med data på tusentals billiga distribuerade Intel-datorer med en enkel programmeringsmodell, s.k. Map Reduce, som utvecklades på Google år 2004 och som idag används för att göra supersnabba sökningar på webben.
Hadoop och Map Reduce används på Facebook, Twitter, Google (Som använder sin egen ursprungliga version), Yahoo och en stor mängd Webbaserade startupföretag här i Silicon Valley.
Continue reading