Politik

Big Data och Hadoop, ny öppen kodrörelse och den sociala webben

Sociala Webben med sina sociala nätverk med tiotals miljoner mobilutrustade användare skiljer sig från den tidigare statiska webben på ett fundamental sätt, den måste kunna hantera gigantiska, rent ofattbara, mängder med data. Inte kilobytes förstås, inte megabytes heller, inte heller gigabytes som på den statiska webben utan nu handlar det om petabytes. Och för att kunna handera så stora mängder data så måste man använda helt nya verktyg, och det är här som Hadoop kommer in. Ett ramverk i Apache-familjen som är baserat på Googles Map Reduce metod att utföra supersnabba distribuerade sökningar på webben, med hjälp av Googles gigantiska datacentraler med tiotusentals billiga Intel-datorer.

Hadoop används av ett mycket stort antal sociala startupföretag och håller nu på att bli nästan lika viktigt som den gamla hederliga LAMP-stacken som blev startskottet för Web 2.0.

Kovas Boguta skriver på teknikbloggen TechCrunch om Hadoop & Startups: Where Open Source Meets Business Data | TechCrunch

The key to understanding Hadoop’s significance is that it’s not just a specific piece of technology, but a movement of developers trying to collectively solve the Big Data problems of their organizations. As the Hadoop growth curves illustrate, the technological foundation for a data-oriented open-source ecosystem has been laid, and a family of related technology is starting to emerge. Exactly in the same way Rails, Memcached and arguably even the Cloud emerged from the LAMP movement.

Hadoop kommer med HBase, en öppen kodversion av Googles Bigtable, som är en distribuerad databas och som är en hörnpelare i Googles söksystem. Spark Project som är ett Öppen Kod cluster computing system som gör att man kan köra Hadoopjobb 30 ggr snabbare än hittills.

Det här är en oerhört viktig utveckling som gör det möjligt att hantera de gigantiska mängder med data som utgör den sociala webben. En ny LAMP-stack om man så vill, som kommer att snabba på den redan snabba utvecklingen på Webben.

Och eftersom Hadoop är öppen kod så är den tillgänglig för alla.

Axplock från den nordiska pressen:

SvD – Senaste nytt,digi.no, ITavisen.no, ITavisen.no, ITavisen.no, ITavisen.no

[tags] LinkedIn, Mountain View,Google, Palo Alto, Stanford University, San Jose, Zynga, Twitter, Oracle, Intel, Hewlett-Packard, Apple, Oracle, Cisco,Electronic Arts, Facebook, Nvidia, Symantec, Yahoo, Juniper, AMD, VMWare, EBay, Tesla Motors, Microsoft, Hadoop, Spark Project, HBase[/tags]