Sociala Webben med sina sociala nätverk med tiotals miljoner mobilutrustade användare skiljer sig från den tidigare statiska webben på ett fundamental sätt, den måste kunna hantera gigantiska, rent ofattbara, mängder med data. Inte kilobytes förstås, inte megabytes heller, inte heller gigabytes som på den statiska webben utan nu handlar det om petabytes. Och för att kunna handera så stora mängder data så måste man använda helt nya verktyg, och det är här som Hadoop kommer in. Ett ramverk i Apache-familjen som är baserat på Googles Map Reduce metod att utföra supersnabba distribuerade sökningar på webben, med hjälp av Googles gigantiska datacentraler med tiotusentals billiga Intel-datorer.
Hadoop används av ett mycket stort antal sociala startupföretag och håller nu på att bli nästan lika viktigt som den gamla hederliga LAMP-stacken som blev startskottet för Web 2.0.
Kovas Boguta skriver på teknikbloggen TechCrunch om Hadoop & Startups: Where Open Source Meets Business Data | TechCrunch
