Politik

Hajp, myter och lögner kring Hadoop och Big Data, sanningen som alla vill dölja

De flesta som är intresserade av världen omkring oss vet vid det här laget att digitaliseringen av samhället skapar gigantiska datamängder som kan sparas och analyseras. Det är inte bara NSA och FRA utan också sjukhus och läkare som vill hitta högriskpatienter, det är företag som vill veta mer om hur deras kunder beter sig och tro det eller ej, museer som vill veta vad besökarna är mest intresserade av . Big Data är en historisk utveckling som kan jämföras med industrialiseringen eftersom den öppnar upp en helt ny dimension på samhället. Ett litet och närmast trivialt exempel är all kroppselektronik vi nu bär på oss för att kontinuerligt kolla vår hälsa och hur vi sover.

Och för att analysera stora datamängder så använder man den öppna kodprodukten Hadoop, som egentligen består av en hel radda produkter.
Investerare har satsat två miljarder dollar på Silicon Valley-baserade Hadoop-företag som Hortonworks, som just börsintroducerades, Cloudera, och MapR under de senaste åren. Det enda problemet är att resultatet av mängder med dataanalys av stora datamängder med Hadoop inte har infriat förväntningarna!

Mycket pinsamt med tanke på hur viktigt Big Data är i dagens samhälle. Man räknar med att Big Data marknaden kommer att vara värd $41.5 miljarder år 2018.

Elizabeth Dwoskin skriver i Wall Street Journal: The Joys and Hype of Software Called Hadoop Big Data Is Hot in Silicon Valley, and Hadoop Underpins Craze

Underpinning the big-data craze is Hadoop, a software suite named for a toy elephant belonging to the son of a Yahoo programmer who helped develop the software in the mid-2000s. While traditional databases like those offered by Oracle Corp. store predefined information in rows and columns on individual servers, Hadoop can spread uncategorized data across a network of thousands of cheap computers, making it a less costly, more scalable way to catalog multiplying streams of input….

It turns out that faith in Hadoop has outpaced the technology’s ability to bring big data into the mainstream. Demand for Hadoop is on the rise, yet customers have found that a technology built to index the Web may not be sufficient for corporate big-data tasks, said Nick Heudecker, research director for information management at Gartner.

It can take a lot of work to combine data stored in legacy repositories with the data that’s stored in Hadoop. And while Hadoop can be much faster than traditional databases for some purposes, it often isn’t fast enough to respond to queries immediately or to work on incoming information in real time. Satisfying requirements for data security and governance also poses a challenge.

Problemet är att det är svårare än man någonsin hade trott att hantera så stora datamängder och att göra det snabbt och säkert. Man anser idag att 60% alla Big Data-projekt inte kommer att bli framgångsrika.

Nu försöker Hadoop-företagen innovare samtidigt som en ny generation Big Data-företag med nya teknologier har kommit fram, som Databricks, Altiscale, Splice Machine och Metanautix.

Så trots att Hadoop kanske kan komma att sluta sitt liv på historiens skräphög så kommer Big Data-rörelsen att fortsätta. Det har bara visat sig betydligt svårare än man hade trott.

Vilket inte är första gången som hajp leder till miljardförluster för investerare.

Pressklipp:
Computer Sweden

[tags] Big Data,Hortonworks, Cloudera, MapR[/tags]