Politik

Splunk och Big Data, från sten, brons, järn och industriåldern till den helt nya stordataåldern

Alla samhällen i alla tider har producerat data, folkbokföringsdata, handelsdata, data om administration, finanser osv. Men det är en kvantitativ och kvalitativ skillnad mellan hur vi har använt data hittills och hur vi kommer att använda det i framtiden.

För hittills har alla data som har producerats analyserats och lästs av människor,vanligtvis på papper, idag sker en dramatisk övergång till digitaliserad information och maskinläsning, dvs att det är datorer och inte människan som nu läser och analyserar de gigantiska datamängder som samhället nu producerar. Det betyder också att automatiserade datarutiner nu också kan ta över rutinjobb från människor, som att checka ut varor på ICA, att checka in passagerare på Arlanda, eller att läsa röntgenbilder och sjukjournaler på sjukhusen.

Ett paradexempel är massavlyssningen under DDR-tiden och i dagens Sverige. Då krävdes tiotusentals tjänstemän för att tröska igenom allt insamlat material. Idag sköter FRA:s superdatorer jobbet helt utan mänskligt ingripande, även om det givetvis är människor som designer de algoritmer som datorerna på Lovön sen använder.

Malia Wollan skriver i New York Times San Francisco-företaget Splunk och Big Data:For Start-Ups That Aim at Giants, Sorting the Data Cloud Is the Next Big Thing

The idea of big data goes something like this: In a world of ever-increasing digital connectivity, ever larger mountains of data are produced by our cellphones, computers, digital cameras, RFID readers, smart meters and GPS devices. The huge quantity of data becomes unwieldy and difficult for companies and governments to manage and understand.

“My smartphone produces a huge amount of data, my car produces ridiculous amounts of really valuable data, my house is throwing off data, everything is making data,” said Erik Swan, 47, co-founder of Splunk, a San Francisco-based start-up whose software indexes vast quantities of machine-generated data into searchable links. Companies search those links, as one searches Google, to analyze customer behavior in real time.

Customers include the online gaming company Zynga, the maker of FarmVille and Mafia Wars, which uses the software monitor game function to determine where players get stuck or quit playing, allowing Zynga to tweak games in real time to retain players.

Macy’s uses Splunk’s software to observe its Web traffic in order to avoid costly down times, particula

Den riktigt stora skillnaden mellan traditionella data och Big Data eller Stordata är att de senare produceras i realtid och i så gigantiska mängder. Om man tänker att man idag avläser en typisk elmätare tolv gånger per år så kan man avläsa en elektronisk elmätare en gång i sekunden, vilket alltså producerar 31 556 926 delat med 12 så mycket data!

Datan kommer att ta över och allt fler yrken kommer att kunna skötas av datorer, antingen delvis, som autopiloten, eller helt och hållet.
Stordata utgör redan en fundamental del av det globaliserade IT-samhället och datormolnen.

En mycket stor och viktig utveckling som nu är på allas läppar här i Silicon Valley med verktyg som Hadoop, NoSQL och Googles MapReduce.

[tags]Big Data, Stordata, Datormolnen, Globaliseringen, Massavlyssning, NoSQL ,MapReduce. Hadoop [/tags]