Big Data eller Massdata är ett koncept och en realitet som delar historien i ett före och efter som osynlig Berlinmur.
Före Big Data-momentet som i stort sammanfaller med senare delen av 2000-talet, så levde vi i ett analogt samhälle där vi inte koll på alla data som virvlade runt om kring oss, eftersom vi inte kunde lagra och söka igenom dom, utom med stenåldersmetoder som kartotek och pappershögar. Men när allt från text till musik och video, hela böcker, röntgenbilder, sjukjournaler, telefonsamtal, radio och TV-sändningar, data från gas, vatten och elledningar digitaliseras och vi alla började simma i gigantiska mängder data, ja då förändras världen i grunden. Allt fler jobb kunde plötsligt utföras av datorer som kunde hitta hur många nålar i hur många höstackar som helst.
Sandra Laville i brittiska Guardian ger ett bra exempel på före och efter i falle tom den bortförda Madeleine mcCann Madeleine McCann could be living with abductor, says Scotland Yard. Yard releases image of how Madeleine may look five years on and asks Portuguese police to reopen inquiry
It is understood that key areas being investigated by Scotland Yard – which the Portuguese police failed to pursue – include analysis of a huge amount of mobile phone cell site evidence that was gathered but never analysed. That evidence could help to trace any suspects who were around the resort.
Hade den portugisiska polisen inte varit så rent skrämmande tafflig så hade fallet säkert löst för länge sen, just genom analys av alla de stora mängder Massdata som idag omger varje mordfall. Som att man låter datorer tröska igenom allt som är känt om alla kringstående människor. En metod som redan används här i USA där polisen bara genom att rikta en specialutrustad mobil mot ett bostadshus eller villa omedelbart kan se om någon där boende redan finns i polisens register.
Att FRA idag dagligen kör igenom terabytes med persondata över alla svenskar i jakt på alla svenskar som inte har rent mjöl i påsen är redan känt. Men att sjukhusen gör samma sak är mindre känt.
Ja inom sjukvården handlar det inte om det ökända svenska mjölet, utan om att låta automatiska datorrutiner tröska igenom miljoner sjukjournaler i jakt på olika sjukdomssymptom. Man använder precis samma metodik som FRA, dvs Apaches UIMA-teknologi, men inom sjukvården anonymiseras varje sjukjournal som granskas.
Så förenklat, om patient A är en 35-årig man med en viss genetiska uppsättning som lider av en viss sjukdom, och som man har kunnat bota med vissa läkemedel, så kan man tröska fram andra 35-åringar med liknande karaktärsdrag som man sen har rätt stora förhoppningar om att kunna bota på liknande sätt.
Massdata håller på att revolutionera sjukvården just för att man idag kan analysera alla de data man samlar ihop om patienter, och som idag inte längre ligger i svårtydda pappersjournaler utan i supersnabba databaser som kan analyseras av datorer.
Mitt favoritexempel är att datorer nu faktiskt kan börja läsa och analysera röntgenbilder och känna igen ett växande antal sjukdomar, som Artärbrock i hjärnan. Som inom en inte helt avlägsen framtid säkert kommer att kunna opereras av robotar, som redan finns, fast ännu inte så avancerade, inom sjukvården.
Samtidigt använder allt fler människor idag små bärbara prylar för att mäta allt från sitt blodtryck till sin blodsockerhalt, som jag har skrivit om här på bloggen.
Jag har själv börjat jobba med Apache Hadoop, det mest populära Massdataverktyget med en hänförd skara anhängare här i Silicon Valley och runt om i världen.
Men det är helt okontroversiellt, Massdatasamhället är kvalitativt och kvantitativt helt annorlunda än den värld vi är vana vid. Den nya Massdata-världen simmar i en gigantisk buljong, om det är möjligt att föreställa sig en sån stor buljong, än mindre simma i den, som består av digitala data om oss själva och samhället runt om kring oss. Inte så att alla den här informationen samlas in av illvilliga myndigheter, inte alls. den genereras på tusentals olika sätt, som när en sköterska tar tempen på oss på sjukhuset eller när den digitala elmätaren på min villa lagrar mitt el-förbruk.
Data som analyseras av automatiserade datarutiner och förhoppningsvis för våra liv bättre. Den viktiga insikten är att det här inte är något vi kan eller vill stänga av. Det är något helt och totalt nytt.
Spännande, men samtidigt kanske aningen oroväckande. Som alla nymodigheter.
Axplock från den nordiska pressen:
Nyheter – Nyheter,svt.se – Nyheter världen,svt.se – Nyheter Sverige,
Computer Sweden 20 senaste nyhet
[tags] Online Privacy , Cybersecurity , Internet , Big Data , Data , Nstic , Privacy , Trust Framework , Technology News, Big Data Hadoop, Hadoop, NoSQL, NoSQL Big Data, Big Data Analytics, Google Map Reduce, Amazon Dynamo DB, Cloudera, Hortonworks, MapR[/tags]