Politik

Category Archives: Big Data

Större än du nånsin tror, Massdata, Big Data som IT-samhällets revolutionerande mikroskop

Published by:

Massdata-konferens kring Hadoop i juni. Ska se om jag kan komma in på konferensen. Klicka på bilden.

Det är inte bara Povel Ramels morsa som var större än du nånsin tror, i alla fall om man gav henne tulpaner i mossa.

Big Data eller Massdata som det heter på svenska har blivit ett av de mest använda modeorden inom IT de senaste året. Det handlar om att vi plötsligt producerar gigantiska datamängder som är så stora att de är besvärliga att hantera med hjälp av traditionella databassystem. Big Data handlar om data i storleksordningen terabytes och ännu mer. För att använde en teknisk term, “det är en jävla massa data”.

Och orsaken till att vi plötsligt har fått tillgång till så gigantiska datamängder är att all information som vi hittills has haft på papper eller i andra analoga former, nu plötsligt kan digitaliseras och därför kan behandlas av datorer.

Vi stöter regelbundet på Big Data inom meteorologin, genteknologin, komplexa simuleringar inom fysiken, biologin och miljöforskningen, sökningar på Internet och inte minst inom finans-och affärsvärlden.

I en måste läsa artikel i dagens New York Times skriver tidningens IT-korrespondent om Massadata. Big Data?s Impact in the World – NYTimes.com

Continue reading

Ekosystemet kring Apache Hadoop, paradexempel på den öppna kodrörelsen i Silicon Valley

Published by:

Klicka på Hadoop-företaget Cloudera

Apache Hadoop är grundpelaren i den gigantiska, om ni ursäktat vitsen, Big Data eller Massdata-rörelsen som nu svepet över Silicon Valley och världen. Om vi betänker att vi nu kan göra DNA-analyser av snart sagt varenda människa i hela världen, plus digitalisera röntgenbilder, spara FRA:s och NSA:s massavlyssningsdata av den odräglige morbror Gustav i Obbola, så inser vi snart att vi plötsligt lever i en data-intensiv värld.

Continue reading

Amazons DynamoDB gör Big Data till en datormolnservice

Published by:

Big Data har blivit ett av de mest använda modeorden inom IT de senaste året. Massiva mängder data som genereras av ett samhälle som är alltmer beroende av datorn måste kunna behandlas och analyseras av avancerade dataprogram.

Det finns vissa honnörsord som man måste känna till på det här området. Och för att förstå honnörsorden gäller det att inse att för att hantera stora datamängder så måste man använda hundratals eller tusentals billiga datorer som körs parallellt.

Googles Map Reduce var först på plan, och används närhelst vi googlar, tätt följd av Apache Hadoop som är en öppen Kod-implementation av Googles Map Reduce.

De flesta som sysslar med Big Data, eller Massdata som vi kan kalla det på svenska, använder Hadoop.

Ett annat viktigt begrepp är NoSQL-databaser, dvs databaser som inte använder databasspråket SQL som hittills has varit det förhärskande databasspråket.

Och två av de viktigaste NOSQL-databaserna är Mongo DB och Couch DB

Doug Henderson skriver på Techweb om hur Amazons nya DynamoDB-service nu skakar om i Big Data-världen: Amazon DynamoDB: Big Data’s Big Cloud Moment ::Brought to you by TechWeb

Continue reading

SAPs HANA, datormolnen, Big Data och minnes-databaser

Published by:

Klicka på bilden.

Alla som har sett hur snabbt en Macbook Air startar vet att det beror på de SSD-diskar (Solid State) som man använder istället för de gamla mekaniska SATA-diskarna.

Men faktum är att man kan spara data direkt i minnet, något som vem som helst som kan PHP-språket kan experimentera med

Nu är det givetvis så att så fort man stänger av datorn så försvinner datan i minnet, men det gör inte så mycket om allt man vill göra är att göra snabba kalkyleringar. Eller om man har tillgång till tiotusentals billiga datorer i datormolnen.

Christopher Lawton skriver i Wall Street Journal om det tyska dataföretaget SAP nu satsar på just data i minnet med sin SAP HANA-produkt i ett försök att ta ledningen på den lukrativa Big Data och datormolnsmarknaden: Inside SAP’s Skunkworks as It Takes Aim at Oracle – WSJ.com

Continue reading

Kan datorer med superalgoritmer reformera skolan och sjukvården?

Published by:

Klicka på Vinod Khosla

En bra sak med att tillbringa kvällarna på s.k. Meetups om den senaste IT-teknologin här i Silicon Valley är att man alltmer sällan läser något man inte redan har hört talas om, även om man givetvis inte alltid är insatt i alla detaljerna.

Jag har redan skrivit en hel del om automatiska datasystem som idag dyker upp runt omkring oss, från ICA-butiken där dom checkar ut våra varor istället för kassörskan, till Arlanda där dom checkar in oss, plus system som granskar våra skattesedlar, flyger de flygplan vi tar till New York för att shoppa, och nu även de datorsystem som granskar röntgenplåtar och avläser bilskyltar på jakt efter biltjuvar och fildelare.

De här automatiserade dataprogrammen har sina rötter i Artificiell intelligens-rörelsen, vilket var orsaken till att jag själv kom hit till Silicon Valley för nästan 25 år sen.

Riskkapitalisten Vinod Khosla här i Silicon Valley, som var med och grundade Sun Microsystem en gång i tiden och är väl insatt i den senaste teknologin skriver på TechCrunch om hur dagens automatiserade datorsystem med sina superalgoritmer nu är starka nog att kunna börja spela en allt med framträdande roll inom vård-skola-omsorg:

Vinod Khosla skriver i om The Surprising Path Of Artificial Intelligence | TechCrunch

Continue reading

Oakland Athletics, Moneyball och Big Data, vad händer när datorerna börjar fatta beslut för oss människor?

Published by:

Big Data har blivit ett av de mest använda modeorden inom IT de senaste året. Big Data handlar om de gigantiska datamängder som genereras i realtid, det är viktigt. på Facebook, Twitter, på Wall Street, sjukhus, av FRA:s massavlyssning, mm mm. Hand i hand med Big Data går avancerade datorprogram med förmågan att analysera informationen som döljs i Big Data.

Filmen Moneyball handlar om hur en tränare för baseballagen Oakland Athletics här i Silicon Valley använder analythicgs, vilket är vad man kallar analysen av stora datamängder, för att bygga upp ett vinnande lag.

Big Data är det hetaste ämnet inom IT-kretsar överhuvudtaget här i Silicon Valley just nu och det är knappast förvånande med tanke på hur snabbt industrin håller på att anamma den nya teknologin.

Datorbaserade beslutsfattning kommer att användas mer och mer inte bara inom sjukvården utan också inom nationalekonomin, inom världspolitiken, vetenskapen, meteorologin, brottsbekämpningen mm mm.

Dennis K Berman skriver i Wall Street Journal om hur analysen av gigantiska mängder med realtids-data nu blir allt vanligare: Data Analytics: So, What’s Your Algorithm? – WSJ.com

Continue reading

C.P. Snow, De Två Kulturerna, FRA, Big Data och hotet mot det öppna samhället

Published by:

Den brittiske fysikern , romanförfattaren och administratören C.P. Snow, som dog 1980, är idag känd för sin bok The Two Cultures från det Kalla krigets dagar. För att citera Wikipedian:

De två kulturerna är ett begrepp som myntades 1959 av C.P. Snow i en föreläsning vid Cambridge University som senare publicerades som en bok. Han ansåg att mänskligheten gick att dela upp i två huvudkategorier: “Scientists” (positivister, modernister) och “litterärt intellektuella”. Enligt honom var de förra framåtskridande, medan de senare var tillbakablickande. Snow menade att kommunikationen mellan de två grupperna, som tidigare hade varit livaktig, hade upphört och menade att detta var ett problem.

Nu var handlade Snows test inte bara om att konstatera ett förmodat faktum, utan, som Peter Dizikis har konstaterat i en mycket insiktsfull artikel i New York Times, år 2009, i vilket fall föredraget och boken hade varit rätt ointressant, utan om faran för att de ekonomiska skillnaderna mellan den industrialiserade första världen och den fattiga tredje världen kommer att öka och resultera i en katastrof.

Our Two Cultures

Continue reading

Splunk och Big Data, från sten, brons, järn och industriåldern till den helt nya stordataåldern

Published by:

Alla samhällen i alla tider har producerat data, folkbokföringsdata, handelsdata, data om administration, finanser osv. Men det är en kvantitativ och kvalitativ skillnad mellan hur vi har använt data hittills och hur vi kommer att använda det i framtiden.

För hittills har alla data som har producerats analyserats och lästs av människor,vanligtvis på papper, idag sker en dramatisk övergång till digitaliserad information och maskinläsning, dvs att det är datorer och inte människan som nu läser och analyserar de gigantiska datamängder som samhället nu producerar. Det betyder också att automatiserade datarutiner nu också kan ta över rutinjobb från människor, som att checka ut varor på ICA, att checka in passagerare på Arlanda, eller att läsa röntgenbilder och sjukjournaler på sjukhusen.

Ett paradexempel är massavlyssningen under DDR-tiden och i dagens Sverige. Då krävdes tiotusentals tjänstemän för att tröska igenom allt insamlat material. Idag sköter FRA:s superdatorer jobbet helt utan mänskligt ingripande, även om det givetvis är människor som designer de algoritmer som datorerna på Lovön sen använder.

Malia Wollan skriver i New York Times San Francisco-företaget Splunk och Big Data:For Start-Ups That Aim at Giants, Sorting the Data Cloud Is the Next Big Thing

Continue reading

IT-kriget intensifieras, move over FRA och NSA, Hizbollah datoriseras

Published by:

I skuggan av världsnyheterna så sker en oerhört viktig utveckling nere på djupet så att säga, som vi aldrig hör speciellt mycket talas om, mest för att inga journalister utanför fackpressen är insatta i det moderna IT-teknologin.

Allt snabbare datorer, datormolnen, den mobila webben och den öppna kodrörelsen gör det idag möjligt för svenska FRA att köpa in massalyssningsapparatur på den öppna marknaden till en relativt ringa penning. Jag har redan skrivit om hur sådan teknologi fungerar och den viktiga roll som Big Data och NoSQL-databaser spelar för den ambitiöse massavlyssnaren.

Och som Robert Baer skriver i Time Magazine så är det inte bara FRA som nu kan bygga upp sin egen massavlyssningscentral, även Hizbollah i Libanon, som man hittills inte direkt har förknippat med IT-teknologi, kan göra detsamma, med något oväntade resultat: Lebanon: How Hizballah’s Technology Undoes the CIA – TIME

Continue reading

Globaliseringen och gigantiska mängder data: Stordata, Big Data, Hadoop, HDFS, HBase, Pig, Oozie och Lucene

Published by:

Klicka på boken för att ladda hem den gratis i PDF-format.

Först av allt så eftersom ingen annan mig veterligen har gjort det så har jag hitta på ett svenskt begrepp för Big Data, något som jag sysslar en hel del med, och det ordet är: Stordata. Om någon har ett bättre ord så säg till så kan vi skriva en svensk artikel på Wikipedian så är det klappat och klart.

Stordata handlar alltså om gigantiska datamängder som är så stora att de är besvärliga att hantera med hjälp av traditionella databassystem. Stordata handlar om data i storleksordningen terabytes, exabytes och t.om. zettabytes och dom genereras för det mesta i nära nog realtid.

Vi stöter regelbundet på Stordata inom meteorologin, genomiken , connectomics, komplexa simuleringar inom fysiken, biologin och miljöforskningen, sökningar på Internet och inte minst inom finans-och affärsvärlden.

Man kan säga att hela det globaliserade kunskapssamhället alltmer vilar på Stordata som genereras av miljarder RFID och liknande taggar på allt från gas, olje- och vattenledningar till digitalkameror, medicinska instrument, satelliter mm.
Continue reading

Big Data går genom taket, 40 miljoner i riskkapital till Palo Alto-företaget Cloudera och Hadoop

Published by:

Klicka på Cloudera

Big Data har blivit ett av de mest hörda modeorden inom IT de senaste året. Om ni vill bli riktigt coola och populära så behöver ni bara bege er till stekarna på barer kring Sturen som Sturecompagniet – eller ännu hellre till något av kaféerna eller restaurangerna på University Avenue i Palo Alto här i Silicon Valley och sprinkla er konversation med “ja nu tror jag inte att jag har tid att sitta här och knappa på min iPad längre, ni vet, jag jobbar med Big Data”, och brudarna kommer att skrika i kör och falla platt. Försök får ni se.

Hur definierar man då Big Data, som ännu inte ens verkar ha blivit översatt till svenska?

Continue reading

Big Data, Liquid Robotics och Silicon Valley-legenden James Gosling i Stilla Havet

Published by:

Den farbroderlige Silicon Valley-legenden James Gosling är inte helt olik Leif GW Persson till utseendet, trots att han inte har riktigt lika mycket hår som Leif. Gosling som ledde det team på Sun som skapade Java-språket är oerhört populär och respekterad i Silicon Valley och förvåningen bliv stor när Oracle, som köpte Sun, behandlade honom så illa att Gosling lämnade Java och efter nästan ett år anställdes på Google. Men Goslings Google-karriär blev kort, och efter fem månader hoppade han över till Liquid Robotics, ett mycket intressant Silicon Valley-företag som bygger flottar som samlar in Big Data i världens oceaner. Data som man hoppas kunna sälja till myndigheter och organisationer världen över för att ge dom tillgång till gigantiska mängder data från världens alla hav.

Quentin hardy skriver i New York Times om Liquid Robotics och James Goslings nya karriär:
www.nytimes.com/2011/11/02/business/wave-glider-a-floating-robot-seeks-to-network-the-oceans.html?ref=technology&pagewanted=print
Continue reading

Informationen digitaliseras och globaliseras Big Data och det nya informationssamshället

Published by:

Big Data har blivit ett avde mest använda modeorden inom IT de senaste året. Hur definierar man Big Data, som ännu inte ens verkar ha blivit översatt till svenska? Det handlar om gigantiska datamängder som är så stora att de är besvärliga att hantera med hjälp av traditionella databassystem.

Big Data handlar om data i storleksordningen terabytes, exabytes och zettabytes av data. Och orsaken till att vi plötsligt har fått tillgång till så gigantiska datamängder är att all information som finns idag och som tidigare fanns t.ex. på papper nu digitaliseras och därför kan behandlas av datorer.

Vi stöter regelbundet på Big Data inom meteorologin, genomiken , connectomics, komplexa simuleringar inom fysiken, biologin och miljöforskningen, sökningar på Internet och inte minst inom finans-och affärsvärlden.

Man stöter allt oftare på Big Data även i dagspressen och Quentin Hardy skriver i New York Times om just Big Data:The Big Business of ‘Big Data’ – NYTimes.com

Continue reading

Big Data och du, vad du behöver veta om Big Data, hur det påverkar dig

Published by:

Big Data är ett nytt begrepp som jag har bloggat om här på bloggen, bl.a. här

Big Data handlar om att all information som överhuvudtaget finns i världen nu digitaliseras, vilket er upphov till oöverskådliga datamängder som nu alla kan analyseras av avancerade dataprogram. Ett bra exempel är FRA:s massavlyssning av alla svenskar, men även mer positivt, Big Data inom sjukvården där sjukjournalerna nu digitaliseras och innehåller allt mer information som läkarna kan använda för att bota oss.

Men Big Data är mer än så. Tack vare verktyg som Apache Hadoop och de allt öppnare regeringsarkiven i USA och EU så kan helt vanliga människor få tillgång till data och avancerade dataanlys som tidigare var förbehållen regeringar och myndigheter. Big Data kommer att leda till en fullkomlig revolution av beslutsfattningen på alla nivåer. Det kommer inte längre nödvändigtvis att bli cheferna som bestämmer, om låga tjänstemän utrustade med moderna analysverktyg kan visa att beslutet inte stämmer med verkligheten.

Continue reading

Big Data och datanalys hotar Hippon och vänder upp och ner på maktpyramiderna i samhället.

Published by:

Kanske Lars Demian har den bästa insikten om vad Big Data-revolutionen egentligen betyder för samhället.

I webbens barndom skulle företag och tidningar skapa sina egna hemsidor och ett problem uppstod sig snart, vem skulle bestämma hur sidorna egentligen skulle se ut? Beslutet kom snart ner från maktpyramiden, jo det skulle flodhästen. Flodhästen? Jo HIPPO är en term som används flitigt när man talar om beslutsfattning inom IT-världen just i samband med Big Data och dataanalys, alltså the Highest Paid Person’s Opinion. .

När de datormängder man hade tillgång till handlade om kilobytes eller megabytes så var det inte så konstigt att de högst betalda chefer fick fatta besluten. Men när datamängderna som nu sker ligger på terabyte-nivå så börjar det bli möjligt att använda allt mer sofistikerade datorprogram som kan analysera datan och nå fram de mest logiska lösningarna. Så fungerar redan världens börser tack vare High Frequency Trading som jag har skrivit om tidigare här på bloggen. Nu håller data-analysen också på att invadera en mängd nya områden, bl.a. tack vare den öppna kod-produkten Hadoop som nu används över hela Silicon Valley.

Ta sjukvården. Så länge som man använde pappersbaserade sjukjournaler så var det helt omöjligt att göra övergripande studier av hur effektiv vården verkligen var och var flaskhalsar och dödsfällor låg. Men idag med elektroniska sjukjournaler som underlag så går det och Emily Bazar skriver i San Francisco Chronicle om hur Kalifornien nu börjar använda omfattande dataanalys för att effektivisera vården: Printable version: S.F. experiment in improving patient health care

Continue reading