Politik

Category Archives: Big Data

Neuronnät och Deep Learning, datorerna lär sig se, och förstå talat språk

Published by:

När jag kom hit till Silicon Valley för ett kvartssekel sen så var det för att jobba med Artificiell Intelligens. Men den stora AI-våg som alla hoppades på på den tiden förvandlades snart till ett pyttelitet vågskvalp, och IT-världen skyndade snart vidare till mer lovande området som objektorienterad programmering och webben.

Men nu är artificiell intelligens tillbaks med ett vrål och orsaken är Big Data. Dvs huvudorsaken till att AI inte kunde möta de högt uppskruvade förväntningarna var att man som mest kunde behandla några megabytes med data, om ens så mycket.

Nu, med gigantiska datorhallar med tiotusentals sammankopplade servrar i datormolnen så kan man köra AI-teknologier som neuronnät mot terabytes med data, och det har gjort det möjligt att göra stora framsteg inom bl.a. datorseende, tänk ansiktsigenkänning, och förmågan att förstå talat språk.

Det här är en mycket viktig utveckling som bl.a. har gjort Googles självstyrande bil möjlig.

John Markoff skriver i New York Times de senaste framstegen inom Artificiell Intelligens 2.0: Scientists See Promise in Deep-Learning Programs

Continue reading

Större än du nånsin tror, Big Data och anpassad verklighet, Sentiment Analysis förändrar allt från Hollywoodfilmer till amerikanska presidentval

Published by:

Den som jobbar med Big Data och dataanalys, som jag själv gör, vet hur viktigt Sentiment Analysis has blivit. Så vad är Sentiment Analysis egentligen och varför är det så omtumlande?

Sentiment analysis är känsloanalys och handlar om att analysera vad människor tycker och tänker om allt från varumärken till politiska kandidater.

Sasha Issenberg, i en bra artikel i Atlantic, om vars bok The Victory Lab jag nyligen har bloggat ger en försmak till hur Sentiment Analysis fungerade i det senaste amerikanska presidentvalet:

Obama’s White Whale How the campaign’s top-secret project Narwhal could change this race, and many to come.

Continue reading

Obama eller Romney? Det är databaserna och Big Data som avgör vem som vinner i slutpurten i presidentvalet i USA

Published by:

Amerikanska presidentval har vissa klart definierade komponenter: pengar eftersom de för det allra mesta är privatfinansierade, mördande tevereklam, betald med de mångmiljonbelopp som samlas in från lobbygrupper, påtryckargrupper och väljare, fotsoldater och avancerade databaser.

Pengar och tevereklam, är omskrivna och välkända, fotsoldaterna är de partitrogna som ställer upp för sin kandidat, som också går dörr till dörr för att få ut väljarna. Men databasernaa är mindre kända.

Det handlade ursprungligen om listor med telefonnummer på anhängare som snart förvandlades till e-postlistor och som nu har utvecklats till alltmer avancerade databaser, drivna av Big Data, som de båda partierna samlar in om amerikanska väljare, trender och om sina egna partitrogna.

Continue reading

Glöm det, Beatrice Ask, Alliansen, crowdsourcing och Öppna Data

Published by:

I ett demokratiskt samhälle har medborgarna rätt till alla de data som regering och myndigheter samlar in för medborgarnas skattepengar. Det är i alla fall premissen i Obama-regeringens historiska initiativ krig Data.gov, som nu har spritt sig till ett antal städer i USA, bl.a. till San Francisco och Palo Alto här i Silicon Valley.

Början till en liknande rörelse finns även i Sverige: Opendata.se.

Tanken är inte att medborgarna ska kunna ansöka om att få tillgång till data från myndigheterna, det kan man redan idag, utan tanken är att alla data som inte är sekretessbelagda ska vara automatiskt tillgängliga för allmänheten, direkt på nätet, en musklick bort.

Istället för att betrakta medborgarna som fiender, istället för att mörka den egna verksamheten så att man i lugn och ro kan festa upp skattemiljoner, så är meningen att man ska ge medborgarna direkt insyn i alla data och därigenom hur skattepengarna används. Och ge medborgarna chansen att skriva egna dataprogram som kan stöta och blöta myndigheternas data och därigenom skapa nya appar som myndigheterna själva inte har tid eller intresse att skriva.

Det här kallas för crowdsourcing och man skulle tro att den frihets och demokratiälskande regeringen skulle nappa på öppna data och crowdsourcing.

Men i alliansregeringen ser man det tyvärr inte på det sättet, utan just nu slåss man nu med näbbar och klor för att förhindra att medborgarna får insyn i hur regeringen sköter sitt uppdrag.

Mattias Carlsson skriver i DN: Ask sätter stopp för granskning av Säpo

Continue reading

Lämna kamelhårsulstern hemma. USA: Big Data-samhället där ditt varje steg är känt av myndigheterna

Published by:

När jag var liten så minns jag hur jag satt som klistrad framför radion för att lyssna på när man läste upp namnet på de personer som hade försvunnit under veckan. De var alla män i 30-årsåldern som alla hade cendréfärgat hår, var av medellängd, hade blåa ögon, och sen kom den som jag fann mest intressant, nämligen “han var vid försvinnandet iklädd kamelhårsulster”.

Flera hundra, kanske tusen män med cendréfärgat hår och iklädda kamelhårsulstrar irrade runt i Sverige, och ingen hade en aning om var det var eller vad de gjorde. Dom hade slukats upp som av ett svart hål.

Idag, tack vare ansiktsigenkänning och inte minst skanning av bilskyltar, så vet myndigheter, men även privatföretag, allt mer av vad varje medborgare har för sig, i alla fall i USA.

Julia Angwin och Jennifer Valentino-Devries skriver i Wall Street Journal om hur amerikansk polis och privatföretag nu skannar in stora mängder med bilskyltar, som för det möjligt för som at bygga upp en profil för hur enskilda medborgare rör sig i samhället: New Tracking Frontier: Your License Plates – WSJ.com

Continue reading

Det okända sambandet mellan Big Data, datahallar och luftföroreningar

Published by:

Allteftersom samhället digitaliseras så ökar datamängderna lavinartat. Och data måste sparas och manipuleras på hundratusentals datorer i gigantiska datahallar. För att skapa en enda 3D-animerad film behövs t.ex. en miljon gigabytes.

Världens börser fullkomligt spyr ut gigantiska datamängder; New York Stock Exchange, t.ex producerar upp till 2 000 gigabytes data per dag som måste lagras i flera år.

Men att köra stora mängder serverdatorer i stora datahallar kräver gigantiska mängder el och energi, inte minst därför att datahallarna måste ha dieselgeneratorer på standby ifall det blir elavbrott.

Och all den här el och energiförbrukningen betyder att datahallarna idag håller på att bli en växande källa till luftföroreningar världen över.

James Glanz skriver i New York Times:Power, Pollution and the Internet

Continue reading

Avancerade Big Data-algoritmer hjälper företagen hitta kvalificerad personal

Published by:

När företag letar anställda så börjar man med att granska CV:n, sen kallar man in de som verkar mest intressanta till en intervju och sen, om personkemin stämmer så anställer man.

Så har man alltid gjort, så länge någon kan minnas, men den gamla beprövade metoden har nu snart tjänat ut sin roll. För i Big Data-samhället så har man nu börjat använda avancerade statistiska modeller som Bayesiansk statistik för att analysera hundratals datapunkter om olika kandidater som tillsammans ger en betydligt bättre bild av hur väl en ansökande kan passa in i ett företag än forna tiders intervjuer.

Joseph Walker skriver i Wall Street Journal om hur Big Data-modeller hjälper företag hitta kvalificerad arbetskraft: Meet the New Boss: Big Data. Companies Trade In Hunch-Based Hiring for Computer Modeling

Continue reading

Bakom Big Data och de globaliserade datormolnen: Paxos och Googles Spanner

Published by:

Det finns tre IT-bloggar i Silicon Valley, den mest kända är TechCrunch som grundades av Michael Arrington år 2005 och som nu ägs av AOL. Den har massvis med bra information om nya trender och startupföretag, men saknar den personliga insikt och skärpa den hade under Arrington.

Sarah Lacys Pando Daily är en mer eller mindre kopia av TechCrunch, vilket inte är så konstigt eftersom Sarah Lacy och andra på hennes blogg ursprungligen jobbade på TechCrunch.

Den tredje IT-bloggen är Om Maliks GigaOM, och av de tre är det den utan tvekan den djupaste och mest tekniska.

Det är t.ex. på den som jag just hittade en artikel av Stacey Higginbotham om Googles Viktiga distribuerade database Spanner

Continue reading

Big Data och datadrivna databaser, Michael R. Stonebraker och hans VoltDB and Paradigm4.

Published by:

Klicka på bilden.

Det bästa sättet att förstå Big Data-teknologin är kanske att inse att människan nu har nått en ny platå i sin utveckling och för första gången i sin historia börjar kunna mäta hur världen omkring oss verkligen ser ut.

Den moderna elektroniken har gjort det möjligt för oss att utveckla digitala mätinstrument med vilka vi kan hämta in och analysera gigantiska mängder data om allt från väder och vind till våra kroppar (se föregående inlägget) och alla möjliga aspekter på vårt samhälle.

Big Data-teknologin har lett till nya sätt att hantera data, som NoSQL-databaserna, som nu är jättepopulära i Silicon Valley, men även till supersnabba SQL-databaser som VoltDB och Paradigm4.

Man har nu börjat tala om NewSQL-databaser och New York Times Steve Lohr skriver om Michael R. Stonebraker och hans två datadrivna databaser: VoltDB och Paradigm4: Tech’s New Wave, Driven by Data

Continue reading

I’ve got you under my skin. Släng termometern och stetoskopet, Big Data förändrar sjukvården in på bara huden

Published by:

Sjukvården har hittills bestått av män och kvinnor i vita rockar som har stuckit olika instrument in i olika delar av patienternas kroppar. Sen har dom skakat på huvudet och muntrat något om att “det här ser sannerligen inte bra ut”.

Men idag håller Big Data eller Stora Data som det tydligen heter på svenska, på att vända upp och ner på sjukvården. Eller kanske det bör vara “ut och in”?

För nu håller ett antal startupföretag med namn som MC10 i Cambridge i Massachusetts, Proteus Health i Redwood City i Silicon Valley och Sano Intelligence i San Francisco, med investeringar från Rockhealth-inkubatorn på att utveckla pyttesmå digitala sensorer som kan samla in gigantiska mängder data direkt från våra kroppar i realtid.

Data som sen kan analyseras med avancerade medicinska analyssystem.

Quentin Hardy skriver i New York Times om den nya och helt revolutionerande medicinska teknologin : Big Data in Your Blood

Continue reading

Måste läsas för alla Big Data-intresserade: Nate Silvers viktiga bok om prediktiv analys, The Signal and the Noise

Published by:

Klicka på bilden.

Nate Silver är en amerikansk statistiker som efter att ha sysslat med baseball-statistik plötsligt blev världsberömd genom sin insiktsfulla analys av 2008 års amerikanska presidentval. En analys som brädade allt vad USA:s professionella valanalytiker kunde prestera.

Silvers valblogg FiveThirtyEight, nu på New York Times, är den enda valblogg man överhuvudtaget behöver läsa om man vill förstå årets amerikanska presidentval.

Nu har Nate Silver skrivit en bok om sin konst, och med tanke på hur viktig s.k. prediktiv analys har blivit i dagens Big Data-samhälle så är det här en bok som alla som är intresserad av Big Data absolut bör läsa.

Nate Silver skriver om sin bok i New York Times: The Weatherman Is Not a Moron

Continue reading

Hur Big Data och algoritmbotar tar kål på ideologierna och de politiska partierna och gör samhället mer effektivt

Published by:

I början av 1900-talet så fick en rysk buse vid namn Vladimir Ilyich Lenin, en fanatisk humorlös, och dessutom flintskallig ideolog och tillika liksom Jesus alla barns bäste vän, den vansinniga iden att införa en av de mest brutala statsekonomier som världen dittills hade sett.

Resultatet lät inte vänta på sig. Like litet som när Mao lät införa en liknande politik, det s.k. Stora Språnget, i Kina mellan 1958 och 1962.

I Sverige har vi sett hur Alliansregeringen, även dom drivna av ideologi, lät släppa in vinstdrivande aktörer på den svenska sjukvårdsmarknaden och vad som hände då.

Och det finns en givetvis även en uppsjö av exempel från det socialdemokratiska regeringsinnehavet.

Eller som när tepåsarna i USA nu försöker driva igenom en extrempolitisk plattform som hotar att slå ut hela den amerikanska medelklassen.

Continue reading

Vilken roll kommer människan att spela i framtidens robotiserade Big Data-samhälle?

Published by:

Robot från Willow Garage i Silicon Valley

Trots att det redan finns robotar över allt, i varenda svensk småstad, och trots satt samhället skulle stanna upp med en gigantiskt gnisslande läte om det inte vore för alla robotar, så är det få människor som ens inser att robotsamhället redan är här.

Orsaken till att robotarna är osynliga är att dom inte ser ut som vi väntar oss att dom skulle se ut. Istället sitter de tyst vid disken på ICA eller Konsum eller biblioteket och checkar ut våra varor. Eller i cockpit på flygplanet och flyger oss till New York eller San Francisco utan att vi ens har en aning om att det är dom och inte piloterna som flyger planet. Och givetvis bygger dom bilar och datorer och sköter Facebooks väldiga datahallar uppe i Luleå, när dom blir klara, så att det inte behövs mer än ett par dussin personer på hela anläggningen. Och dom kommer också snart att köra all världens bilar tack vare Googles självstyrande bil.

Eller också så sitter dom tyst på sjukhuset och skannar våra elektroniska sjukjournaler eller röntgenbilder.
Eller också, ej att förglömma så handlar dom aktier på börsen så att det ryker om det.

Automatiserade datarutiner och hårdvarurobotar är alltså redan här och kommer nu allt snabbare att ta över allt fler jobb.

Så hur kommer framtidens robotsamhälle att se ut, och vilken roll kommer vi att spela när robotarna tar över allt mer av våra jobb?

Continue reading

Dataspråket R för alla som vill lära sig manipulera Big Data med statistik

Published by:

Allteftersom Big Data blir allt viktigare så blir också statistik och förmågan att bearbeta och visualisera data allt mer i ropet.

Dataspråket R, ett öppet kod-verktyg som kan laddas ner från den här länken är ett språk som har tagit den statistiska världen med storm. Det används bl.a. på New York Times för att visualisera data på olika sätt.

Sån datavisualisering blir nu allt vanligare allteftersom Big Data allt mer kommer att bli den lingua franca med vilken vi beskriver världen omkring oss.

Jag har börjat leka litet med språket, som är enkelt lära sig.

Continue reading

Google vidareutvecklar Big Data, från GFS och Map Reduce till Caffeine, Pregel och nu Dremel

Published by:

Big Data, dvs den data-intensiva värld som har uppstått när all information och alla data nu digitaliseras och alla gamla pappersarkiv datoriseras skapades av Silicon Valley-företaget Google här i Silicon Valley år 2004.

Och grundbulten är en distribuerad sökteknik MapReduce: Simplied Data Processing on Large Clusters som beskrevs av Googles Jeffrey Dean och Sanjay Ghemawat i ett document på länken ovan som publicerades i december 2004, alltså för snar åtta år sen.

Dean och Ghemawat beskrev hur man kunde använda ett stort antal billiga datorer i ett distribuerat filsystem som Googles GFS för att snabbt kunna söka efter information på nätet.

Continue reading