Politik

Category Archives: Big Data

Heroku för Big Data? Infochimps och analys av realtidsflöden

Published by:

Klicka på Austin-företaget Infochimps.

Iskuggan av Big Data eller Rådatarörelsen, så pågår en dramatiskt tävling för att skapa det enklaste sättet att analysera stora mängder data som överhuvudtaget möjligt.

Förr om åren kunde IT-folk med överkammad flint, fickskydd och vit poplinskjorta med smal slips kunna sitta böjda framför sina gamla dataterminaler och meka med data i veckor innan nån VD kom och undrade hur fan länge dom skulle behöva läsa på den senaste dataanalysen.

Idag är användbarhet och snabbhet honnörsord och knattar som verkar som dom knappast ens har hunnit börja raka sig skriver kilometervis med datorkod som gör det allt enklare och snabbare att utföra dataanalys av gigantiska mängder med komplexa data.

Rekordet innehas av datormonlplattformen Heroku som Heroku är ett s.k. Serice as a Platformplattform (Paas) som ägs av Salesforce.com. Herokou använder t versionshanteringsprogrammet Git som skapades av den inte helt okände Linus Torvalds, Linux skapare.

Derrick Harris skriver på GigaOm om hur ett startupföretag i Austin i texas nu försöker skapa en Heroku-liknande process för Big Data i realtid: Infochimps makes its big-data-for developers real-time

Continue reading

D3, R, Big Data, dataanalys och visualisering förändrar journalistiken och åskådliggör världen

Published by:

Om vi tittar runt på webben så ser vi början på en global våg av datavisualiseringsprojekt som plötsligt gör det enklare att se trender, som Al Jazeeras Tracking Syria’S Defections, se bilden ovan, som grafiskt visar hur allt fler ledande syrier nu hoppar av från Assad-regimen.

Det finns en mängd projekt och öppen kod-produkter på det här området.

Data-Driven Documents eller D3 är ett JavaScript-baserad projekt som ligger långt uppe på GitHubs lista över populära projekt och som gör det möjligt att grafiskt visa data och samband på webben.

Continue reading

Twindex och USA-valet: Twitter, rådata och dataanalys istället för gammaldags opinionsundersökningar?

Published by:

Klicka på bilden för att komma till Twindex.

När all information som överhuvudtaget finns i världen nu digitaliseras i allt snabbare takt så förändras hela samhället.

Datan lagras i gigantiska databaser i datormolnen, som verkligen är större än du nånsin tror, där dom sen kan läsas och manipuleras av allt mer avancerade automatiska datasystem.

Såna här datarutiner används idag överallt, från snabbköpet runt knuten för att nybeställa filmjölk, tunnbröd och köttfärs för att hålla frysboxar och hyllor fulla när kunderna har gått hårt åt innehållet, till sjukhusen där automatiska datasystem nu kollar patientjournaler och röntgenbilder som assistenter till läkare och sjuksköterskor, och givetvis inte att förglömma FRA som vaskar fram fildelare och terrorister just med såna här automatiska datasystem.

Och nu i en historisk utveckling används såna här analyssystem även för att göra automatiska opinionsundersökningar i USA-valet.

Nick Bilton skriver i New York Times om hur Twitter har byggt ett innovativt opinionsinstrument som mäter Twitteranvändarnas politiska åsikter: Twitter Unveils the Twindex, a New Political Index – NYTimes.com

Continue reading

På Big Data Meetup på Yahoo och Bay Area Hadoop User Group

Published by:

På Yahoo Hadoop Users Group Meetup tillsammans med omkring 300+ andra Big Data och Hadoop-entusiaster.

Ett at Silicon Valleys många hemliga vapen är alla Meetups där programmerare och IT-intreprenörer möts och minglar, äter och lyssnar på föredrag om den senaste IT-teknologin.

Ikväll var jag återigen på en av de mest spännande och välbesökta Meetups, nämligen Bay Area Hadoop User Group med nära 4 000 medlemmar.

Den här gången var Yahoos kafeteria smockfull, det bjöds på sallad, pizza, kakor, öl och läst. Presentationerna var mycket
bra och mycket detaljerade, här är agenda.

Continue reading

I Big Data-samhället är det algoritmerna som styr, Christopher Steiners intressanta bok Automate This, How Algorithms Came to Rule Our World

Published by:

KLicka på bilden.

På bara ett par decennier har alla data som vi använder i dagligt bruk överförts från papper och andra analoga medier till digital form. Och när data är digitaliserade så kan de läsas och behandlas med datorer.

Och istället för att ha en massa kontorsarbetare som sitter och knackar på skrivmaskiner för att producera data på olika företag och verk så spottar nu digitala mätare av olika slag ut helt ofattbara mängder med digitala data varje sekund. Som t.ex. min elektroniska elmätare. Istället för att skicka ut en liten gubbe som läser av elmätaren en gång i månaden så skickar min digitala elmätare data om min elförbrukning till elföretagets datahall varje sekund, där det lagras och analyseras av datorer.

Helt plötsligt står världen inför en omvälvande revolution där datorerna har tillgång till hela samhället i digital form. Vilket betyder att samhället nu allt mer styrs av datorerna och de algoritmer de kör. Algoritmer som de flesta redan har hört talas om från robothandeln på börsen och autopiloterna i alla kommersiella flygplan FRA:a massavlyssningsalgoritmer, algoritmer som används på sjukhusen för att hitta risk-patienter, osv.

Antonio Regalado recenserar entreprenören Christopher Steiners intressanta bok om hur alrotim-baserad automation nu håller på att förändra de amerikanska företagen: Automate or Perish – Technology Review

Continue reading

Big Data inom sjukvården, när läkare slutar läsa medicinska tidskrifter så ökar sjukvårdskvalitén

Published by:

Min pappa var röntgenläkare på Samariterhemmet i Uppsala och läste troiget den nordiska röntgenologitidskriften Acta Radiologica.

Idag har läkare på sin höjd tid att tillbringa några timmar per månad med att läsa ikapp den senaste utvecklingen på sina gebit.

Det här är givetvis oerhört farligt för människor dör bara för att läkarna inte känner till de senaste rönen på sitt område.

Men hjälp är på väg.

Continue reading

Big Data, Silicon Valley och den nya industriella revolutionen.

Published by:

Big Data eller Rådata som det heter eller i varje fall kan heta på svenska, har på kort tid blivit ett modeord inom IT-industrin här i Silicon Valley. Själv sysslar jag idag nästan uteslutande med Rådata, mest inom sjukvården, men även utanför.

Inte ens mobila appar ger så hög status på University Avenue i Palo Alto som att säga att man jobbar med Big Data. “Nu har jag inte tid att sitta här och prata”, säger man, ” jag jobbar med Big Data you know”.

Jag har skrivit om den viktiga Big Data-konferensen på Berkeley i förra veckan, som liksom satte begreppet på kartan, om det nu behövdes, det finns redan dussintals företag som jobbad med Rådata här i Silicon Valley, kanske flera hundra. DataEdge-konferensen, Berkeley och rådata, Silicon Valleys andra nobeluniversitet tar sig ton, en konferens som har satt Big Data eller Rådata på kartan vad gäller Silicon Valley.

New York Times Quentin Hardy skriver från konferensen om vår personliga integritet i Big Data eller Rådataåldern: Rethinking Privacy in an Era of Big Data

Continue reading

DataEdge-konferensen, Berkeley och rådata, Silicon Valleys andra nobeluniversitet tar sig ton

Published by:

Klicka på bilden.

Mdet finns någon institution som har rätt att kalla sig för Silicon Valleys Ground Zero så är det Stanford University i Palo Alto. Ett av världens stora universitet, på Nobelprisnivå.

Men det finns faktiskt ytterligare två Nobeluniversitet i Silicon Valley. Det minst kända är University of California at San Francisco där Elizabeth Blackburn vann Nobelpriset i medicin 2009. Det andra stora Nobeluniversitetet är givetvis University of California at Berkeley som även det spelar en viktig roll inom IT-industrin i Silicon Vallley.

Nu verkar det som om Berkeley håller på att etablera sig som en vitkig aktör på massadataområdet, eller Big Data, som det kallas på engelska.

TechCrunchs Andrew Keene skriver om Berkeleys DataEdge-konferens Keen On Big Data: Why UC Berkeley Might Have An Edge Over Stanford [TCTV] | TechCrunch

Continue reading

President Obamas rådata-initiativ: Digital Government och hur det kommer att öppna USA

Published by:

Om det är någonting som alla myndigheter har har gemensamt ända från de gamla Babylonierna och fram till idag, så är det att de har samlat på sig gigantiska mängder data om befolkningen och samhället i allmänhet. De flesta som har läst bibeln minns t.ex. säkert att det från “kejsare Augustus utgick ett påbud att hela världen skulle skattskrivas”.

President Obama är den förste amerikanske president som har insett hur mycket man kan göra med alla de data som ligger lagrade hor myndigheterna i tiotusentals databaser i Washington och över hela USA.

Han har t.ex. utsett en federal Chief Information Officer och en Chief Technology Officer , se videon ovan, som bl.a. har till uppgift att släppa den federala datan loss och ge alla amerikaner tillgång till de ofattbara rikedomar som gömmer sig i de federala databaserna. Utom givetvis de minst lika ofattbara databaser på NSA, CIA och alla hemliga spionorganisationer som man inte kommer att släppa.

Vi har redan sett en första början på Obamas initiativ på Data.gov

Vita Huset har också formulerat en policy kring rådata som är värd att läsa eftersom Sverige vad jag vet ligger långt efter på det här området: Digital Government. Building a 21st Century Platform to Better Serve the American People

Continue reading

Mjuka datorer: Salvador Dalis Minnets Envishet, dataspel, datormolnen, virtuella avbildningar och CentOS

Published by:

Salvador Dali skrev sin beömda målning Minnets Envishet med de mjuka klockorna redan 1931, fem år innan Alan Turing skrev sin lika berömda ON COMPUTABLE NUMBERS, WITH AN APPLICATION TO THE ENTSCHEIDUNGSPROBLEM, som blev början till dataåldern.

Det är symptomatiskt att den dator som Turing beskrev i sin skrift inte beskrevs i fysiska termer med diskar och dataskärmar och tangentbord utan som en abstraktion.

Idag blir datorerna virtuella, och mjuka, precis som Dalis klockor,

Själv har jag kört Virtual Box med CentOS i Windows 7 med 12 GB minne mest hela helgen utan någon märkbar degradering i prestanda.

Continue reading

Palantir, ett av Silicon Valleys allra hetaste startupföretag i Big Data-branschen

Published by:

Klicka på Palantir

Palo Alto-företaget Palantir, med högkvarter i Palo Alto, är ett av Silicon Valleys allra hetaste företag just nu. Företaget som Stanford-studenter definitivt vill jobba för om de inte själva vill starta eget.

TechCrunchs Colleen Taylor skriver om hur Palantir nu har fått ytterligare $56 miljoner i riskkapital, ovanpå $70 miljoner förra året, vilket betyder att företaget idag är värd omkring tre miljarder dollar!

Palantir Technologies Nabs $56M In New Funding, SEC Filing Shows

Continue reading

Glöm FRA, Big Data, Hadoop och känsloanalys ger företag och myndigheter insikt i vad vi tycker och tänker

Published by:

Klicka på bilden för att göra din egen känsloanalys.

Jhar börjar jobba med Hadoop och Big Data på allvar de senaste veckorna och lärt mig mer om vad som på engelska kallas för Sentiment Analysis, alltså känsloanalys.

Genom att köra avancerad textanalys på data från t.ex. Twitter och Facebook så håller företag idag minut för minut-koll på vad folk tycker om deras produkter och varumärken eller om företaget självt.

Kolla t.ex. vad folk tycker om varumärket Sverige ovan. Jämför sedan med vad folk tycker om varumärket USA, 85% positivt, SAS, 65% positivt, Ikea, 68% positivt, Svenska kungen, 82% osv.

Continue reading

Big Data och statistik blir allt viktigare, vad kan du om dataspråket R?

Published by:

Klicka på bilden

Den som händelsevis läste mitt inlägg om New York Times-korrespondenten Amanda Cox igår lördag kalifornisk tid, vet att hon sysslar med statistik och datavisualisering: Glöm fredagsmyset, New York Times Amanda Cox och datavisualisering har förändrat mitt liv!

Big Data är alltså de väldiga datamängder som idag väller ut på webben och som journalister, vetenskapsmän och vanliga medborgare har börjat analysera och publicera.

För mannen på gatan så börjar datan vanligtvis med ett kalkylark i Microsoft Excel som Amanda Cox sedan importerar till Adobe Illustrator och därifrån till dataspråket R.

Continue reading

Nyttiga IT-kunskaper: lär dig programmera Big Data med MapReduce, Jaql, Pig och Hive

Published by:

Klicka på Hive.

De flesta IT-intresserade har vid det här laget hört talas om Big Data eller Massdata och att man använder det öppna kod-verktyget Hadoop för att manipulera de ofta gigantiska datamängderna som ingår i Massada.

Problemet med stora datamängder är att man inte bara kan ladda upp dom på en enda dator och sen tuta och köra. För att kunna hantera så mycket data på de billiga Intelservrar som för det mesta är vad som används i datormolnen eller i datahallarna, så måste man dela upp datan i många mindre delar och sen distribuera datan och analysjobben till ett visst antal serverar, säg ett dussin eller hundra servrar. Sen kör man de distribuerade analysjobben på dessa servrar, en s.k. serverkluster. Vilket också kallas parallell programmering.

Vad som gör det här möjligt är att Hadoop är utrustat med ett parallellt filsystem: HDFS eller Hadoop Distributed File System.

Continue reading