Politik

Tag Archives: Dataanalys

New York Times Jake Porway och Data Without Borders

Published by:

Vi har datorer och mobiler och Internet och USB-diskar och en himla massa data-prylar. Och sen har vi data. Och data håller på att förändra samhället och alla våras liv på ett sätt som vi först nu kan börja ana.

Här i USA håller t.ex. Obama-adminstrationen på att öppna alla regeringens icke-konfidentiella databaser för allmänheten i ett initiativ som heter Data.gov för att sen uppmuntra allmänheten att skriva appar som använder sig av datan, som ju ägs gemensamt av alla amerikanska skattebetalare.

Continue reading

Analytics, dataanalys med Hadoop förändrar samhället

Published by:

[print_link]


Klicka på bilden.

På den intresssanta dataanalysmässan här i Silicon Valley så var det ett ord som dök upp i var och varannan mening, Hadoop.

Så vad är Hadoop och varför är det så viktigt?

Om vi börjar från början så befinner vi oss idag i en värld smockfull med data. Men idag samlas inte all den här informationen längre i dammiga arkiv utan i väldiga databaser där den lätt kan analyseras.

Amazon, Yahoo! och Twitter samlar t.ex. in omkring 12 terabytes med data om sina kunder på sina webbsajter VARJE DAG.

Det är samma sak för t.ex. DN, SvD, SVT, sjukhus, polisen, kommuner, Migrationsverket, Socialstyrelsen, landsting, SAS, för att inte tala om FRA, alla samlar de in terabytes med data.

Och om man analyserar all den här insamlade informationen så kan man förbättra kundservice, rädda liv på sjukhus, haffa brottslingar och hitta samband och relationer som hjälper oss att fatta rationella beslut.

Hadoop är det öppna kodverktyg som så gott som alla som jobbar med dataanalys använder, det framkom med överväldigande tydlighet på konferensen.

 

[tags] Analytics, Microsoft Silicon Valley, Dataanalys, Peter Norvig, Dr Semmelweis, Microsoft Campus Mountain View, SD Forum, Silicon Valley, Hadoop[/tags]

Ron Kohavi och HIPPO, eller varför datainsamling och dataanalys demokratiserar samhället

Published by:

[print_link]

SD Forums dataanlysmässa på Microsoft i Silicon Valley. Foto Det Progressiva USA. 9/4/2010

FRA massavlyssnar hela jäkla svenska folket, sjukhus samlar information om patienter, Amazon kollar vilka böcker vi köper, Google kollar vilka sajter vi besöker.

Sen kör man avancerade dataanalysalgoritmer som lägger fram förslag om andra böcker vi kanske är intresserade av, eller också tipsar FRA om fildelare, Wall Street tipsar om aktier vi bör köpa osv.

Data är plötsligt kung och företag som Twitter och Yahoo samlar in hela 12 terabytes med data om sina kunder per dag! Då kan man föreställa sig vilka gigantiska mängder med data som FRA och NSA samlar in.

Är inte det här farligt så in i h-elvete?

Ja både ja och nej. Ron Kohavi, en mycket underhållande och karismatisk expert på dataanalys från Microsoft här i Silicon Valley har en intressant och litet olika åsikt i den här frågan.

Fram till idag, säger Kohavi, har besluten i alla stora IT-företag som han är bekant med alltid varit baserad på HIPPO, dvs Highest Paid Person’s Opinion. Personen på toppen av pyramiden är den som bestämmer.

 

[tags]Analytics, Microsoft Silicon Valley, Dataanalys, Peter Norvig, Dr Semmelweis, Microsoft Campus Mountain View, SD Forum, Silicon Valley, Ron Kohavi[/tags]

På dataanalysmässan på Microsoft i Silicon Valley

Published by:


SD Forums dataanlysmässa på Microsoft i Silicon Valley. Foto Det Progressiva USA. 9/4/2010. Klicka på bilden.

[print_link]

Microsofts moderna Campus. Foto Det Progressiva USA. 9/4/2010

Tillbringade dagen på SD Forums dataanlysmässa The Analytics Revolution Conference, på Microsoft i Mountain View här i Silicon Valley.

Microsoft kanske någon undrar, ligger inte det i Redmond strax utanför Seattle i Washington och det gör det visst. Men Microsoft har också ett växande brohuvud här i Silicon Valley, inte bara på två platser i Mountain View utan även i San Francisco.

Allt som allt någonstans kring sju-åtta tusen anställda. En siffra som växer f.ö.

Dataanalys är en av de hetaste områdena på IT-området just nu och vad det handlar om är hur man statistiskt analyserar de gigantiska datamängder, omkring 12 terabytes per företag, som företag som Yahoo och Twitter samlar ihop om sina kunder varje dag.

Men alla företag och institutioner samlar in data idag. Det är data om kunder, om patienter på sjukhus, om trafikanter, om innevånare i Stockholm eller Örebro, om kriminella personer, om Internetanvändare och fildelare och den massavlyssning om oss alla som FRA och NSA sysslar med osv osv.

Har inte varit på Microsofts campus här i Silicon Valley tidigare och det är verkligen toppmodernt kunde precis lika gärna ligga i Kista.

Det ligger inom lätt gångavstånd från Google vilket kanske var orsaken till att Googles vithårige och mycket underhållande forskningschef, Peter Norvig, iklädd en bjärt Hawaii-skjorta, deltog med ett högintressant föredrag om hur Google använder dataanlys för att bygga Google Translate. Mer om det imorgon.

 

[tags]Analytics, Microsoft Silicon Valley, Dataanalys, Peter Norvig, Dr Semmelweis, Microsoft Campus Mountain View, SD Forum, Silicon Valley[/tags]