Politik

Tag Archives: Microsoft Silicon Valley

Från disk till SSD till minne till CPU cache, jakten på allt snabbare dataanalys i IT-världen

Published by:

D
agens IT-utveckling handlar är ett “rejs”, som man säger på modern svenska. Ett rejs i jakt på allt snabbare datorer, allt snabbare datahastigheter, på att kunna hantera och analysera de växande datamängder som går under begreppet Big Data.

På ett Meetup på Microsoft här i Silicon Valley igår kväll så presenterade Joydeep Das från Sybase, nu en del av SAP, ovanstående OH-bild som klart och översiktligt visar jakten på allt snabbare dataanalyser.

För den som undrar så står SSD för Solid-state drive, på svenska ibland flashdisk eller halvledardisk.

För den som inte kan se hur mycket snabbare det blir allteftersom man flyttar sig från disk till SSD-disk till datorminne till CPU-cache så kommer siffrorna här:

  1. Från spinnande disk till SSD, 1,2 till 2x snabbare
  2. Från SSD till datorminne, 4 till 200x snabbare
  3. Från datorminne till CPU cache, 2 till 6x snabbare.

Continue reading

Analytics, dataanalys med Hadoop förändrar samhället

Published by:

[print_link]


Klicka på bilden.

På den intresssanta dataanalysmässan här i Silicon Valley så var det ett ord som dök upp i var och varannan mening, Hadoop.

Så vad är Hadoop och varför är det så viktigt?

Om vi börjar från början så befinner vi oss idag i en värld smockfull med data. Men idag samlas inte all den här informationen längre i dammiga arkiv utan i väldiga databaser där den lätt kan analyseras.

Amazon, Yahoo! och Twitter samlar t.ex. in omkring 12 terabytes med data om sina kunder på sina webbsajter VARJE DAG.

Det är samma sak för t.ex. DN, SvD, SVT, sjukhus, polisen, kommuner, Migrationsverket, Socialstyrelsen, landsting, SAS, för att inte tala om FRA, alla samlar de in terabytes med data.

Och om man analyserar all den här insamlade informationen så kan man förbättra kundservice, rädda liv på sjukhus, haffa brottslingar och hitta samband och relationer som hjälper oss att fatta rationella beslut.

Hadoop är det öppna kodverktyg som så gott som alla som jobbar med dataanalys använder, det framkom med överväldigande tydlighet på konferensen.

 

[tags] Analytics, Microsoft Silicon Valley, Dataanalys, Peter Norvig, Dr Semmelweis, Microsoft Campus Mountain View, SD Forum, Silicon Valley, Hadoop[/tags]

Ron Kohavi och HIPPO, eller varför datainsamling och dataanalys demokratiserar samhället

Published by:

[print_link]

SD Forums dataanlysmässa på Microsoft i Silicon Valley. Foto Det Progressiva USA. 9/4/2010

FRA massavlyssnar hela jäkla svenska folket, sjukhus samlar information om patienter, Amazon kollar vilka böcker vi köper, Google kollar vilka sajter vi besöker.

Sen kör man avancerade dataanalysalgoritmer som lägger fram förslag om andra böcker vi kanske är intresserade av, eller också tipsar FRA om fildelare, Wall Street tipsar om aktier vi bör köpa osv.

Data är plötsligt kung och företag som Twitter och Yahoo samlar in hela 12 terabytes med data om sina kunder per dag! Då kan man föreställa sig vilka gigantiska mängder med data som FRA och NSA samlar in.

Är inte det här farligt så in i h-elvete?

Ja både ja och nej. Ron Kohavi, en mycket underhållande och karismatisk expert på dataanalys från Microsoft här i Silicon Valley har en intressant och litet olika åsikt i den här frågan.

Fram till idag, säger Kohavi, har besluten i alla stora IT-företag som han är bekant med alltid varit baserad på HIPPO, dvs Highest Paid Person’s Opinion. Personen på toppen av pyramiden är den som bestämmer.

 

[tags]Analytics, Microsoft Silicon Valley, Dataanalys, Peter Norvig, Dr Semmelweis, Microsoft Campus Mountain View, SD Forum, Silicon Valley, Ron Kohavi[/tags]

På dataanalysmässan på Microsoft i Silicon Valley

Published by:


SD Forums dataanlysmässa på Microsoft i Silicon Valley. Foto Det Progressiva USA. 9/4/2010. Klicka på bilden.

[print_link]

Microsofts moderna Campus. Foto Det Progressiva USA. 9/4/2010

Tillbringade dagen på SD Forums dataanlysmässa The Analytics Revolution Conference, på Microsoft i Mountain View här i Silicon Valley.

Microsoft kanske någon undrar, ligger inte det i Redmond strax utanför Seattle i Washington och det gör det visst. Men Microsoft har också ett växande brohuvud här i Silicon Valley, inte bara på två platser i Mountain View utan även i San Francisco.

Allt som allt någonstans kring sju-åtta tusen anställda. En siffra som växer f.ö.

Dataanalys är en av de hetaste områdena på IT-området just nu och vad det handlar om är hur man statistiskt analyserar de gigantiska datamängder, omkring 12 terabytes per företag, som företag som Yahoo och Twitter samlar ihop om sina kunder varje dag.

Men alla företag och institutioner samlar in data idag. Det är data om kunder, om patienter på sjukhus, om trafikanter, om innevånare i Stockholm eller Örebro, om kriminella personer, om Internetanvändare och fildelare och den massavlyssning om oss alla som FRA och NSA sysslar med osv osv.

Har inte varit på Microsofts campus här i Silicon Valley tidigare och det är verkligen toppmodernt kunde precis lika gärna ligga i Kista.

Det ligger inom lätt gångavstånd från Google vilket kanske var orsaken till att Googles vithårige och mycket underhållande forskningschef, Peter Norvig, iklädd en bjärt Hawaii-skjorta, deltog med ett högintressant föredrag om hur Google använder dataanlys för att bygga Google Translate. Mer om det imorgon.

 

[tags]Analytics, Microsoft Silicon Valley, Dataanalys, Peter Norvig, Dr Semmelweis, Microsoft Campus Mountain View, SD Forum, Silicon Valley[/tags]