Big Data Analytics – USABloggen.se

Historisk utveckling: abrupt slut på utlokaliseringen av IT-tjänster i Silicon Valley

October 16, 2015 Published by: Lennart

Utlokaliseringen av IT-tjänster, främst till Indien, har länge varit ett problem i Silicon Valley och IT-världen i allmänhet. Men som Tom Davenport skriver i Wall Street Journal så har den trenden nu kommit till ett abrupt slut eftersom IT inte längre ses som en kostnad och en handelsvara utan som en strategisk fördel.

Vi talar om commodities, eller handelsvaror där en brödrost eller mikrovågsugn är så lika en annan att vi inte bryr oss om vilket märke vi köper. Det var så man såg IT under många år. Men idag med avancerad dataanalys och Big Data så ses IT som en strategisk fördel för IT-företagen, något som man absolut inte vill utlokalisera.

:

Läs fortsättningen här!

Big Data

Lämna kamelhårsulstern hemma. USA: Big Data-samhället där ditt varje steg är känt av myndigheterna

September 29, 2012 Published by: Lennart

När jag var liten så minns jag hur jag satt som klistrad framför radion för att lyssna på när man läste upp namnet på de personer som hade försvunnit under veckan. De var alla män i 30-årsåldern som alla hade cendréfärgat hår, var av medellängd, hade blåa ögon, och sen kom den som jag fann mest intressant, nämligen “han var vid försvinnandet iklädd kamelhårsulster”.

Flera hundra, kanske tusen män med cendréfärgat hår och iklädda kamelhårsulstrar irrade runt i Sverige, och ingen hade en aning om var det var eller vad de gjorde. Dom hade slukats upp som av ett svart hål.

Idag, tack vare ansiktsigenkänning och inte minst skanning av bilskyltar, så vet myndigheter, men även privatföretag, allt mer av vad varje medborgare har för sig, i alla fall i USA.

Julia Angwin och Jennifer Valentino-Devries skriver i Wall Street Journal om hur amerikansk polis och privatföretag nu skannar in stora mängder med bilskyltar, som för det möjligt för som at bygga upp en profil för hur enskilda medborgare rör sig i samhället: New Tracking Frontier: Your License Plates – WSJ.com

Big Data Silicon Valley

Google vidareutvecklar Big Data, från GFS och Map Reduce till Caffeine, Pregel och nu Dremel

August 19, 2012 Published by: Lennart

Big Data, dvs den data-intensiva värld som har uppstått när all information och alla data nu digitaliseras och alla gamla pappersarkiv datoriseras skapades av Silicon Valley-företaget Google här i Silicon Valley år 2004.

Och grundbulten är en distribuerad sökteknik MapReduce: Simplied Data Processing on Large Clusters som beskrevs av Googles Jeffrey Dean och Sanjay Ghemawat i ett document på länken ovan som publicerades i december 2004, alltså för snar åtta år sen.

Dean och Ghemawat beskrev hur man kunde använda ett stort antal billiga datorer i ett distribuerat filsystem som Googles GFS för att snabbt kunna söka efter information på nätet.

Samhälle

Big Data på DNA-nivå, datavetenskapen och bioteknologin går samman

August 18, 2012 Published by: Lennart

När våra barnbarnsbarnsbarnbarnsbarn och deras barnbarnsbarnsbarnbarnsbarn ser tillbaks på vår tid så är det inte i första hand Let’s Dance och Melodifestivalen man dom kommer att minnas, hur konstigt det än kan låta.

Istället kommer dom att minnas hur universums två grundläggande kodsystem, binärkoden och DNA-koden alltmer började gå samman och användas tillsammans. Det här är större än vi nånsin tror, och Robert Lee Hotz skriver i Wall Street Journal om hur forskare på Harvard nu har lyckats förvandla en mänsklig e-bok från binärformat till just DNA-format.

Harvard Researchers Turn Book Into DNA Code – WSJ.com

Big Data Datormoln

Heroku för Big Data? Infochimps och analys av realtidsflöden

August 8, 2012 Published by: Lennart

Klicka på Austin-företaget Infochimps.

Iskuggan av Big Data eller Rådatarörelsen, så pågår en dramatiskt tävling för att skapa det enklaste sättet att analysera stora mängder data som överhuvudtaget möjligt.

Förr om åren kunde IT-folk med överkammad flint, fickskydd och vit poplinskjorta med smal slips kunna sitta böjda framför sina gamla dataterminaler och meka med data i veckor innan nån VD kom och undrade hur fan länge dom skulle behöva läsa på den senaste dataanalysen.

Idag är användbarhet och snabbhet honnörsord och knattar som verkar som dom knappast ens har hunnit börja raka sig skriver kilometervis med datorkod som gör det allt enklare och snabbare att utföra dataanalys av gigantiska mängder med komplexa data.

Rekordet innehas av datormonlplattformen Heroku som Heroku är ett s.k. Serice as a Platformplattform (Paas) som ägs av Salesforce.com. Herokou använder t versionshanteringsprogrammet Git som skapades av den inte helt okände Linus Torvalds, Linux skapare.

Derrick Harris skriver på GigaOm om hur ett startupföretag i Austin i texas nu försöker skapa en Heroku-liknande process för Big Data i realtid: Infochimps makes its big-data-for developers real-time

Big Data

Big Data, Silicon Valley och den nya industriella revolutionen.

June 5, 2012 Published by: Lennart

Big Data eller Rådata som det heter eller i varje fall kan heta på svenska, har på kort tid blivit ett modeord inom IT-industrin här i Silicon Valley. Själv sysslar jag idag nästan uteslutande med Rådata, mest inom sjukvården, men även utanför.

Inte ens mobila appar ger så hög status på University Avenue i Palo Alto som att säga att man jobbar med Big Data. “Nu har jag inte tid att sitta här och prata”, säger man, ” jag jobbar med Big Data you know”.

Jag har skrivit om den viktiga Big Data-konferensen på Berkeley i förra veckan, som liksom satte begreppet på kartan, om det nu behövdes, det finns redan dussintals företag som jobbad med Rådata här i Silicon Valley, kanske flera hundra. DataEdge-konferensen, Berkeley och rådata, Silicon Valleys andra nobeluniversitet tar sig ton, en konferens som har satt Big Data eller Rådata på kartan vad gäller Silicon Valley.

New York Times Quentin Hardy skriver från konferensen om vår personliga integritet i Big Data eller Rådataåldern: Rethinking Privacy in an Era of Big Data

Big Data

DataEdge-konferensen, Berkeley och rådata, Silicon Valleys andra nobeluniversitet tar sig ton

June 3, 2012 Published by: Lennart

Klicka på bilden.

Mdet finns någon institution som har rätt att kalla sig för Silicon Valleys Ground Zero så är det Stanford University i Palo Alto. Ett av världens stora universitet, på Nobelprisnivå.

Men det finns faktiskt ytterligare två Nobeluniversitet i Silicon Valley. Det minst kända är University of California at San Francisco där Elizabeth Blackburn vann Nobelpriset i medicin 2009. Det andra stora Nobeluniversitetet är givetvis University of California at Berkeley som även det spelar en viktig roll inom IT-industrin i Silicon Vallley.

Nu verkar det som om Berkeley håller på att etablera sig som en vitkig aktör på massadataområdet, eller Big Data, som det kallas på engelska.

TechCrunchs Andrew Keene skriver om Berkeleys DataEdge-konferens Keen On Big Data: Why UC Berkeley Might Have An Edge Over Stanford [TCTV] | TechCrunch

Big Data Silicon Valley

Palantir, ett av Silicon Valleys allra hetaste startupföretag i Big Data-branschen

May 17, 2012 Published by: Lennart

Klicka på Palantir

Palo Alto-företaget Palantir, med högkvarter i Palo Alto, är ett av Silicon Valleys allra hetaste företag just nu. Företaget som Stanford-studenter definitivt vill jobba för om de inte själva vill starta eget.

TechCrunchs Colleen Taylor skriver om hur Palantir nu har fått ytterligare $56 miljoner i riskkapital, ovanpå $70 miljoner förra året, vilket betyder att företaget idag är värd omkring tre miljarder dollar!

Palantir Technologies Nabs $56M In New Funding, SEC Filing Shows

Big Data Datorspråk Nyttiga IT-kunskaper

Big Data och statistik blir allt viktigare, vad kan du om dataspråket R?

May 7, 2012 Published by: Lennart

Klicka på bilden

Den som händelsevis läste mitt inlägg om New York Times-korrespondenten Amanda Cox igår lördag kalifornisk tid, vet att hon sysslar med statistik och datavisualisering: Glöm fredagsmyset, New York Times Amanda Cox och datavisualisering har förändrat mitt liv!

Big Data är alltså de väldiga datamängder som idag väller ut på webben och som journalister, vetenskapsmän och vanliga medborgare har börjat analysera och publicera.

För mannen på gatan så börjar datan vanligtvis med ett kalkylark i Microsoft Excel som Amanda Cox sedan importerar till Adobe Illustrator och därifrån till dataspråket R.

Big Data Nyttiga IT-kunskaper

Nyttiga IT-kunskaper: lär dig programmera Big Data med MapReduce, Jaql, Pig och Hive

May 6, 2012 Published by: Lennart

Klicka på Hive.

De flesta IT-intresserade har vid det här laget hört talas om Big Data eller Massdata och att man använder det öppna kod-verktyget Hadoop för att manipulera de ofta gigantiska datamängderna som ingår i Massada.

Problemet med stora datamängder är att man inte bara kan ladda upp dom på en enda dator och sen tuta och köra. För att kunna hantera så mycket data på de billiga Intelservrar som för det mesta är vad som används i datormolnen eller i datahallarna, så måste man dela upp datan i många mindre delar och sen distribuera datan och analysjobben till ett visst antal serverar, säg ett dussin eller hundra servrar. Sen kör man de distribuerade analysjobben på dessa servrar, en s.k. serverkluster. Vilket också kallas parallell programmering.

Vad som gör det här möjligt är att Hadoop är utrustat med ett parallellt filsystem: HDFS eller Hadoop Distributed File System.

Samhälle

I det globaliserade datasamhället så är Piratpartiet det första moderna svenska politiska partiet

April 23, 2012 Published by: Lennart

Klicka på Piratpartiet

G har tillbringat hela fredagen, lördagen och nu också söndagen framför datorn med att jobba med Hadoop, det främsta Massdata eller Big Data- verktyget som finns just nu.

Massdata eller Big Data har blivit ett av de mest använda modeorden inom IT de senaste året, men det är långt ifrån hajp utan en historisk och mycket dramatisk förändring av hela samhället. Lika dramatiskt som den industriella revolutionen på sin tid.

Vår förmåga att digitalisera vår omgivning med hjälp av RFID-baserade censorer på allt från gas, olje och vattenledningar till digitalkameror, digitala medicinska instrument, satelliter mm. Allt som finns runt om oss, allting som vi överhuvudtaget kan röra vid, se och förstå om vår omgivning kommer snart att bestå av digitaliserade data. Data som kommer att kunna manipuleras av datorer.

Big Data

Den amerikanska regeringens viktiga initiativ kring Big Data

March 30, 2012 Published by: Lennart

Miljarder sonder, sensorer, digitala mätare, RFID-taggar, kameror, datorer och prylar som vi inte ens har namn på än, som spottar, vräker, hostar, frustar ur sig gigantiska datamängder, välkommen till Big Data eller Massdata-världen.

Det är en värld som är helt annorlunda än någon värld som någon människa hittills har levt i, på gott och ont. På ont därför att det är en värld där regeringar och myndigheter, inte minst i Sverige, men även här i USA utan den minsta blyghet tar chansen att spionera och massavlyssna oss in på bara skinnet. Men det är också på gott eftersom Big Data också lovar att revolutionera de flesta vetenskaper och forskningsområden.

Steve Lohr skriver i New York Times om hur den amerikanska regeringen nu ger sig in på Massataområdet med ett viktigt initiativ som kommer att samordnas av National Science Foundation: New U.S. Research Will Aim at Flood of Digital Data – NYTimes.com

Big Data

Gil Elbaz Factual: Big Data och datatorgen, vad sker när data privatiseras?

March 25, 2012 Published by: Lennart

Klicka på bilden.

Stenåldern, Bronsåldern, Järnåldern, den Industriella Revolutionen, följd av datoråldern och nu dataåldern. Big Data har blivit ett av de mest använda modeorden inom IT de senaste året och handlar om gigantiska datamängder som genereras när samhället går från papper till elektroniska data.

I dataålder är data som olja, dvs något som kommer att driva framtidens samhälle. Data kommer att vara lika viktiga som de svenska skogarna, den svenska vattenkraften och det svenska järnet.

Just nu pågår en allt intensivare konkurrens om att bygga s.k. datatorg där vi kan köpa och sälja data. Jag har redan skrivit om ett litet startupföretag i den här branschen i Palo Alto som heter ClearStory Datalagring och Palo Altos ClearStory, Big Data och avancerad dataanalys för massorna

Det finns en synnerligen viktig poäng här, nämligen att om Big Data är framtidens olja så kommer den som äger den mesta informationen att kunna sälja den till högstbjudande. Och samtidigt, den som inga data har han får gå med rumpan bar.

Quentin Hardy skriver i New York Times om Gil Elbaz i Los Angeles och hans försök att samla ihop så mycket data som möjligt för att sen kunna sälja dom till företag och myndigheter: Factual?s Gil Elbaz Wants to Gather the Data Universe – NYTimes.com

Big Data

Nyttiga IT-kunskaper: Lär dig Redis och NoSQL-databaser snabbt och gratis

March 24, 2012 Published by: Lennart

Klicka på bilden

Big Data är ett av de hetaste modeorden inom IT just nu. Och hand i hand med Big Data går NoSQL-databaser som främst då kanske Hadoop, men också MongoDB, CouchDb och en liten intressant databas som heter Redis och som på kort tid har blivit mycket populär.

Att installera Redis är busenkelt på Ubuntu och inte mycket svårare på Windows.

Vi öppnar ett terminalfönster på Ubuntu, skriver in sudo apt-get install redis-server efter några sekunder, inte minuter, är Redis installerat, både servern och klienten. Inte bara det, Redis har redan startat.

Vilket är enkelt att teste. Vi skriver redis-cli ping på kommandlinjen och får snabbt tillbaks ett PONG. Vilket betyder att allt är klart.

För den som vill köra Windows har Dušan Majkić skapat en mycket fin Redis-implementation för Windows.

Big Data Silicon Valley

Silicon Valley: möt de unga globaliserade IT-ingenjörerna som bygger framtidens Big Data-baserade kunskapssamhälle

March 22, 2012 Published by: Lennart

Foto Det Progressiva USA. Hadoop och Big Data-meetup på Yahoo. 21/3/2011

Ja här har vi dom, runt 350 IT-ingenjörer i Yahoos kafeteria, intensivt lyssnande på det senaste om Hadoop och Big Data. Tyvärr kan vi bara se dom bakifrån eftersom jag för ovanlighetens skull kom sent och inte kunde få plats längst fram som jag brukar.

Såna här Meetups har blivit omåttligt populära, och lockar IT-ingenjörer från hela Silicon Valley och San Francisco.

Bay Area Hadoop User Group (HUG) Monthly Meetup är ett av de många populära Meetups som fokuserar på en av de allra hetaste teknologierna som finns, nämligen Big Data och de verktyg man använder för att hantera gigantiska datamängder.