Politik

Category Archives: Big Data

Big Data och datajournalism förändrar pressen och ger tidningarna en chans att överleva

Published by:

Klicka på boken för att läsa den på webben.

Dagens datasystem fullkomligt vräker ur sig gigantiska mängder med data, s.k. ig Data eller Massdata. Det är inte bara FRA som använder dessa nästan oöverskådliga datamängder. På precis samma sätt så analyseras massdata inom vetenskapen, inom sjukvården (genom att tröska igenom anonymiserade patientjournaler), av miljömyndigheter och givetvis inom företagen. Apples makalösa framgångar handlar t.ex. om avancerad analys av deras logistik.

Och med alla dessa data så har pressen en chans att satsa på avancerad dataanalys till underlag för en helt ny slags reportage. Något som kan komma att rädda tidningarna och journalisterna som annars hotas med snar undergång.

Brittiska Guardian är ett bra exempel på en framsynt tidning som bl.a.
“använder …. Google Spreadsheet vilket innebär att människor med ett Google-konto kan ladda ner data, importera dom till sitt eget konto och göra sina egna diagram, sortera data och skapa pivottabeller eller de kan importera data i ett verktyg som de själva väljer.

Continue reading

Cold case, FRA och fildelare, samkörning av patienjournaler, Big Data och Massdata förändrar samhället

Published by:

Big Data eller Massdata är ett koncept och en realitet som delar historien i ett före och efter som osynlig Berlinmur.

Före Big Data-momentet som i stort sammanfaller med senare delen av 2000-talet, så levde vi i ett analogt samhälle där vi inte koll på alla data som virvlade runt om kring oss, eftersom vi inte kunde lagra och söka igenom dom, utom med stenåldersmetoder som kartotek och pappershögar. Men när allt från text till musik och video, hela böcker, röntgenbilder, sjukjournaler, telefonsamtal, radio och TV-sändningar, data från gas, vatten och elledningar digitaliseras och vi alla började simma i gigantiska mängder data, ja då förändras världen i grunden. Allt fler jobb kunde plötsligt utföras av datorer som kunde hitta hur många nålar i hur många höstackar som helst.

Sandra Laville i brittiska Guardian ger ett bra exempel på före och efter i falle tom den bortförda Madeleine mcCann Madeleine McCann could be living with abductor, says Scotland Yard. Yard releases image of how Madeleine may look five years on and asks Portuguese police to reopen inquiry

Continue reading

Den amerikanska regeringens viktiga initiativ kring Big Data

Published by:

Miljarder sonder, sensorer, digitala mätare, RFID-taggar, kameror, datorer och prylar som vi inte ens har namn på än, som spottar, vräker, hostar, frustar ur sig gigantiska datamängder, välkommen till Big Data eller Massdata-världen.

Det är en värld som är helt annorlunda än någon värld som någon människa hittills har levt i, på gott och ont. På ont därför att det är en värld där regeringar och myndigheter, inte minst i Sverige, men även här i USA utan den minsta blyghet tar chansen att spionera och massavlyssna oss in på bara skinnet. Men det är också på gott eftersom Big Data också lovar att revolutionera de flesta vetenskaper och forskningsområden.

Steve Lohr skriver i New York Times om hur den amerikanska regeringen nu ger sig in på Massataområdet med ett viktigt initiativ som kommer att samordnas av National Science Foundation: New U.S. Research Will Aim at Flood of Digital Data – NYTimes.com

Continue reading

Gil Elbaz Factual: Big Data och datatorgen, vad sker när data privatiseras?

Published by:

Klicka på bilden.

Stenåldern, Bronsåldern, Järnåldern, den Industriella Revolutionen, följd av datoråldern och nu dataåldern. Big Data har blivit ett av de mest använda modeorden inom IT de senaste året och handlar om gigantiska datamängder som genereras när samhället går från papper till elektroniska data.

I dataålder är data som olja, dvs något som kommer att driva framtidens samhälle. Data kommer att vara lika viktiga som de svenska skogarna, den svenska vattenkraften och det svenska järnet.

Just nu pågår en allt intensivare konkurrens om att bygga s.k. datatorg där vi kan köpa och sälja data. Jag har redan skrivit om ett litet startupföretag i den här branschen i Palo Alto som heter ClearStory Datalagring och Palo Altos ClearStory, Big Data och avancerad dataanalys för massorna

Det finns en synnerligen viktig poäng här, nämligen att om Big Data är framtidens olja så kommer den som äger den mesta informationen att kunna sälja den till högstbjudande. Och samtidigt, den som inga data har han får gå med rumpan bar.

Quentin Hardy skriver i New York Times om Gil Elbaz i Los Angeles och hans försök att samla ihop så mycket data som möjligt för att sen kunna sälja dom till företag och myndigheter: Factual?s Gil Elbaz Wants to Gather the Data Universe – NYTimes.com

Continue reading

Nyttiga IT-kunskaper: Lär dig Redis och NoSQL-databaser snabbt och gratis

Published by:

Klicka på bilden

Big Data är ett av de hetaste modeorden inom IT just nu. Och hand i hand med Big Data går NoSQL-databaser som främst då kanske Hadoop, men också MongoDB, CouchDb och en liten intressant databas som heter Redis och som på kort tid har blivit mycket populär.

Att installera Redis är busenkelt på Ubuntu och inte mycket svårare på Windows.

Vi öppnar ett terminalfönster på Ubuntu, skriver in sudo apt-get install redis-server efter några sekunder, inte minuter, är Redis installerat, både servern och klienten. Inte bara det, Redis har redan startat.

Vilket är enkelt att teste. Vi skriver redis-cli ping på kommandlinjen och får snabbt tillbaks ett PONG. Vilket betyder att allt är klart.

För den som vill köra Windows har Dušan Majkić skapat en mycket fin Redis-implementation för Windows.

Continue reading

Silicon Valley: möt de unga globaliserade IT-ingenjörerna som bygger framtidens Big Data-baserade kunskapssamhälle

Published by:

Foto Det Progressiva USA. Hadoop och Big Data-meetup på Yahoo. 21/3/2011

Ja här har vi dom, runt 350 IT-ingenjörer i Yahoos kafeteria, intensivt lyssnande på det senaste om Hadoop och Big Data. Tyvärr kan vi bara se dom bakifrån eftersom jag för ovanlighetens skull kom sent och inte kunde få plats längst fram som jag brukar.

Såna här Meetups har blivit omåttligt populära, och lockar IT-ingenjörer från hela Silicon Valley och San Francisco.

Bay Area Hadoop User Group (HUG) Monthly Meetup är ett av de många populära Meetups som fokuserar på en av de allra hetaste teknologierna som finns, nämligen Big Data och de verktyg man använder för att hantera gigantiska datamängder.

Continue reading

Datalagring och Palo Altos ClearStory, Big Data och avancerad dataanalys för massorna

Published by:

Klicka på bilden.

Big Data har blivit ett av de mest använda modeorden inom IT de senaste året. Det handlar om data i storleksordningen terabytes, exabytes och zettabytes av data, dvs helt ofattbara mängder med data som sprutar fram i det digitala samhället. Vi stöter regelbundet på Big Data inom meteorologin, genomiken , connectomics, komplexa simuleringar inom fysiken, biologin och miljöforskningen, sökningar på Internet och inte minst inom finans-, sjukvården och affärsvärlden.

Om vi nu kan analysera och skapa klarhet i vad datatsunamin säger oss så kommer vi att kunna hitta svar på frågor på de flesta områden, som t.ex. inom sjukvården. Vi kan t.ex. hitta gemensamma nämnare hos patienter som lider av en viss sorts sjukdom och sen jämföra deras DNA för att hitta ärftliga faktorer som vi idag inte ens kan ana.

Continue reading

Big Data, massavlyssning och cyberkrig, FRA:s storebror NSA:s nya datahallar i Bluffdale, Utah

Published by:

Klicka på bilden.

Liksom kryptografi-experten Bruce Schneier som jag skrev om igår, så är James Bamford ett känt namn på sitt specialiserade gebit. Men medan Bruce Schneier är expert på kryptografi så är James Bamford expert på National Security Agency,den amerikanska myndighet som sysslar med massavlyssning inte bara i utlandet utan även inom USA. Svenska FRA:s storebror. De två myndigheterna samarbetar f.ö. vad vi vet MYCKET intimt.

Bakgrunden till James Bamfords stort upplagda artikel i Wired Magazine,
The NSA Is Building the Country’s Biggest Spy Center (Watch What You Say) är ett ämne som jag själv har bloggat om rätt mycket den senaste tiden, nämligen Big Data.

Continue reading

New York Times Jake Porway och Data Without Borders

Published by:

Vi har datorer och mobiler och Internet och USB-diskar och en himla massa data-prylar. Och sen har vi data. Och data håller på att förändra samhället och alla våras liv på ett sätt som vi först nu kan börja ana.

Här i USA håller t.ex. Obama-adminstrationen på att öppna alla regeringens icke-konfidentiella databaser för allmänheten i ett initiativ som heter Data.gov för att sen uppmuntra allmänheten att skriva appar som använder sig av datan, som ju ägs gemensamt av alla amerikanska skattebetalare.

Continue reading

IT-revolutionen kring Big Data och datormolnen och Microsofts Big Data-strategi

Published by:


På Microsofts campus här i Silicon Valley igår kväll så inträffade något rätt typiskt. Arrangörerna kunde inte få OH-projektorn att fungera så man ropade till sig en ung kille som uppenbarligen var någon slags tekniker. Han kom fram, mixtrade litet med projektorn och vips så fungerade den.

Sen när man skulle börja så ropade man fram teknikern igen och introducerade honom med följande ord: Saptak Sen is Senior Product Manager at Microsoft Corporation where he is driving evolution of Technical Computing Strategy by working and interacting with customers, partners and competitors to identify trends and business opportunities.

Whao, och ännu mer whao blev det när han sen pratade in en timme om Microsofts Big Data-strategi och hur Microsoft idag inte bara jobbar med öppen kod, man har programmerare som skriver Java-kod och Node.js.

Microsoft jobbar också med Apache-stiftelsen och med HortonWorks, ett lokalt Hadoop-företag här i Silicon Valley, som jag har skrivit om.

Tala om en revolution. Det var som om påven plötsligt hade tillåtit sina präster att gifta sig.

Continue reading

Från disk till SSD till minne till CPU cache, jakten på allt snabbare dataanalys i IT-världen

Published by:

D
agens IT-utveckling handlar är ett “rejs”, som man säger på modern svenska. Ett rejs i jakt på allt snabbare datorer, allt snabbare datahastigheter, på att kunna hantera och analysera de växande datamängder som går under begreppet Big Data.

På ett Meetup på Microsoft här i Silicon Valley igår kväll så presenterade Joydeep Das från Sybase, nu en del av SAP, ovanstående OH-bild som klart och översiktligt visar jakten på allt snabbare dataanalyser.

För den som undrar så står SSD för Solid-state drive, på svenska ibland flashdisk eller halvledardisk.

För den som inte kan se hur mycket snabbare det blir allteftersom man flyttar sig från disk till SSD-disk till datorminne till CPU-cache så kommer siffrorna här:

  1. Från spinnande disk till SSD, 1,2 till 2x snabbare
  2. Från SSD till datorminne, 4 till 200x snabbare
  3. Från datorminne till CPU cache, 2 till 6x snabbare.

Continue reading

På Microsoft i Silicon Valley för Meetup om Big Data och Datormolnen

Published by:

Foto Det Progressiva USA. 16/2/2012. Microsofts Saptak Sen, Senior Product Manager för Big Data talar om Microsofts strategi för Big Data, datormolnen och öppen kod. (Ja som alla andra så jobbar Microsoft idag med Öppen Kod).

Allteftersom IT-industrin här i Silicon Valley utvecklas i allt snabbare takt så blir också livet alltmer hektiskt.

Ett par kvällar i veckan nu så befinner jag mig på s.k. Meetups på företag som Google, Yahoo eller Microsoft´, eller på stora advokatfirmor som Pillsbury LLC i Palo Alto som är stöttepelare i IT-industrin och globaliseringen.

Det är som att vara tillbaks på universitetet med toppenlärare som alla är VD:n eller tekniska experter på Silicon Valleys ledande företag eller den öppna kod-rörelser och som lär ut och åskådliggör det allra senaste inom Silicon Valleys IT-industri. Fantastiska föredrag om den allra allra senaste IT-teknologin, mycket intressanta och ibland hetsiga diskussioner efteråt, bra mingel med programmerare och entreprenörer och även mat och dryck.

Continue reading

Apache BigTop, Big Data och Hadoop-Meetup på Yahoo i Silicon Valley

Published by:

Foto Det Pregressiva USA 15/2/2012. Yahoo campus.

Att säga att det är spännande att bo här i Silicon Valley är en underdrift av episka proportioner. Sanningen är att det inte har varit såhär spännande någonsin, i alla fall inte under det kvartssekel som jag har varit här.

Och en av de häftigaste nya teknologierna är Big Data och Hadoop.

Och det är för att lära mig så mycket jag överhuvudtaget kan om Hadoop och Big Data som jag en gång i månaden kör över till Yahoos campus ute vid San Franciscobukten för att vara med på deras Meetup.

Just hemkommen från det senaste kan jag rapportera om att deras kafeteria var smockfull och presentationerna mycket spännande. Speciellt då det om Apache BigTop som försöker lösa problemet om hur man testar och paketerar alla de produkter som gemensamt utgör dagens Hadoop.

Bay Area Hadoop User Group (HUG) February Meetup

Continue reading

Precis som på ICA: färdigpacketerad virtuell mjukvara sätter fräs på IT-utvecklingen

Published by:

När din mormors mormor var ung och det gamla seklet inte sådär speciellt gammalt,
så var livet för jävligt helt enkelt.

Kvinnorna fick vältra sig ur fållbänken redan klockan tre på morgonen för att slakta kor och höns och hästar och allt som rörde sig för att sen stånka skinnpannkaka, göra gräsliga stångkorvar och äckliga fläskpannkakor, ysta smör och messmör och mjölka korna och gud vet allt.

Och sen när solen äntligen kom upp, om den alls kom upp, så måste man reparera visthusboden och hässja och ut och klippa fåren och jobba ihjäl sig i största allmänhet.

Precis så var det fram till för bara några år sen när man installerade mjukvara. Ja fast utan fåren.

Continue reading