Politik

Category Archives: Big Data

Big Data

Vad kan du om den nya glödheta Big Data-baserade datavetenskapen?

Published by:

Columbia University

Det verkar som om det var en enda person, Nate Silver, som genom sin träffsäkra insats med att förutspå vinnaren under de senaste två amerikanska presidentvalen, fick USA att inse att vi nu befinner oss i en helt ny tidsålder av Big Data och datoranalys.

Resultatet har inte låtit vänta på sig. Universitet över hela USA slåss nu för att sätta upp nya utbildningar i “Data Science”, som alltså inte är detsamma som den traditionella “computer science”.

Medan den traditionella datorvetenskapen handlar om algoritmer och hur man manipulerar data med datorer så handlar den nya Datavetenskapen om hur man analyserar gigantiska datamängder med Hadoop och MapReduce och andra Big Data-verktyg.

Industrin fullkomligt skriker efter Big Data-kunnigt folk, och lovar guld, gröna skogar och skyhöga löner för utexaminerade Big Data-expertet.

Claire Cain Miller tar upp tråden i New York Times: Data Science: The Numbers of Our Lives

Continue reading

Big Data Silicon Valley

Studera Big Data på Stanford University: Mining Massive Data Sets Graduate Certificate

Published by:

Boken är klickbar

Big Data finns överallt, dom angår och påverkar oss alla. På många sätt så definierar Big Data det moderna samhälle vi lever i. Och vi är alla en del av Big Data-revolutionen, för det är just information om oss alla som företag som Facebook och Google, organisationer som FRA och institutioner som sjukhus och försäkringsbolag samlar in och som sen blir till Big Data. På gott och ont.

Men vad handlar Big Data egentligen om, vad innebär själva begreppet?

En vän till mig som bor i Nice i södra Frankrike hittade en mycket spännande kurs om Big Data på Stanford University som han ansökte till och även blev antagen på. Och som man kan studera på distans även om man inte är Stanford-student.

Det finns en mycket intressant bok om Big Data av Anand Rajaraman och Jeffrey D. Ullman som tydligen kommer att användas på kursen, som finns gratis på Internet: Mining of Massive Datasets

Här är information om själva kursen: Mining Massive Data Sets Graduate Certificate

Continue reading

Big Data

Robotrekryterare, datorer och Big Data tar över på arbetsförmedlingarna i USA

Published by:

Vi köar efter programmeringsjobb på Facebook!

Det är uppenbart att det inte finns några jobb som på sikt inte kommer att kunna datoriseras. Det betyder inte att vi alla kommer att bli arbetslösa, bara att vi måste skapa nya jobb som ännu inte har datoriserats. Så när Stefan Löfven, som jag gillar, talar om att Sverige bör ha den minsta arbetslösheten i EU så räcker inte det riktigt. För vi måste också satsa nationellt på att hitta en helt ny klass högavlönade jobb som ännu inte kan automatiserats med billig datorkraft.

Ett exempel på hur Big Data och åtföljande dataanalys slår ut hela yrkesgrupper med data-intensiva algoritmer, kan vi se på arbetsförmedlingarna. Idag ansöker man genom sina sociala nätverk och har man inga såna så ansöker man på webben som på Monster.com. Och medan man för bara sådr en tio år sen läste arbetsansökningar så skannas dessa idag av automatiserade datorprogram som gallrar ut alla ansökningar man inte är intresserad av, innan någon människa ens befattar sig ansökningarna.

Men tack vare Big Data-rörelsen så kan man nu ta nästa steg och låta datorprogram hitta de mest passande jobbsökarna.

Economist skriver i senaste numret: Big data and hiring. Robot recruiters. How software helps firms hire workers more efficiently

Continue reading

Big Data

Big Data, Hadoop och SQL-språkets märkliga återkomst

Published by:

Så länge någon kan minnas så har data alltid manipulerats med SQL-språket. SQL-språket är baserat på SET-teori eller relations-algebra och det är högeffektivt för att behandla s.k. strukturerade data, dvs data som har ett visst mönster, som en banktransaktion, en biljettbeställning på webben eller en elektronisk sjukjournal.

Men när Big Data-rörelsen nu kommer kom som en tsunami så består den till en stor del av data som inte har en regelbunden struktur. Det kan handla om Twitter-flöden, tidningsartiklar eller anteckningar av alla de slag, som de som läkare gör under en undersökning.

Och i den ostrukturerade världen så har det inte funnits någon omedelbar plats för strukturspråket SQL.

Big Data har hittills för det mesta varit baserat på Googles Map Reduce-algoritm som använder sig av enkla attribut-värde-par. Bra för att göra en Google-sökning, men inte för att söka på information om alla svenska kvinnor mellan 30 och 35, som är överviktiga, har diabetes och två barn och som inte bor i Jönköping.

Så ankomsten av Big Data-revolutionen ledde till en explosion av s.k. NoSQL-databaser som den jättepopulära MongoDB, som är öppen kod och lätt att börja jobba med.

Men som Joseph Turian skriver på GigaOm så håller SQL-språket nu på att göra en snabb comeback för Big Data: Sector RoadMap: SQL-on-Hadoop platforms in 2013

Continue reading

Big Data MOOC

Hur Piratpartiet, LiquidFeedback och öppna data-rörelsen fördjupar demokratin och sätter press på yrkespolitikerna

Published by:

Bilden är klickbar.

I oktober förra året kunde New York Times rapportera något mycket märkligt. Nämligen hur isländska politiker hade lagt ut landets nya författning på folkentreprenad: Crowdsourcing Iceland’s Constitution.

Språkrådet har en artikel om Crowdsourcing på svenska?

De flesta känner till den snabbt växande MOOC-rörelsen, dvs webbaserade och helt gratis universitetskurser från USA:s ledande universitet. Det är en rörelse som hotar att vända upp och ner på dagens universitet, och som jag brukar dokumentera här på bloggen.

I skuggan av den rörelsen så finns det en besläktad rörelse som drivs av de IT-kunniga piratpartierna, främst i Tyskland, och som ytterst syftar till att ersätta yrkespolitiker med bredbandsuppkopplade medborgare.

Continue reading

Big Data

Historisk utveckling om Big Data och Hadoop, Google lovar att inte åberopa sina patent på MapReduce

Published by:

Om det finns någon som inte har hört talas om Big Data så är jag inte riktigt säker på att jag tror er. Big Data är egentligen namnet på vårt moderna data-intensiva samhälle, där datorer och IT-system av alla de slag genererar tonvis med data, eller terabytes eller t.o.m. petabytes som det egentligen heter, varje timme, varje minut, varje sekund.

Och för att analysera och tyda alla dessa data så använder vi en Öppen Kod-produkt som heter Hadoop, som är baserad på en algoritm som skapades av Google och som heter MapReduce.

Det enda problemet med Hadoop är att Google har tio patent på MapReduce och om man skulle vilja så skulle man alltså kunna kräva miljonbelopp av alla Hadoop-leverantörer. Något som skulle tvinga många av dom på knä.

Men nu, som Cade Metz skriver på Wired, så har Google lovat att inte stämma leverantörer av den MapReduce-baserade Hadoop. Ett beslut som äntligen gör det helt säkert att använda Hadoop, och därmed placerar Big Data-rörelsen på stadig fot: Google Erects Patent Shield for the Open Source Internet

Continue reading

Big Data

Big Data och massavlyssning, World Economic Forums viktiga rapport om vikten av restriktioner för Big Data

Published by:

Klicka på bilden för att läsa rapporten.

Big Data är det senaste modeordet på IT-området. Det öppnar för oanade möjligheter att upptäckta samband och risker inom t.ex. sjukvården, som vi tidigare inte hade någon aning om ej ens existerade. Men bakom den färggranna skylten och det coola konceptet döljer sig också mindre trevliga ord som massavlyssning och FRA.

Nu höjs allt fler varnande röster om vikten av kontroll och restriktioner på vilken information som regeringar, myndigheter och privatföretag får samla in om privatpersoner. Är det t.ex. någon som tror att en regering med USA-begeistrade politiker som Beatrice Ask “vaddå USA-spionage, fråga inte mig, det vet jag ingenting om”, Carl Bildt “ja men allt jag avslöjade för USA var redan känt och dessutom fel”, och Sten Tolgfors “Jag älskar USA”, att en sådan regering inte kommer att skeppa över all information man överhuvudtaget besitter till CIA och NSA, om dom bara ber. Och kanske även om dom inte ber.

Men det är betydligt värre än så, för idag samlar försäkringsbolag, myndigheter och företag av alla de slag in mängder med information om dig, som mycket väl kan vara felaktig.

Du kanske letar efter en fritös på nätet för att ge till en vän. Din jakt på fritöser hamnar snabbt i en databas som sen samkörs med en annan databas som får ditt försäkringsbolag att höja din premie eftersom du tydligen gillar friterad mat.

Ett annat exempel är när ett svenskt företag i Kina med en avdelning i Falun fick sin mejl stoppad eftersom de kinesiska myndigheterna trodde att det rörde sig om Falun Gong.

Steve Lohr skriver i New York Times om en viktig rapport from World Economic Forum
med titeln: Unlocking the Value of Personal Data: From Collection to Usage om vikten av att lägga restriktioner på Big Data och den globala massavlyssningen som nu fullkomligt exploderar: Big Data Is Opening Doors, but Maybe Too Many

Continue reading

Big Data Sjukvård

Glöm pärleporten, se upp för evangelister inom sjukvårds och Big Data-teknologin

Published by:

Bill Clinton håller publiken fången på HIMSS-mässan i New Orleans förra veckan.

Den stora lärdomen jag tog hem från HIMSS-mässan i New Orleans förra veckan var Bill Clintons suveräna anförande på mässans näst sista dag.

Till skillnad från George W Bush, om det är någon som minns honom – han var en amerikansk president och krigsförbrytare, som lyckligtvis har försvunnit från världsscenen efter sin avgång – så har Bill Clinton startat en mycket framgångsrik stiftelse, William J. Clinton Foundation och det var som dess ordförande som han deltog i sjukvårdsmässan.

Clintons stiftelse jobbar bl.a. med skolor , tillsammans med en annan amerikansk stiftelse, Bill and Melinda Gates Foundation, och Clinton berättade medryckande om hur hans stiftelse bl.a. hade lyckats få amerikanska livsmedelsföretag att minska på sockerhalten i den mat som amerikanska skolbarn får i sig i de privatiserade amerikanska skolluncherna. Det har i sin tur lett till en minskning i fallen av diabetes bland skolungdomarna i USA.

Continue reading

Big Data CIA

Recorded Future, Bayes Sats, förutsägande analys och framtidens webbsök

Published by:

Alla som följde det amerikanska presidentvalet förra året kunde se hur New York Times datavetare Nate Silver, på sin blogg kunde förutsäga valutgången i varenda amerikansk delstat, utan att göre det minsta lilla fel.

Nu har Nate Silver sina kritiker, som Gary Marcus och Ernest Davis i en viktig artikel i New Yorker , men det bara visar att förutsägande datoranalys inte är så enkel som man kanske skulle tro.

Just nu satsar företag här i Silicon Valley och världen över gigantiska belopp på det här området, eftersom möjligheterna till nya applikationsområden ses som i det närmaste obegränsade.

Continue reading

Big Data Silicon Valley

Silicon Valley: Max Levchins mardrömsscenario om framtidens totalitära Big Data-samhälle

Published by:

Max Levchin, han inte bara cyklar, han spelar gitarr också. Fast inte samtidigt.

Den Ukraina-födde Max Levchin var med och grundade PayPal tillsammans med Peter Thiel och Elon Musk. Han grundade senare widgetsajten Slide som han sen sålde till Google, där han jobbade i ett år. Han har också varit med och grundat recensionssajten Yelp. Själv beskriver han sig på sin blogg som en tvåspråkig cyklist och en ständig entreprenör . I alla fall kan man hålla med honom om den första delen av den beskrivningen.

Han är kanske på sin höjd värd $200 miljoner, vilket knappast gör honom till någon större höjdare i Silicon Valley. Men han vill gärna synas i rampljuset och han blev inbjuden att hålla inledningsanförandet DLD13 Keynote på den trettonde DLD (Digital-Life-Design) is a global network on innovation, digitization, science and culture which connects business, creative and social leaders, opinion-formers and influencers for crossover conversation and inspiration.

Hans anförande målade upp en så skräckinjagande vision av vad som tydligen är Levchins framtida drömsamhälle att det fick den respekterade IT-journalisten Nicholas Carr att gå i taket på sin blogg Rouch Type :Max Levchin has plans for you

Continue reading

Artificial Intelligence Big Data

Nu kan vi sluta glömma, Big Data är den största och mest dramatiska teknologiska och sociala revolutionen i världshistorien

Published by:

Bilden är klickbar

När datorn kom till världen i den brittiske logikern och matematikern Alan Turings historiska skrift år 1936: ON COMPUTABLE NUMBERS, WITH AN APPLICATION TO THE ENTSCHEIDUNGSPROBLEM så blev det början till en makalös utveckling som började i Bletchley Park i England under Andra Världskriget och fortsätter till dags datum.

Men datorns snabba utveckling ledde inte till några större samhällsförändringar på många årtionden. Det var först med persondatorn på 1980-talet som människor i allmänhet började få upp ögonen för datorerna och vad de kunde uträtta.

Men inte ens på 1980 eller 1990-talen så förändrades samhället mer än marginellt av datorerna.
Continue reading

Big Data

Historisk konvergens: från binärkod till DNA öppnar en helt ny dimension för Big Data

Published by:

Klicka på bilden för att läsa artikeln i Nature

Datavärlden, som är baserad på binärkoden och den biologiska världen som är baserad på DNA-koden har mer gemensamt än man kanske skulle tro. Som att data som har legat i en databas kan flyttas från binärkod till DNA. Varför kan man undra, jo DNA-koden har den fördelen att man kan klämma ihop en gigantiskt massa data i en i sanning pytteliten mängd DNA.

Det viktiga för datavetenskapen och samhället är det här på sikt betyder att man kan spara ännu mer data på ännu mindre ytor, i det här fallet syntetiskt DNA.

Ian Sample skriver i Guardian om det ingenjörstekniska mästerverket:
Shakespeare and Martin Luther King demonstrate potential of DNA storage. All 154 Shakespeare sonnets have been spelled out in DNA to demonstrate the vast potential of genetic data storage

Continue reading

Big Data Eböcker Internetbotar

Borges Babels bibliotek i mobilen, ledsen Camilla Läckberg, men med e-boken ersätts författarna av Internet-botar som skriver skräddarsydda e-böcker på beställning

Published by:

När det pappersbaserade samhället nu går i graven och ersätt av ett samhälle där alla data existerar i gigantiska datorhallar i datormolnen i digitalt format så för det med sig en betydligt större samhällsförändring än de flesta inser.

För som den brittiske logikern, matematikern och datavetaren Alan Turing visade, så kan vi använda data för att behandla data.

Och Turing borde veta för han var mannen som uppfann datorn och lade grunden till den moderna dataåldern med sin abstrakta Turing-maskin.

Och vi vet redan att Turing hade rätt, för idag vet vi att det inte finns något yrke som inte kan ersättas av databaserade algoritmer. Fråga aktiemäklarna på Wall Street som nu ersätts av börsrobotar, fråga läkarna som nu håller på att ersättas av automatiserade sjukvårdssystem som bl.a. kan läsa röntgenbilder och hitta Artärbrock i hjärnan och fråga piloter som för länge sedan har fått finna sig i att spela andrafiol till autopiloterna.

OK kanske någon nu säger, men inte sjutton kan du på allvar göra gällande att Camilla Läckberg och Leif G.W. Persson kommer att kunna ersättas av datorer?

Continue reading

Big Data Wall Street

Den nakna sanningen? Modeller som uppför sig dåligt, Big Data:s problematiska baksida

Published by:

Inget nytt modeord är så populärt som Big Data eller massadata som det också ibland kallas på svenska. Big Data handlar egentligen om en helt ny historisk era, baserad på digitala data istället för som tidigare på analoga – mest pappersbaserade – data. Vad vi tidigare kallade datoråldern kommer vi framöver att döpa om till dataåldern. Datorerna är ungefär lika intressanta som farmors och farfars skördetröska eller pappas gamla skrivmaskin. Det är datan och vad den representerar som är det viktiga, inte de snabbt föråldrade verktygen som vi använder för att analysera datan som är det viktiga.

När vi analyserar data, speciellt när datan kommer i såna extrema mängder som Big Data redan gör, så använder man statistiska modeller.

Nate Silvers datamodell av det amerikanska presidentvalet, som visade sig vara så nära 100% korrekt som man kan önska sig, introducerade redan för fyra år sen Big Data och dataanalys till världen.

Men som Steve Lohr skriver i dagens New York Times, de statistiska modeller som används för att analysera Big Data är trots allt modeller av verkligheten. Och det är långt ifrån alltid som modellerna är så korrekta som Nate Silvers var. Och orsaken till det beror på det är betydligt svårare att bygga en modell av komplicerade fenomen som världsekonomin än av det amerikanska presidentvalet.

: Sure, Big Data Is Great. But So Is Intuition.

Continue reading

Big Data Datavetenskap

10 000 datorer per person, är vi redo för hur tillgången till massivt stora datamängder kommer att förändra våra liv?

Published by:

Förvandligen från ett analogt pappersbaserat samhälle till ett digitalt samhälle där all information och alla data existerar i digital form i de världsomspännande datormolnen, kom plötsligt i början på 2000-talet.

När historikerna, med hjälp av automatiserade datasystem, om några hundra år ser tillbaks på världshistorien så är det troligt att just övergången till ett databaserat samhälle kommer att ses som en av de största förändringarna i världshistorien.

Vi talar idag om Big Data, massiva datamängder som idag samlas in på de flesta områden i samhället, inte minst av myndigheterna för att hålla kontroll över medborgarna, som FRA i Sverige.

Men dagens datamängder är bara början och Stanford-universitetets datavetenskapliga fakultet Strategic Plan ger en synnerligen spännande inblick i hur dom tror att världen kommer att se ut om 13 korta år:
Continue reading