Dagens samhälle vilar alltmer på dataverktyg som gör det möjligt att analysera oöverskådliga mängder data på mycket kort tid, Googles MapReduce som också finns i en öppen kod-version som går under namnet Hadoop har utgjort stommen i Big Data-rörelsen under de senaste åren.
Men Hadoop har visar sig vara svår att implementera och inte snabb nog för de snabba analyser som IT-världen skriar efter.
Vilket är varför en ny teknologi från Berkeley-universitetet här i Silicon Valley som går under namnet Apache Spark och som utför analyserna i datorminnet är så intressant.
Den här intervju ger en mycket bra introduktion till Apache Spark. Och om det är någon som undrar så är Apache Spark hetare än het här i Silicon Valley just nu.
Fler inlägg om Big Data