1、spark是什么。

Spark, 是一種通用的大數(shù)據(jù)計算框架, 正如傳統(tǒng)大數(shù)據(jù)技術(shù)Hadoop的MapReduce、 Hive引擎, 以及Storm流式實時計算引擎等。

Spark包含了大數(shù)據(jù)領(lǐng)域常見的各種計算框架, 比如:。

Spark Core用于離線計算。

Spark SQL用于交互式查詢。

Spark Streaming用于實時流式計算。

Spark MLlib用于機器學(xué)習(xí)。

Spark GraphX用于圖計算。

Spark主要用于大數(shù)據(jù)的計算, 而Hadoop以后主要用于大數(shù)據(jù)的存儲（ 比如HDFS、 Hive、 HBase等） , 以及資源調(diào)度（ Yarn）。

Spark+Hadoop的組合, 是未來大數(shù)據(jù)領(lǐng)域最熱門的組合, 也是最有前景的組合！。

2、spark介紹。

Spark, 是一種"One Stack to rule them all"的大數(shù)據(jù)計算框架, 期望使用一個技術(shù)堆棧就 完美地解決大數(shù)據(jù)領(lǐng)域的各種計算任務(wù)。

Apache官方, 對Spark的定義就是： 通用的大數(shù)據(jù)快 速處理引擎。

Spark使用Spark RDD、 Spark SQL、 Spark Streaming、 MLlib、 GraphX成功解決了大數(shù) 據(jù)領(lǐng)域中, 離線批處理、 交互式查詢、 實時流計算、 機器學(xué)習(xí)與圖計算等最重要的任務(wù)和問題。

Spark除了一站式的特點之外, 另外一個最重要的特點, 就是基于內(nèi)存進行計算, 從而讓 它的速度可以達到MapReduce、 Hive的數(shù)倍甚至數(shù)十倍！。

現(xiàn)在已經(jīng)有很多大公司正在生產(chǎn)環(huán)境下深度地使用Spark作為大數(shù)據(jù)的計算框架, 包括 eBay、 Yahoo!、 BAT、 網(wǎng)易、 京東、 華為、 大眾點評、 優(yōu)酷土豆、 搜狗等等。

Spark同時也獲得了多個世界頂級IT廠商的支持, 包括IBM、 Intel等。