柚子快報(bào)激活碼778899分享：大數(shù)據(jù) spark和scala

http://yzkb.51969.com/

認(rèn)識spark

spark簡介官網(wǎng) Apache Spark? - Unified Engine for large-scale data analytics

Spark是一種基于內(nèi)存的快速、通用、可擴(kuò)展的大數(shù)據(jù)分析計(jì)算引擎。

是加州大學(xué)伯克利分校AMP實(shí)驗(yàn)室（Algorithms, Machines, and People Lab）開發(fā)的通用內(nèi)存并行計(jì)算框架Spark得到了眾多大數(shù)據(jù)公司的支持，這些公司包括Hortonworks、IBM、Intel、Cloudera、MapR、Pivotal、百度、阿里、騰訊、京東、攜程、優(yōu)酷土豆。當(dāng)前百度的Spark已應(yīng)用于大搜索、直達(dá)號、百度大數(shù)據(jù)等業(yè)務(wù)；阿里利用GraphX構(gòu)建了大規(guī)模的圖計(jì)算和圖挖掘系統(tǒng)，實(shí)現(xiàn)了很多生產(chǎn)系統(tǒng)的推薦算法；騰訊Spark集群達(dá)到8000臺的規(guī)模，是當(dāng)前已知的世界上最大的Spark集群。

Spark特點(diǎn)

1）快速：基于內(nèi)存的計(jì)算比 MapReduce 快 100 倍，基于磁盤快 10 倍。

2）易用：編寫一個(gè) spark 的應(yīng)用程序可以使用 Java, Scala, Python, R，這就使得我們的開發(fā)非常地靈活。并且，對比MapReduce,spark 內(nèi)置了 80 多個(gè)高級操作，這使得開發(fā)十分高效和簡單。

3）運(yùn)行范圍廣：spark 可以運(yùn)行在 local、yarn、mesos、standalone、kubernetes 等多種平臺之上。它可以訪問諸如 HDFS, Cassandra, HBase, S3 等多種多樣的數(shù)據(jù)源。

4）通用： spark 提供了 SparkSQL、 SparkStreaming、 GraphX、 MLlib 等一系列的分析工具。

Spark生態(tài)圈

Spark Core

Spark的核心，提供底層框架及核心支持。

BlinkDB

一個(gè)用于在海量數(shù)據(jù)上進(jìn)行交互式SQL查詢的大規(guī)模并行查詢引擎，允許用戶通過權(quán)衡數(shù)據(jù)精度縮短查詢響應(yīng)時(shí)間，數(shù)據(jù)的精度將被控制在允許的誤差范圍內(nèi)。

Spark SQL

可以執(zhí)行SQL查詢，支持基本的SQL語法和HiveQL語法，可讀取的數(shù)據(jù)源包括Hive、HDFS、關(guān)系數(shù)據(jù)庫（如MySQL）等。

Spark Streaming

可以進(jìn)行實(shí)時(shí)數(shù)據(jù)流式計(jì)算

MLBase

是Spark生態(tài)圈的一部分，專注于機(jī)器學(xué)習(xí)領(lǐng)域，學(xué)習(xí)門檻較低。

MLBase由4部分組成：MLlib、MLI、ML Optimizer和MLRuntime。

MLlib部分算法如下。

了解Spark核心數(shù)據(jù)集RDD

RDD（Resilient Distributed Datasets彈性分布式數(shù)據(jù)集），可以簡單的把RDD理解成一個(gè)提供了許多操作接口的數(shù)據(jù)集合，和一般數(shù)據(jù)集不同的是，其實(shí)際數(shù)據(jù)分布存儲于一批機(jī)器中（內(nèi)存或磁盤中）。

寬依賴與窄依賴

窄依賴：表現(xiàn)為一個(gè)父RDD的分區(qū)對應(yīng)于一個(gè)子RDD的分區(qū)或者多個(gè)父RDD的分區(qū)對應(yīng)于一個(gè)子RDD的分區(qū)。

寬依賴：表現(xiàn)為存在一個(gè)父RDD的一個(gè)分區(qū)對應(yīng)一個(gè)子RDD的多個(gè)分區(qū)。

了解Scala語言

Scala是Scalable Language的縮寫，是一種多范式的編程語言，由洛桑聯(lián)邦理工學(xué)院的馬丁·奧德斯在2001年基于Funnel的工作開始設(shè)計(jì)，設(shè)計(jì)初衷是想集成面向?qū)ο缶幊毯秃瘮?shù)式編程的各種特性。 Scala 是一種純粹的面向?qū)ο蟮恼Z言，每個(gè)值都是對象。Scala也是一種函數(shù)式語言，因此函數(shù)可以當(dāng)成值使用。 由于Scala整合了面向?qū)ο缶幊毯秃瘮?shù)式編程的特性，因此Scala相對于Java、C#、C++等其他語言更加簡潔。 Scala源代碼會(huì)被編譯成Java字節(jié)碼，因此Scala可以運(yùn)行于Java虛擬機(jī)（Java Virtual Machine，JVM）之上，并可以調(diào)用現(xiàn)有的Java類庫。

了解Scala特性

面向?qū)ο?函數(shù)式編程 靜態(tài)類型 可擴(kuò)展

安裝Scala

從Scala官網(wǎng)下載Scala安裝包，安裝包名稱為“scala-2.12.15.tgz”

將其上傳至/opt目錄

解壓安裝包至/usr/local目錄下

配置Scala環(huán)境變量

Scala環(huán)境設(shè)置

選擇安裝路徑，本文Scala的安裝路徑選擇在非系統(tǒng)盤的“D:\Program Files (x86)\spark\scala\” ，單擊“OK”按鈕進(jìn)入安裝界面

在安裝界面中單擊右下角的“Install”按鈕進(jìn)行安裝，安裝完成時(shí)單擊“Finish”按鈕完成安裝。 右鍵單擊“此電腦”圖標(biāo)，選擇“屬性”選項(xiàng)，在彈出的窗口中選擇“高級系統(tǒng)設(shè)置”選項(xiàng)。在彈出的對話框中選擇“高級”選項(xiàng)卡，并單擊“環(huán)境變量”按鈕，在環(huán)境變量對話框中，選擇“Path”變量并單擊“編輯”按鈕，在Path變量中添加Scala安裝目錄的bin文件夾所在路徑，如“D:\Program Files (x86)\spark\scala\bin”。

柚子快報(bào)激活碼778899分享：大數(shù)據(jù) spark和scala

http://yzkb.51969.com/

精彩內(nèi)容