柚子快報激活碼778899分享：Hadoop的安裝和使用

http://yzkb.51969.com/

1. Hadoop簡介

Hadoop是一個能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，并且是以一種可靠、高效、可伸縮的方式進(jìn)行處理的，它具有以下幾個方面的特性。

高可靠性。高效性。高可擴展性。高容錯性。成本低。運行在Linux平臺上。支持多種編程語言。

2. 分布式文件系統(tǒng)HDFS

簡介

Hadoop分布式文件系統(tǒng)（Hadoop Distributed File System，HDFS）是Hadoop項目的兩大核心之一，是針對谷歌文件系統(tǒng)（Google File System，GFS）的開源實現(xiàn)。 總體而言，HDFS要實現(xiàn)以下目標(biāo)：

兼容廉價的硬件設(shè)備。流數(shù)據(jù)讀寫。大數(shù)據(jù)集。簡單的文件模型。強大的跨平臺兼容性。

體系結(jié)構(gòu)

HDFS采用了主從（Master/Slave）結(jié)構(gòu)模型，一個HDFS集群包括一個名稱節(jié)點和若干個數(shù)據(jù)節(jié)點。

安裝

Hadoop包括三種安裝模式：

單機模式：只在一臺機器上運行，存儲是采用本地文件系統(tǒng)，沒有采用分布式文件系統(tǒng)HDFS；偽分布式模式：存儲采用分布式文件系統(tǒng)HDFS，但是，HDFS的名稱節(jié)點和數(shù)據(jù)節(jié)點都在同一臺機器上；分布式模式：存儲采用分布式文件系統(tǒng)HDFS，而且，HDFS的名稱節(jié)點和數(shù)據(jù)節(jié)點位于不同機器上。 這里介紹Hadoop偽分布式模式的安裝方法。

3. Hadoop的安裝

4. HDFS的基本使用方法

1>使用WEB管理頁面操作HDFS

首先啟動Hadoop，然后可以在瀏覽器中輸入“http://localhost:9870”，就可以訪問Hadoop的WEB管理頁面 在WEB管理頁面中，點擊頂部右側(cè)的菜單選項“Utilities”，在彈出的子菜單中點擊“Browse the file system”，會出現(xiàn)HDFS文件系統(tǒng)操作頁面，在這個頁面中可以創(chuàng)建、查看、刪除目錄和文件。

2>使用命令操作HDFS

除了在瀏覽器中通過WEB方式操作HDFS以外，還可以在cmd窗口中使用命令對HDFS進(jìn)行操作。 首先，創(chuàng)建一個名稱為“user”的目錄，命令如下：

cd c:\hadoop-3.1.3\bin hadoop fs -mkdir hdfs://localhost:9000/user/ hadoop fs -mkdir hdfs://localhost:9000/user/xiaoming

然后，在“C:\”下創(chuàng)建一個文件test.txt，里面輸入一行語句“I love hadoop”，使用如下命令把該文件上傳到HDFS中：

hadoop fs -put C:\test.txt hdfs://localhost:9000/user/xiaoming 使用如下命令查看HDFS中的目錄和文件： hadoop fs -ls hdfs://localhost:9000/user/xiaoming

使用如下命令把HDFS中的文件內(nèi)容顯示到本地屏幕上： hadoop fs -cat hdfs://localhost:9000/user/xiaoming/test.txt

把上面的HDFS中的文件test.txt下載到本地文件系統(tǒng)，并重命名為test1.txt：

hadoop fs -get hdfs://localhost:9000/user/xiaoming/test.txt C:\test1.txt

使用如下命令刪除HDFS中的一個文件：

hadoop fs -rm hdfs://localhost:9000/user/xiaoming/test.txt

使用如下命令刪除HDFS中的一個目錄及其下面的文件：

hadoop fs -rm -r hdfs://localhost:9000/user/xiaoming

柚子快報激活碼778899分享：Hadoop的安裝和使用

http://yzkb.51969.com/

推薦閱讀