柚子快報(bào)邀請(qǐng)碼778899分享:Doris安裝部署
柚子快報(bào)邀請(qǐng)碼778899分享:Doris安裝部署
目錄
集群部署
下載安裝包
解壓
配置FE
配置BE
安裝mysql客戶端
使用 Mysql 客戶端連接到 FE
添加 BE
對(duì)be進(jìn)行擴(kuò)容
對(duì)be進(jìn)行縮容
對(duì)Fe進(jìn)行擴(kuò)容
對(duì)Fe進(jìn)行縮容
群起腳本編譯
集群部署
hadoop102 hadoop103 hadoop104 FE(LEADER) FE(FOLLOWER) FE(FOLLOWER) BE BE BE
操作系統(tǒng)安裝要求
設(shè)置系統(tǒng)最大打開文件句柄數(shù)(注意這里的*不要去掉)
設(shè)置最大虛擬塊的大小
配置完記得重啟
下載安裝包
根據(jù)自己的需要,下載合適的安裝包
Apache Doris - Download | Easily deploy Doris anywhere - Apache Doris
x86_64架構(gòu) cpu(intel,amd),執(zhí)行命令
如果能看到avx2?字樣選擇帶 avx2?的包,否則選擇不帶 avx2
arm64 架構(gòu)?cpu(apple),選擇 arm64?的安裝包下載
解壓
安裝fe
安裝be
安裝其他依賴(java?udf?函數(shù))
改名
并移動(dòng)jar包
配置FE
配置完成后啟動(dòng)Fe
頁面訪問,因?yàn)槭堑谝淮蔚卿洓]有密碼只需添用戶
到這里Fe就配置完成了
配置BE
修改be.conf文件
、
安裝mysql客戶端
http://t.csdnimg.cn/SAjZm
使用 Mysql 客戶端連接到 FE
mysql -hhadoop102 -P9030?-uroot
-P?指定端口(注意這里 P 是大寫,?小寫 p 用來指定密碼)
FE 默認(rèn)沒有密碼
設(shè)置密碼
添加 BE
啟動(dòng)be
查看狀態(tài)
上面完成后就可以簡單使用了。
對(duì)be進(jìn)行擴(kuò)容
首先在mysql中執(zhí)行
在這兩臺(tái)節(jié)點(diǎn)解壓be然后把jar包分發(fā)到這兩臺(tái)節(jié)點(diǎn)
對(duì)兩臺(tái)節(jié)點(diǎn)進(jìn)行配置
修改be.conf文件
、
查看
到這就擴(kuò)容完成了
對(duì)be進(jìn)行縮容
DROP方式刪除BE節(jié)點(diǎn)(不推薦)
ALTER SYSTEM DROP BACKEND "be_host:be_heartbeat_service_port";
注意:DROP BACKEND 會(huì)直接刪除該BE,并且其上的數(shù)據(jù)將不能再恢復(fù)?。?!所以我們強(qiáng)烈不推薦使用 DROP BACKEND 這種方式刪除BE節(jié)點(diǎn)。當(dāng)你使用這個(gè)語句時(shí),會(huì)有對(duì)應(yīng)的防誤操作提示
DECOMMISSION 方式刪除BE節(jié)點(diǎn)(推薦)
ALTER SYSTEM DECOMMISSION BACKEND "be_host:be_heartbeat_service_port";
該命令用于安全刪除BE節(jié)點(diǎn)。命令下發(fā)后,Doris 會(huì)嘗試將該BE上的數(shù)據(jù)向其他BE節(jié)點(diǎn)遷移,當(dāng)所有數(shù)據(jù)都遷移完成后,Doris會(huì)自動(dòng)刪除該節(jié)點(diǎn)。該命令是一個(gè)異步操作。執(zhí)行后,可以通過 SHOW PROC '/backends'; 看到該 BE 節(jié)點(diǎn)的isDecommission狀態(tài)為true。表示該節(jié)點(diǎn)正在進(jìn)行下線。該命令不一定執(zhí)行成功。比如剩余BE存儲(chǔ)空間不足以容納下線BE上的數(shù)據(jù),或者剩余機(jī)器數(shù)量不滿足最小副本數(shù)時(shí),該命令都無法完成,并且BE會(huì)一直處于 isDecommission為true的狀態(tài)。
DECOMMISSION的進(jìn)度,可以通過SHOW PROC '/backends'; 中的TabletNum查看,如果正在進(jìn)行,TabletNum將不斷減少
該操作可以通過如下命令取消:
CANCEL DECOMMISSION BACKEND "be_host:be_heartbeat_service_port";
取消后,該BE上的數(shù)據(jù)將維持當(dāng)前剩余的數(shù)據(jù)量。后續(xù)Doris重新進(jìn)行負(fù)載均衡
對(duì)Fe進(jìn)行擴(kuò)容
查看Fe狀態(tài)
show proc '/frontends';
將fe在另外兩臺(tái)節(jié)點(diǎn)解壓
改名
將第一臺(tái)節(jié)點(diǎn)的fe配置文件分發(fā)到這兩臺(tái)節(jié)點(diǎn)
增加FE節(jié)點(diǎn)
FE分為Leader,F(xiàn)ollower和Observer三種角色。 默認(rèn)一個(gè)集群只能有一個(gè)Leader,可以有多個(gè)Follower和Observer。其中Leader和Follower組成一個(gè)Paxos選擇組,如果 Leader宕機(jī),則剩下的Follower 會(huì)自動(dòng)選出新的Leader,保證寫入高可用。Observer 同步 Leader的數(shù)據(jù),但是不參加選舉。
如果只部署一個(gè)FE,則FE 默認(rèn)就是Leader。在此基礎(chǔ)上,可以添加若干Follower和 Observer。
第一次啟動(dòng)時(shí),啟動(dòng)命令需要添加參?--helper leader主機(jī): edit_log_port
下次就不需要了
加--daemon是后臺(tái)啟動(dòng),不加是頁面啟動(dòng)
以上也面就是fe的擴(kuò)容
對(duì)Fe進(jìn)行縮容
ALTER SYSTEM DROP?FOLLOWER[OBSERVER] "fe_host:edit_log_port";
注意:刪除 Follower FE 時(shí),確保最終剩余的 Follower(包括 Leader)節(jié)點(diǎn)為奇數(shù)
頁面變成這樣就成功對(duì)fe進(jìn)行縮容了
群起腳本編譯
柚子快報(bào)邀請(qǐng)碼778899分享:Doris安裝部署
文章來源
本文內(nèi)容根據(jù)網(wǎng)絡(luò)資料整理,出于傳遞更多信息之目的,不代表金鑰匙跨境贊同其觀點(diǎn)和立場。
轉(zhuǎn)載請(qǐng)注明,如有侵權(quán),聯(lián)系刪除。