柚子快報邀請碼778899分享：數(shù)據(jù)庫 nosql Doris

http://yzkb.51969.com/

Doris

Doris

介紹

使用場景

名詞說明

索引結(jié)構(gòu)

安裝

操作系統(tǒng)

軟件需求

操作系統(tǒng)設(shè)置

配置建議

線下

線上

部署建議

Broker 部署

網(wǎng)絡(luò)需求

數(shù)據(jù)模型

Aggregate 聚合

聚合階段

Unique 唯一 寫合并

Duplicate

模型局限

聚合模型局限

語義誤解自己的翻譯

batch1

batch2

聚合計數(shù)延遲

介紹

實時數(shù)倉，類似于ch，但他們底層對數(shù)據(jù)的操作不同，所以在數(shù)據(jù)表設(shè)計上會有很大不同。

使用場景

實時看板，報表分析

即席查詢

數(shù)據(jù)倉庫

聯(lián)邦查詢，類似 ck 的 mysql 庫引擎，表引擎等

名詞說明

FE（Frontend） 用于請求接入，查詢解析規(guī)劃，元數(shù)據(jù)管理，節(jié)點管理等。類似于 Yarn 的 ResourceManager

BE（Backend） 用于執(zhí)行查詢，數(shù)據(jù)存儲。

MPP（Massively Parallel Processing） 大規(guī)模并行處理。即：各自保存數(shù)據(jù)，各自計算，然后合并。

SIMD指令 操作系統(tǒng)指令集中的一種，意思是通過一組指令實現(xiàn)對多組數(shù)據(jù)進(jìn)行并行操作。

向量查詢引擎 我理解為根據(jù)某一個點能快速找到附近的點，類似表現(xiàn)為稀疏索引

謂詞下推 簡單理解為數(shù)據(jù)查詢是先過濾再聚合，在中間階段，盡量減少不適用的命中。

索引結(jié)構(gòu)

Sorted Compound Key Index 可以最多三列組成 Key，能有效的進(jìn)行數(shù)據(jù)裁剪，提高并發(fā)

Z-order Index 高效的對數(shù)據(jù)模型的任意字段做范圍查詢

Min/Max 過濾數(shù)值類型的范圍

Bloom Filter 布隆過濾器，對高基列數(shù)據(jù)等值裁剪

Invert Index 對任意字段進(jìn)行快速檢索

安裝

操作系統(tǒng)

Linux CentOs 7.1及以上

Ubuntu 16.4 及以上

軟件需求

軟件

需求

Java

1.8+

GCC

4.8.2+

操作系統(tǒng)設(shè)置

打開最大文件句柄數(shù)

vi /etc/security/limits.conf

soft nofile 65536

hard nofile 65536

時鐘同步

關(guān)閉 swap

配置建議

線下

模塊

CPU

內(nèi)存

磁盤

網(wǎng)絡(luò)

節(jié)點

FE

8

8

50

千兆網(wǎng)卡

1

BE

8

16

100

千兆網(wǎng)卡

1-3

線上

模塊

CPU

內(nèi)存

磁盤

帶寬

節(jié)點

FE

16+

64+

100+

萬兆

1-3

BE

16+

64+<

柚子快報邀請碼778899分享：數(shù)據(jù)庫 nosql Doris

http://yzkb.51969.com/

參考鏈接