柚子快報(bào)激活碼778899分享：Hive存儲結(jié)構(gòu)

http://yzkb.51969.com/

在Hive中，存儲結(jié)構(gòu)主要分為以下幾個(gè)方面：

數(shù)據(jù)庫（Database）： 在Hive中，數(shù)據(jù)庫是一個(gè)邏輯上的命名空間，它可以包含一張或多張表。數(shù)據(jù)庫的創(chuàng)建是通過CREATE DATABASE語句完成的。 CREATE DATABASE IF NOT EXISTS my_database; 表（Table）： 表是Hive存儲數(shù)據(jù)的基本單位，它由列和行組成。每個(gè)表都有一個(gè)模式，定義了列的名字、類型和其他屬性。表可以存儲在HDFS上，也可以存儲在其他Hive支持的存儲系統(tǒng)中。 CREATE TABLE IF NOT EXISTS my_database.my_table (

column1 INT,

column2 STRING,

column3 DOUBLE

)

COMMENT 'This is a test table'

ROW FORMAT DELIMITED FIELDS TERMINATED BY ','

STORED AS TEXTFILE; 分區(qū)（Partition）： 分區(qū)是表的一個(gè)特性，它允許你根據(jù)某些列的值將數(shù)據(jù)劃分為多個(gè)目錄。分區(qū)可以提高查詢效率，因?yàn)镠ive可以跳過不必要的目錄。 CREATE TABLE IF NOT EXISTS my_database.my_partitioned_table (

column1 INT,

column2 STRING,

column3 DOUBLE

)

PARTITIONED BY (partition_column DATE)

ROW FORMAT DELIMITED FIELDS TERMINATED BY ','

STORED AS TEXTFILE; 桶（Bucket）： 桶是另一種優(yōu)化存儲和查詢性能的方法。它將數(shù)據(jù)進(jìn)一步劃分成更小的存儲單元，通常用于對大數(shù)據(jù)集進(jìn)行采樣。 CREATE TABLE IF NOT EXISTS my_database.my_bucketed_table (

column1 INT,

column2 STRING,

column3 DOUBLE

)

CLUSTERED BY (column1) INTO 8 BUCKETS

ROW FORMAT DELIMITED FIELDS TERMINATED BY ','

STORED AS TEXTFILE; 存儲格式（Storage Format）： 存儲格式定義了數(shù)據(jù)在HDFS上的存儲方式。Hive支持多種存儲格式，包括TEXTFILE、PARQUET、ORC、AVRO等。 -- 使用PARQUET存儲格式

CREATE TABLE IF NOT EXISTS my_database.my_parquet_table (

column1 INT,

column2 STRING,

column3 DOUBLE

)

ROW FORMAT DELIMITED FIELDS TERMINATED BY ','

STORED AS PARQUET; 外部表（External Table）： 外部表是基于外部數(shù)據(jù)創(chuàng)建的表，它的數(shù)據(jù)存儲在Hive之外，通常是在HDFS上。 CREATE EXTERNAL TABLE IF NOT EXISTS my_database.my_external_table (

column1 INT,

column2 STRING,

column3 DOUBLE

)

ROW FORMAT DELIMITED FIELDS TERMINATED BY ','

LOCATION '/path/to/data';

柚子快報(bào)激活碼778899分享：Hive存儲結(jié)構(gòu)

http://yzkb.51969.com/

相關(guān)鏈接