柚子快報(bào)邀請(qǐng)碼778899分享：大數(shù)據(jù) spark集成hive

http://yzkb.51969.com/

????????集群使用ambari+hdp方式進(jìn)行部署,集群的相關(guān)版本號(hào)如下所示:

ambari版本

Version?2.7.4.0

HDP版本

HDP-3.1.4.0

hive版本

3.1.0

spark版本

2.3.0

集群前提條件:

1.Hdp、Spark、Hive都已部署好

2.Hive數(shù)據(jù)層建好，在Hdfs生成相應(yīng)各層目錄，后面配置Spark訪問(wèn)Hive的目錄，要保證這個(gè)目錄存在。

spark集成hive

1.修改spark配置：?Advanced spark2-defaults

spark.sql.warehouse.dir將默認(rèn)值/apps/spark/warehouse 改為hive數(shù)據(jù)存儲(chǔ)hdfs位置

/warehouse/tablespace/managed/hive

2.修改spark配置： Advanced spark2-hive-site-overrid

metastore.catalog.default 值 spark 改為 hive

3.?修改hive配置： 到hive組件修改配置

hive.strict.managed.tables 的 true 改為 false?

柚子快報(bào)邀請(qǐng)碼778899分享：大數(shù)據(jù) spark集成hive

http://yzkb.51969.com/

相關(guān)文章