hadoop fs -count -q
配置环境变量:
# hadoop env
export HADOOP_HOME=
export HADOOP_CONF_DIR=
# hive env
export HIVE_HOME=
export HIVE_CONF_DIR=
export HIVE_AUX_JARS_PATH=
在HIVE_CONF_DIR下面需要有hive-default.xml
HiveConf hive-default.xml hive-site.xml
HiveConf:
hive.exec.mode.local.auto true 决定 Hive 是否应该自动地根据输入文件大小,在本地运行(在GateWay运行)
hive.auto.convert.join false 是否根据输入小表的大小,自动将 Reduce 端的 Common Join 转化为 Map Join,从而加快大表关联小表的 Join 速度。
metastore相关配置:
hive.metastore.local true or false local or remote metastore
HiveMetaStoreClient里面:
HiveMetaStoreClient(HiveConf conf, HiveMetaHookLoader hookLoader){
boolean localMetaStore = conf.getBoolean("hive.metastore.local", false);
if (localMetaStore) { //true,本地metastore
// instantiate the metastore server handler directly instead of connecting
// through the network
client = new HiveMetaStore.HMSHandler("hive client", conf);
open = true;
return;
}
}
Hive Configuration Variables
hive.exec.scratchdir This directory is used by hive to store the plans for different map/reduce stages for the query as well as to stored the intermediate outputs of these stages. /tmp/<user.name>/hive
hive.exec.compress.output Determines whether the output of the final map/reduce job in a query is compressed or not. false
hive.exec.compress.intermediate Determines whether the output of the intermediate map/reduce jobs in a query is compressed or not. false
mapred.reduce.tasks :reduce数目
The default number of reduce tasks per job. Typically set to a prime close to the number of available hosts. Ignored when mapred.job.tracker is "local". Hadoop set this to 1 by default, whereas hive uses -1 as its default value. By setting this property to -1, Hive will automatically figure out what should be the number of reducers.
hive.default.fileformat
<property>
<name>hive.default.fileformat</name>
<value>SequenceFile</value>
<description>Default file format for CREATE TABLE statement. Options are TextFile and SequenceFile. Users can explicitly say CREAT
E TABLE ... STORED AS <TEXTFILE|SEQUENCEFILE> to override</description>
</property>
默认创建的文件是SequenceFile,因为textfile在一些压缩算法下文件不可切分。
分享到:
相关推荐
hive参数配置说明大全,详细说个各个参数的作用用法
非常全面的hive参数配置,总共有600多项,中文注释是用软件翻译的,勉强能看,引用请注明出处。
hadoop&hive安装配置。3台机器,master做为namenonde,将slave1和slave2做为datanode。
大数据技术基础实验报告-Hive安装配置与应用
Hive的配置,选定一个Hive的master,其他的节点为slaves,master和slaves的配置略有不同,不是完全照搬,准确的来说,应该是只有一个节点是Hive的服务器节点负责和元数据库以及集群内部通信,其他的Hive节点其实是装...
Hive安装与配置
使用hive,hadoop,spark,datax,python,scala修改添加的配置
hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+...
spark下安装hive标准配置文档。Ubuntu安装hive,并配置mysql作为元数据库时候需要的标准hive-site.xml配置文件,可以根据这个文件联系我的博文内容就行修改,避免入坑。实现快捷启动hive。
hive-site.xml的环境配置 hive-site.xml的环境配置 hive-site.xml的环境配置
命令行显示当前数据库- hive thrift服务xml- hiveserver2操作日志位置xmlhive下spark相关配置。
hive的配置
大数据教程-Hive的安装与配置,详细细节安装、部署步骤
适合需要使用到hive环境的人,大致有2.3.7的hive、1.8.0_231的java等
使用hive3.1.2和spark3.0.0配置hive on spark的时候,发现官方下载的hive3.1.2和spark3.0.0不兼容,hive3.1.2对应的版本是spark2.3.0,而spark3.0.0对应的hadoop版本是hadoop2.6或hadoop2.7。 所以,如果想要使用高...
第4章 Hive参数配置与函数、运算符使用Hive参数配置CLIs and Commands客户端和命令Hive CLI$HIVE_HOME/bin/hive是
hive 配置文件,包括hive-site.xml与hive-env.sh两个配置文件,可根据自己需要修改
Hive的安装与配置是一个相对复杂的过程,涉及多个步骤和细节。以下是一个详细的Hive安装与配置指南Hive的安装与配置是一个相对复杂的过程,涉及多个步骤和细节。以下是一个详细的Hive安装与配置指南Hive的安装与配置...
基于虚拟机搭建的hadoop集群,一个master和三个slaves,hive配置文件仅供参考!
haoop最牛逼的配置文档 11 谁下谁知道