首页 > Linux系统管理 > ClouderaManager CDH-LZO配置
2018
11-29

ClouderaManager CDH-LZO配置

下載和CDH版本對應的hadoop-lzo版本
如下:
CLABS_PHOENIX-4.7.0-1.clabs_phoenix1.3.0.p0.000-el7.parcel
CLABS_PHOENIX-4.7.0-1.clabs_phoenix1.3.0.p0.000-el7.parcel.sha
配置包到cloudera-manager共享目录/opt/cloudera/parcel-repo
因为使用的是parcels安装,首先将下载好的文件放到cloudera-manager共享的目录中,
安装激活lzo服务
Cloudera-manager控制页面,主机Parcel检查新Parcel,如果配置正确,则出现CLABS_PHOENIX在列表上
下载分配激活 就可以了
修改配置集群的lzo服务
修改HDFS配置 在控制页面集群hdfs 配置
在io.compression.codecs属性值中追加如下值: com.hadoop.compression.lzo.LzoCodec

com.hadoop.compression.lzo.LzopCodec

修改YARN配置
将MR 应用程序 Classpath
mapreduce.application.classpath的属性值增加一项:
/opt/cloudera/parcels/GPLEXTRAS-5.14.4-1.cdh5.14.4.p0.3/lib/hadoop/lib
修改MR应用程序环境
修改mapreduce.admin.user.env的属性值,增加一项:
LD_LIBRARY_PATH=$HADOOP_COMMON_HOME/lib/native:$JAVA_LIBRARY_PATH:/opt/cloudera/parcels/GPLEXTRAS-5.14.4-1.cdh5.14.4.p0.3/lib/hadoop/lib/native/

重启集群生效

最后编辑:
作者:saunix
大型互联网公司linux系统运维攻城狮,专门担当消防员