首页 > Linux系统管理 > 安装cloudera
2018
04-19

安装cloudera

wget http://archive.cloudera.com/cm5/installer/5.14.3/cloudera-manager-installer.bin
$ chmod u+x cloudera-manager-installer.bin

$ sudo ./cloudera-manager-installer.bin
上面是在线安装

下面设置本地源安装
Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 30。

使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf,以在重启后保存该设置。

您可以继续进行安装,但 Cloudera Manager 可能会报告您的主机由于交换而运行状况不良。以下主机将受到影响:node[2-7]

echo 0 > /proc/sys/vm/swappiness
问题二
已启用透明大页面压缩,可能会导致重大性能问题。请运行
echo never > /sys/kernel/mm/transparent_hugepage/defrag和 echo never > /sys/kernel/mm/transparent_hugepage/enabled
以禁用此设置,然后将同一命令添加到 /etc/rc.local 等初始化脚本中,以便在系统重启时予以设置。以下主机将受到影响: node[2-7]

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
4台机器 关闭selinux 添加hosts 关闭防火墙
做本地yum 源
yum -y install nginx
wget http://archive-primary.cloudera.com/cm5/repo-as-tarball/5.14.3/cm5.14.3-centos6.tar.gz
解压后放到/data/httpd 目录下
让nginx 默认访问到 /data/httpd/cm/ 目录
重新生成repodata

进入到/data/httpd/cm/5.14.3 目录,执行如下命令,重新生成repodata。下一步配置yum源的baseurl,一定是有repodata的目录。

# createrepo .
如果你的虚拟机没有repodata命令,请执行下面命令安装。

sudo yum install yum-utils createrepo
四、配置 yum 源

把 上面cm目录中的 cloudera-cm.repo 复制到 /etc/yum.repos.d 目录,并进行编辑

[root@elephant yum.repos.d]# vim cloudera-cm.repo
[cloudera-cm]
# Packages for Cloudera’s Distribution for cm, Version 5, on RedHat or CentOS 7 x86_64
name=Cloudera’s Distribution for cm, Version 5
#baseurl=http://repos.jenkins.cloudera.com/cm5.10.0-release/redhat/7/x86_64/cm/5/
#gpgkey = http://repos.jenkins.cloudera.com/cm5.10.0-release/redhat/7/x86_64/cm/RPM-GPG-KEY-cloudera
#gpgcheck = 1
baseurl=http://222.73.xx.xx/5.14.3
#gpgkey = http://repos.jenkins.cloudera.com/cm5.10.0-release/redhat/7/x86_64/cm/RPM-GPG-KEY-cloudera
gpgcheck = 0

在管理机上运行 yum clean all 后,就可以如下命令安装cm了。
# yum install -y cloudera-manager-server
# yum install -y cloudera-manager-agent

为了验证是从本地源下载,特意查看了nginx访问日志
可以把cloudera-cm.repo 放到其他几台机器上面 然后
# yum install -y cloudera-manager-agent
这样就安装好了
每台机器都安装ntp 设置时间同步
*/5 * * * * /usr/sbin/ntpdate asia.pool.ntp.org

把mysql-connector-java-5.1.31.jar 放到每台机器的 /usr/share/java目录下
clouderaManager自定义连接mysql数据库
mysql> grant all on *.* to ‘temp’@’%’ identified by ‘temp’ with grant option;
sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql temp -h es1 -utemp -ptemp scm scm scm

/etc/init.d/cloudera-scm-server start
/etc/init.d/cloudera-scm-agent start 其它节点上也要启动

Cloudera Manager 下载目录
http://archive.cloudera.com/cm5/cm/5/

CDH 下载目录
http://archive.cloudera.com/cdh5/parcels/5.12.1/

manifest.json 下载
http://archive.cloudera.com/cdh5/parcels/5.12.1/manifest.json

CHD5 相关的 Parcel 包放到主节点的/opt/cloudera/parcel-repo/目录中

CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1 重命名为 CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha

创建 Parcel 目录
Manager 节点创建目录/opt/cloudera/parcel-repo,执行:

将下载好的文件

CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha
manifest.json
拷贝到该目录下。

mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
cd /opt/cloudera/parcel-repo

重命名,CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1 否则,系统会重新下载 CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel

mv CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1 CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha
Agent 节点创建目录/opt/cloudera/parcels,执行:

mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

http://souyunku.com/2017/09/24/Cloudera-Manager/

最后编辑:
作者:saunix
大型互联网公司linux系统运维攻城狮,专门担当消防员