这个里面涉及到的脚本,我不知如何写在文章中,有需要的可以私聊我。
CDH的安装包太大了,同样的如果要的话也请私聊我。
下个文章介绍jenkins的安装,已经常用的一些配置。
注意:每个脚本执行之前按现场实际配置修改ssh端口号(脚本默认22)。
1、配置免密码登录
需要将shell文件夹上传到主节点的root目录下,在主节点机器上执行脚本clientSSHAuthorize.sh 172.16.71.142
其中脚本后的为参数,用于在第二台机器上(h2 IP)设置免密码访问
注:执行之前需要修改hostip.properties这个配置文件里的ip地址
2、然后切换目录 cd shell,执行 ./otherClientSSHAuthorize 172.16.71.143 脚本参数为下一台机器,这样循环往复,直到最后一台机器。
注:
在h1执行 ./clientSSHAuthorize.sh h2IP脚本运行完会自动连接到h2机器,切换目录 cd shell,执行 ./otherClientSSHAuthorize h3IP脚本运行完会自动连接到h3机器, 切换目录 cd shell,执行 ./otherClientSSHAuthorize h4IP........脚本运行完会自动连接到hn机器, 切换目录 cd shell,执行 ./otherClientSSHAuthorize h1IP执行完毕2、配置环境变量
注意:如果客户指定主机名,不使用默认的h1.hadoop等,查看shell——客户指定主机名—更改主机名.txt,参照操作。
2.1、配置主机名,安装JDK
注意:setConfig.sh中的主机名替换为指定主机名,根据系统版修改脚本中的命令
在主节点上执行脚本setConfig.sh,该脚本主要完成以下工作:
1、完成关闭防火墙、修改主机名、修改主机名映射,脚本执行完毕后在每台机器上执行 java -version,查看java是否正确安装,如果没有正确安装执行以下命令:
source /etc/profile
完成java安装注意: 执行完成后通过java -version验证配置安装是否生效,如显示的还是java1.7的版本,则在该机器上执行以下命令:
alternatives --config java
如果出现类似以下结果:
输入正确路径对应的数字回车即可。
2.2、重启每台机器
reboot
2.3、安装mysql (如果是cent0s7请参照CDH-5.12.1平台安装文档,进行安装,跳过2.3.1和2.3.2两节以及2.3.3的前3个步骤)
2.3.1、查看mysql是否安装
执行命令#ps -ef | grep mysql,查看mysql是否安装
2.3.2、安装mysql前的准备工作
(1)将
解压,得到
CentOS7替换repodata文件夹
(2)打开 hfs.exe ,ip改为软件所在的机器的ip地址;把 CentOS-6.5-x86_64-bin-DVD1 加到左边的目录里
修改setResource.sh,将ip地址替换为hfs软件所在的地址,保存退出后执行脚本setResource.sh。2.3.3、主节点安装mysql
查看是否有mysql-serveryum list mysql-server
通过 yum install mysql-server安装mysql服务器有选择时输入 y ,最后看到 Complete ,表示安装服务器成功
常见错误解决 ***如果出现 yum [Errno 256] No more mirrors to try 的错误,
输入下面的命令即可解决问题:
yum clean all
yum makecache
然后再从新执行:
yum list
yum install mysql-server 即可
执行startMysql.sh 初始化数据库相关信息。注意:startMysql.sh中的主机名替换为指定主机名
如果遇到用户已存在但不知道密码,可以在my.cnf中添加skip_grant_tables,然后重启mysql服务,输入mysql进入数据库并执行:
use mysql; 使用库
update user set authentication_string=password("你的密码") where user="root"; 修改密码
flush privileges; 刷新授权列表
2.4、NTP安装
执行setNTP.sh,然后重启所有机器。执行installNTP.sh脚本,观察输出值,其中2-5为on状态就代表成功。常见错误解决 ***如果出现 yum [Errno 256] No more mirrors to try 的错误,输入下面的命令即可解决问题:
yum clean all
yum makecache
然后再从新执行:
yum list
yum install ntp
chkconfig ntpd on
chkconfig --list ntpd 即可
配置NTP服务配置主节点的ntp服务修改masterntp.sh这个脚本里的ntpIp为时间同步服务器ip,如图所示,这个ip地址由事业部人员提供,用于时间同步。
然后执行脚本masterntp.sh,执行后查看ntp状态,命令ntpstat,这个过程需要5-10分钟,最终变成以下效果:
配置子节点的ntp服务在主节点执行脚本slaverNtp.sh
注意:slaverNtp.sh中的主机名替换为指定主机名
3、CDH包文件上传分发
1、执行installCDH.sh脚本。 tar包下载:
cloudera-manager-el6-cm5.10.2_x86_64.tar.gz
放于shell文件夹中。
2、将CHD5相关的Parcel包上传到主节点的 /opt/cloudera/parcel-repo/ 下,相关的文件如下:
将sha1 重命名为 sha
manifest.json
CDH-5.10.2-1.cdh5.10.2.p0.5-el6.parcel
CDH-5.10.2-1.cdh5.10.2.p0.5-el6.parcel.sha
3、执行脚本startCDHService.sh
4、CDH5的安装配置
1、Cloudera Manager Server和Agent都启动以后,就可以进行CDH5的安装配置了。
这时可以通过浏览器访问主节点的7180端口测试一下了(由于CM Server的启动需要花点时间,这里可能要等待一会才能访问),默认的用户名和密码均为admin
192.168.99.6:7180/cmf/login
2、选择免费版安装
以下为各服务版本:
3、选 自定义服务:
为各服务指定主机:
4.数据库设置:
1、hive对应的输入hive/root/root123456
2、Oozie server对应的输入amon/root/root123456
继续安装
安装中无法点击继续:Kafka 配置项填好即可:
查看目录是否正确:namenode datanode secondnamenode
5、Hive驱动引起的错误 开启hive时报错:
解决 *** , 在主节点上输入命令:
cp shell/mysql/mysql-connector-java-5.1.37-bin.jar /opt/cloudera/parcels/CDH-5.10.2-1.cdh5.10.2.p0.5/lib/hive/lib/
6、oozie出现以上类似错误
解决 *** , 在主节点上输入命令
oozie安装出错时 把mysql-driver拷贝到 /var/lib/oozie
cp shell/mysql/mysql-connector-java-5.1.37-bin.jar /var/lib/oozie
7、基本流程按照下面的流程走,遇到问题有相依的处理 *** ,但注意以下的几个配置路径要放在文件空间目录上。
完成安装9、安装过程会报错 需要查看配置和 将hdfs配置 的dfs.permission 钩取消
/var/log ,/var/lib 目录下:权限没改会报错
需将所有 cloudera-* 目录为477所有者 改为cloudera-scm ;
执行命令:chown -R cloudera-scm:cloudera-scm cloudera-*
/var/log
没改前开启报错 pemission denied:如图
改前目录:
改过后:服务重启
/var/lib 报service monitor 启动失败目录权限修改:
改过后重启服务:
10、安装完成 开启所有服务
Hive开启报错jar包问题:上面已有解决;
cp mysql-connector-java-5.1.37-bin.jar /opt/cloudera/parcels/CDH-5.10.2-1.cdh5.10.2.p0.5/lib/hive/lib/ 执行
5、hdfs的高可用配置
高可用性配置参考《CDH里HDFS的HA配置.doc》。
kafka安装
CDH安装的时候服务中有kafka 不需要另外安装,只需下载分配激活,首页选择添加服务即可。修改kafuka的配置 在kafka配置中修改Java Heap Size of Broker 512即可
如果再一次将其删除,安装时还会遇到以下错误:
修改kafuka的Broker ID 为日志上面的63,之后再次启动成功
7、配置修改
1、kafka 、flume安装完成以后需要修改系统用户和系统组为:root
2、hdfs的配置修改,将检查hdfs权限(dfs.permissions)这个勾选去除,不选中。
3、kafka的日志目录设置为一个大的磁盘,配置项为:Data Directories(log.dirs)。
8、KUDU安装
1.查看kudu_cdh 中 cdh集成kudu安装文档。