Hadoop 2.6.0 HA高可用集群配置详解(三)

Crq
Crq
管理员
1376
文章
0
粉丝
Linux教程评论21字数 551阅读1分50秒阅读模式
Hadoop集群的启动
集群启动步骤
// 启动zookeeper集群(分别在slave1、slave2和slave3执行)
$ zkServer.shstart
// 启动HDFS(在master1执行)
$ start-dfs.sh
备注:此命令分别在master1/master2节点启动了NameNode和ZKFC,分别在slave1/slave2/slave3节点启动了DataNode和JournalNode,如下图所示。

Hadoop 2.6.0 HA高可用集群配置详解(三)-图片1

// 启动YARN(在master2执行)
$ start-yarn.sh
备注:此命令在master2节点启动了ResourceManager,分别在slave1/slave2/slave3节点启动了NodeManager。

Hadoop 2.6.0 HA高可用集群配置详解(三)-图片2

// 启动YARN的另一个ResourceManager(在master1执行,用于容灾)
$ yarn-daemon.sh start resourcemanager
// 启动YARN的安全代理(在master2执行)
$ yarn-daemon.sh start proxyserver
备注:proxyserver充当防火墙的角色,可以提高访问集群的安全性
// 启动YARN的历史任务服务(在master1执行)
$ mr-jobhistory-daemon.sh starthistoryserver
备注:yarn-daemon.sh start historyserver已被弃用;CDH版本似乎有个问题,即mapred-site.xml配置的mapreduce.jobhistory.address和mapreduce.jobhistory.webapp.address参数似乎不起作用,实际对应的端口号是10200和8188,而且部需要配置就可以在任意节点上开启历史任务服务。
集群启动截图

hadoop-master1开启了NameNode、ResourceManager、HistoryServer和ZKFC,如下图所示:

Hadoop 2.6.0 HA高可用集群配置详解(三)-图片3

hadoop-master2开启了NameNode、ResourceManager、ProxyServer和ZKFC,如下图所示:
Hadoop 2.6.0 HA高可用集群配置详解(三)-图片3

hadoop-slave1、hadoop-slave2和hadoop-slave3分别开启了DataNode、JournalNode、NodeManager和ZooKeeper,如下图所示:

Hadoop 2.6.0 HA高可用集群配置详解(三)-图片4

Hadoop 2.6.0 HA高可用集群配置详解(三)-图片5

Hadoop 2.6.0 HA高可用集群配置详解(三)-图片6

Web UI

下图为http://hadoop-master1:50070,可看到NameNode为active状态:

Hadoop 2.6.0 HA高可用集群配置详解(三)-图片7

下图为http://hadoop-master2:50070,可看到NameNode为standby状态:

Hadoop 2.6.0 HA高可用集群配置详解(三)-图片8

HDFS还有一个隐藏的UI页面http://hadoop-master1:50070/dfshealth.jsp比较好用:

Hadoop 2.6.0 HA高可用集群配置详解(三)-图片9

下图为http://hadoop-master2:8088,可看到ResourceManager为active状态:

Hadoop 2.6.0 HA高可用集群配置详解(三)-图片10

下图为http://hadoop-master1:8088,可看到ResourceManager为standby状态,它会自动跳转到http://hadoop-master2:8088:

Hadoop 2.6.0 HA高可用集群配置详解(三)-图片11

下图为http://hadoop-master1:19888,可查看历史任务信息:

Hadoop 2.6.0 HA高可用集群配置详解(三)-图片12

功能测试
// 向HDFS上传数据
$ hadoopfs -put webcount.txt /input
// 查看HDFS上的数据
$ hadoopfs -ls /input
$ hadoopfs -cat /input/webcount.txt

Hadoop 2.6.0 HA高可用集群配置详解(三)-图片13

Hadoop 2.6.0 HA高可用集群配置详解(三)-图片14

// 向YARN提交MapReduce任务,该任务用于分析网站日志文件webcount.txt统计每小时的点击次数

$ hadoopjar mr-webcount-0.0.1-SNAPSHOT.jar com.mr.demo.WebCountDriver/input/webcount.txt /output/webcount 1 1

Hadoop 2.6.0 HA高可用集群配置详解(三)-图片15

// 在HDFS查看结果
$ hadoopfs -ls /output/webcount
$ hadoopfs -cat /output/webcount/part-r-00000

Hadoop 2.6.0 HA高可用集群配置详解(三)-图片16

// 通过Web UI查看任务信息和历史任务信息

Hadoop 2.6.0 HA高可用集群配置详解(三)-图片17

Hadoop 2.6.0 HA高可用集群配置详解(三)-图片18


  • Hadoop 2.6.0 HA高可用集群配置详解(一)
  • Hadoop 2.6.0 HA高可用集群配置详解(二)
  • Hadoop 2.6.0 HA高可用集群配置详解(三)

weinxin
我的微信
微信号已复制
我的微信
这是我的微信扫一扫
 
Crq
  • 本文由 Crq 发表于2024年12月16日 14:50:58
  • 转载请注明:https://www.cncrq.com/12166.html
几个命令轻松搞定linux的服务状态 Linux教程

几个命令轻松搞定linux的服务状态

验证哪些端口在服务器的网络接口上处于监听状态是非常重要的。通过开放端口的状态可以检测网络入侵、排除故障、确认服务器上的端口占用等情况。这篇快速教程会介绍使用 netstat 、 n...
shell正则匹配捕获引用进行IP匹配 Linux教程

shell正则匹配捕获引用进行IP匹配

在服务器上加了一个服务检测机制,用到正则来匹配IP和捕获分组。shell和其他语言一样也可以使用正则分组捕获,不过不能使用 $1或1这样的形式来捕获分组,可以通过数组${BASH_REMATCH}来获...
匿名

发表评论

匿名网友
:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:
确定

拖动滑块以完成验证