首页 > 大数据平台 > hadoop > hadoop跑MR的时候在mapreduce.Job: Running job后卡主不动
2016
09-06

hadoop跑MR的时候在mapreduce.Job: Running job后卡主不动

任务在mapreduce.Job: Running job 卡住不动
可能是因为调度执行了很多次 在web 页面 All Applications 上看到很多进程都是UNASSIGNED
在机器上面执行
yarn application -list
显示有很多任务在, 虽然添加任务的脚本已经kill掉了 但是任务队列还是在yarn上

在hadoop下 执行

 yarn application -list | awk '{print " yarn application -kill " $1}'| sh

把队列都kill掉后恢复正常

具体有可能是因为我的core节点上面的空间低于10%引起的
yarn-site.xml
yarn.nodemanager.local-dirs 多块磁盘配置多个目录,当单块磁盘又问题时,可以使用另一块磁盘继续运行任务,防止掉盘
yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage
sata 改成 99.5

yarn.nodemanager.disk-health-checker.min-free-space-per-disk-mb
core节点保证剩余20G空间 即可, sas 配20000 sata配 40000
两个参数 配下, 然后重启 nodemanager , 否则默认 nodemanager要预留 的空间比较多,

最后编辑:
作者:saunix
大型互联网公司linux系统运维攻城狮,专门担当消防员

留下一个回复