国产99久久精品_欧美日本韩国一区二区_激情小说综合网_欧美一级二级视频_午夜av电影_日本久久精品视频

最新文章專題視頻專題問答1問答10問答100問答1000問答2000關鍵字專題1關鍵字專題50關鍵字專題500關鍵字專題1500TAG最新視頻文章推薦1 推薦3 推薦5 推薦7 推薦9 推薦11 推薦13 推薦15 推薦17 推薦19 推薦21 推薦23 推薦25 推薦27 推薦29 推薦31 推薦33 推薦35 推薦37視頻文章20視頻文章30視頻文章40視頻文章50視頻文章60 視頻文章70視頻文章80視頻文章90視頻文章100視頻文章120視頻文章140 視頻2關鍵字專題關鍵字專題tag2tag3文章專題文章專題2文章索引1文章索引2文章索引3文章索引4文章索引5123456789101112131415文章專題3
問答文章1 問答文章501 問答文章1001 問答文章1501 問答文章2001 問答文章2501 問答文章3001 問答文章3501 問答文章4001 問答文章4501 問答文章5001 問答文章5501 問答文章6001 問答文章6501 問答文章7001 問答文章7501 問答文章8001 問答文章8501 問答文章9001 問答文章9501
當前位置: 首頁 - 科技 - 知識百科 - 正文

Hadoop運維筆記之Balancer難以在快速增長的集群上平衡大量的數

來源:懂視網 責編:小采 時間:2020-11-09 12:58:49
文檔

Hadoop運維筆記之Balancer難以在快速增長的集群上平衡大量的數

Hadoop運維筆記之Balancer難以在快速增長的集群上平衡大量的數:背景: 公司在線上使用了CDH5集群,一開始由于疏忽,忘記了在計劃任務中定期執行Balancer來平衡各節點的數據。 后來,在引入大量的Job之后,數據增長非常迅猛,有很多節點開始出現利用率超過99.9%的情況,部分Job甚至開始Failed。 于是我們便執行Balan
推薦度:
導讀Hadoop運維筆記之Balancer難以在快速增長的集群上平衡大量的數:背景: 公司在線上使用了CDH5集群,一開始由于疏忽,忘記了在計劃任務中定期執行Balancer來平衡各節點的數據。 后來,在引入大量的Job之后,數據增長非常迅猛,有很多節點開始出現利用率超過99.9%的情況,部分Job甚至開始Failed。 于是我們便執行Balan

背景: 公司在線上使用了CDH5集群,一開始由于疏忽,忘記了在計劃任務中定期執行Balancer來平衡各節點的數據。 后來,在引入大量的Job之后,數據增長非常迅猛,有很多節點開始出現利用率超過99.9%的情況,部分Job甚至開始Failed。 于是我們便執行Balancer來

背景:
公司在線上使用了CDH5集群,一開始由于疏忽,忘記了在計劃任務中定期執行Balancer來平衡各節點的數據。
后來,在引入大量的Job之后,數據增長非常迅猛,有很多節點開始出現利用率超過99.9%的情況,部分Job甚至開始Failed。

于是我們便執行Balancer來清理數據,結果發現有26T的數據需要平衡,而Balancer每次只移動50G的數據,并且耗時30分鐘,而集群每個小時新寫入的數據會導致又有40-60G的數據需要平衡。這樣一來,Balancer就根本無法勝任了。

14/10/14 20:31:11 INFO balancer.Balancer: Need to move 26.49 TB to make the cluster balanced.
14/10/14 20:31:11 INFO balancer.Balancer: Decided to move 10 GB bytes from 10.100.1.10:50010 to 10.100.1.60:50010
14/10/14 20:31:11 INFO balancer.Balancer: Decided to move 10 GB bytes from 10.100.1.20:50010 to 10.100.1.70:50010
14/10/14 20:31:11 INFO balancer.Balancer: Decided to move 10 GB bytes from 10.100.1.30:50010 to 10.100.1.80:50010
14/10/14 20:31:11 INFO balancer.Balancer: Decided to move 10 GB bytes from 10.100.1.40:50010 to 10.100.1.90:50010
14/10/14 20:31:11 INFO balancer.Balancer: Decided to move 10 GB bytes from 10.100.1.50:50010 to 10.100.1.100:50010
14/10/14 20:31:11 INFO balancer.Balancer: Will move 50 GB in this iteration
...

解決辦法:
1. 增加Balancer可操作的帶寬
我們思考,是否是因為Balancer的默認帶寬太小,所以效率低下,于是我們嘗試將Balancer的帶寬擴容到了500M/s:

hadoop dfsadmin -setBalancerBandwidth 524288000

但問題并沒有得到太大的改善。

2. 強行對節點進行Decommission
我們發現,當對一些節點進行Decommission操作時,上面的數據雖然有10-30T甚至更多,但總能在1天內全部Copy到其它的節點上,這里面由于默認集群副本數為3的原因,應該只有1/3的數據被復制了,但數據是完整的,并且被復制出去的數據也是平均分配到各個節點上的。那么我們何不使用它來作為一個類似Balancer的功能來解決一些磁盤用量超過99.9%的節點呢?
事實證明,這個方法非常可行,我們針對線上8個節點進行了Decommission操作(注意要盡量一臺一臺進行),在完成下線之后再立刻格式化數據磁盤,并重新添加回集群,新的數據也會非常快的平衡過來。比較完美的解決了之前頭疼的問題,并且只花費了不到4天的時間。

3. Hadoop對LVM磁盤卷的支持問題
在解決Balancer的問題時,我們還發現,Hadoop對LVM磁盤卷的支持不是很好,表現在如果在一塊磁盤上創建了邏輯卷/根分區等,再創建了邏輯卷/data1分區,Hadoop會一直將/data1寫到100%,然后導致一些Job提示沒有空間寫入。我們猜想Hadoop應該是物理卷為單位來控制用量的。因此,我們不得不將這些包含了邏輯卷數據磁盤的主機重新安裝,并分配單獨的物理卷,如/dev/sda3作為/data1掛載,便再也沒有以上問題。

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com

文檔

Hadoop運維筆記之Balancer難以在快速增長的集群上平衡大量的數

Hadoop運維筆記之Balancer難以在快速增長的集群上平衡大量的數:背景: 公司在線上使用了CDH5集群,一開始由于疏忽,忘記了在計劃任務中定期執行Balancer來平衡各節點的數據。 后來,在引入大量的Job之后,數據增長非常迅猛,有很多節點開始出現利用率超過99.9%的情況,部分Job甚至開始Failed。 于是我們便執行Balan
推薦度:
標簽: 快速 長的 筆記
  • 熱門焦點

最新推薦

猜你喜歡

熱門推薦

專題
Top
主站蜘蛛池模板: 欧美高清日韩 | 国产区免费 | 九九精品视频一区二区三区 | 国产原创一区 | 精品国产日韩亚洲一区在线 | 国产精品自拍第一页 | 欧美一级全黄 | 欧美日韩亚洲无线码在线观看 | 91精品国产亚一区二区三区 | 欧美91精品久久久久网免费 | 国产91在线 | 日本 | 五十路中文字幕 | 一级成人毛片 | 日韩欧美一区二区三区中文精品 | 国产日韩欧美一区二区三区视频 | 极品久久 | 国产区免费 | 99久久国内精品成人免费 | 在线视频观看国产 | 国产网站视频 | 亚洲欧美日韩中文字幕一区二区三区 | 国产欧美一区二区三区精品 | 免费国产成人α片 | 香蕉久久一区二区三区 | 亚洲欧美日韩另类在线专区 | 亚洲 欧美 日韩 另类 | 国产手机视频在线观看 | 欧美视频精品一区二区三区 | 日本亚欧乱色视频在线观看 | 国产欧美另类第一页 | 伊人99热 | 日本韩国欧美在线 | 欧美日韩国产在线播放 | 日韩欧美小视频 | 日韩成人精品在线 | 亚洲精品国产精品乱码不97 | 亚洲欧美日本在线 | 日韩欧美一区二区三区久久 | 中文字幕第一页亚洲 | 国产成人a∨麻豆精品 | 永久在线毛片免费观看 |