国产99久久精品_欧美日本韩国一区二区_激情小说综合网_欧美一级二级视频_午夜av电影_日本久久精品视频

最新文章專題視頻專題問答1問答10問答100問答1000問答2000關鍵字專題1關鍵字專題50關鍵字專題500關鍵字專題1500TAG最新視頻文章推薦1 推薦3 推薦5 推薦7 推薦9 推薦11 推薦13 推薦15 推薦17 推薦19 推薦21 推薦23 推薦25 推薦27 推薦29 推薦31 推薦33 推薦35 推薦37視頻文章20視頻文章30視頻文章40視頻文章50視頻文章60 視頻文章70視頻文章80視頻文章90視頻文章100視頻文章120視頻文章140 視頻2關鍵字專題關鍵字專題tag2tag3文章專題文章專題2文章索引1文章索引2文章索引3文章索引4文章索引5123456789101112131415文章專題3
問答文章1 問答文章501 問答文章1001 問答文章1501 問答文章2001 問答文章2501 問答文章3001 問答文章3501 問答文章4001 問答文章4501 問答文章5001 問答文章5501 問答文章6001 問答文章6501 問答文章7001 問答文章7501 問答文章8001 問答文章8501 問答文章9001 問答文章9501
當前位置: 首頁 - 科技 - 知識百科 - 正文

Hadoop運維筆記之Balancer難以在快速增長的集群上平衡大量的數

來源:懂視網 責編:小采 時間:2020-11-09 12:58:49
文檔

Hadoop運維筆記之Balancer難以在快速增長的集群上平衡大量的數

Hadoop運維筆記之Balancer難以在快速增長的集群上平衡大量的數:背景: 公司在線上使用了CDH5集群,一開始由于疏忽,忘記了在計劃任務中定期執行Balancer來平衡各節點的數據。 后來,在引入大量的Job之后,數據增長非常迅猛,有很多節點開始出現利用率超過99.9%的情況,部分Job甚至開始Failed。 于是我們便執行Balan
推薦度:
導讀Hadoop運維筆記之Balancer難以在快速增長的集群上平衡大量的數:背景: 公司在線上使用了CDH5集群,一開始由于疏忽,忘記了在計劃任務中定期執行Balancer來平衡各節點的數據。 后來,在引入大量的Job之后,數據增長非常迅猛,有很多節點開始出現利用率超過99.9%的情況,部分Job甚至開始Failed。 于是我們便執行Balan

背景: 公司在線上使用了CDH5集群,一開始由于疏忽,忘記了在計劃任務中定期執行Balancer來平衡各節點的數據。 后來,在引入大量的Job之后,數據增長非常迅猛,有很多節點開始出現利用率超過99.9%的情況,部分Job甚至開始Failed。 于是我們便執行Balancer來

背景:
公司在線上使用了CDH5集群,一開始由于疏忽,忘記了在計劃任務中定期執行Balancer來平衡各節點的數據。
后來,在引入大量的Job之后,數據增長非常迅猛,有很多節點開始出現利用率超過99.9%的情況,部分Job甚至開始Failed。

于是我們便執行Balancer來清理數據,結果發現有26T的數據需要平衡,而Balancer每次只移動50G的數據,并且耗時30分鐘,而集群每個小時新寫入的數據會導致又有40-60G的數據需要平衡。這樣一來,Balancer就根本無法勝任了。

14/10/14 20:31:11 INFO balancer.Balancer: Need to move 26.49 TB to make the cluster balanced.
14/10/14 20:31:11 INFO balancer.Balancer: Decided to move 10 GB bytes from 10.100.1.10:50010 to 10.100.1.60:50010
14/10/14 20:31:11 INFO balancer.Balancer: Decided to move 10 GB bytes from 10.100.1.20:50010 to 10.100.1.70:50010
14/10/14 20:31:11 INFO balancer.Balancer: Decided to move 10 GB bytes from 10.100.1.30:50010 to 10.100.1.80:50010
14/10/14 20:31:11 INFO balancer.Balancer: Decided to move 10 GB bytes from 10.100.1.40:50010 to 10.100.1.90:50010
14/10/14 20:31:11 INFO balancer.Balancer: Decided to move 10 GB bytes from 10.100.1.50:50010 to 10.100.1.100:50010
14/10/14 20:31:11 INFO balancer.Balancer: Will move 50 GB in this iteration
...

解決辦法:
1. 增加Balancer可操作的帶寬
我們思考,是否是因為Balancer的默認帶寬太小,所以效率低下,于是我們嘗試將Balancer的帶寬擴容到了500M/s:

hadoop dfsadmin -setBalancerBandwidth 524288000

但問題并沒有得到太大的改善。

2. 強行對節點進行Decommission
我們發現,當對一些節點進行Decommission操作時,上面的數據雖然有10-30T甚至更多,但總能在1天內全部Copy到其它的節點上,這里面由于默認集群副本數為3的原因,應該只有1/3的數據被復制了,但數據是完整的,并且被復制出去的數據也是平均分配到各個節點上的。那么我們何不使用它來作為一個類似Balancer的功能來解決一些磁盤用量超過99.9%的節點呢?
事實證明,這個方法非常可行,我們針對線上8個節點進行了Decommission操作(注意要盡量一臺一臺進行),在完成下線之后再立刻格式化數據磁盤,并重新添加回集群,新的數據也會非常快的平衡過來。比較完美的解決了之前頭疼的問題,并且只花費了不到4天的時間。

3. Hadoop對LVM磁盤卷的支持問題
在解決Balancer的問題時,我們還發現,Hadoop對LVM磁盤卷的支持不是很好,表現在如果在一塊磁盤上創建了邏輯卷/根分區等,再創建了邏輯卷/data1分區,Hadoop會一直將/data1寫到100%,然后導致一些Job提示沒有空間寫入。我們猜想Hadoop應該是物理卷為單位來控制用量的。因此,我們不得不將這些包含了邏輯卷數據磁盤的主機重新安裝,并分配單獨的物理卷,如/dev/sda3作為/data1掛載,便再也沒有以上問題。

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com

文檔

Hadoop運維筆記之Balancer難以在快速增長的集群上平衡大量的數

Hadoop運維筆記之Balancer難以在快速增長的集群上平衡大量的數:背景: 公司在線上使用了CDH5集群,一開始由于疏忽,忘記了在計劃任務中定期執行Balancer來平衡各節點的數據。 后來,在引入大量的Job之后,數據增長非常迅猛,有很多節點開始出現利用率超過99.9%的情況,部分Job甚至開始Failed。 于是我們便執行Balan
推薦度:
標簽: 快速 長的 筆記
  • 熱門焦點

最新推薦

猜你喜歡

熱門推薦

專題
Top
主站蜘蛛池模板: 亚洲欧洲一区二区 | 国产一区二区三区免费观看 | 国产69精品久久久久999 | 91久久国产综合精品女同国语 | 欧美亚洲综合在线观看 | 么公又大又硬又粗又爽的视频 | 国产亚洲一区二区三区在线观看 | 99久久综合| 欧洲精品一区二区三区 | 久久一区二区精品综合 | 欧美国产激情二区三区 | 99精品国产高清一区二区三区香蕉 | 国产欧美综合一区二区 | 欧美.亚洲.日本一区二区三区 | 国产精品视频久久久久 | 久久天堂 | 欧美人与性动交a欧美精品 欧美日本一道本 | 国产成人黄网址在线视频 | 另类专区另类专区亚洲 | 精品免费国产一区二区女 | 欧美日韩免费看 | 国产欧美日韩高清专区手机版 | 日韩欧美综合视频 | 欧美a区| 国产欧美一区二区三区鸳鸯浴 | 欧美日韩综合网 | 久久国产精品高清一区二区三区 | 精品一区二区三区亚洲 | 91精品国产色综合久久 | 国产手机精品自拍视频 | 亚洲欧美影院 | 欧美成人免费xxx大片 | 四虎精品 | 国产精选免费视频 | 亚洲第一视频区 | 亚洲精品区 | 久久久久国产精品美女毛片 | 成人毛片免费免费 | 亚洲国产成人综合精品2020 | 国产精品一区二区国产 | 国产成人精品第一区二区 |