国产99久久精品_欧美日本韩国一区二区_激情小说综合网_欧美一级二级视频_午夜av电影_日本久久精品视频

最新文章專題視頻專題問答1問答10問答100問答1000問答2000關鍵字專題1關鍵字專題50關鍵字專題500關鍵字專題1500TAG最新視頻文章推薦1 推薦3 推薦5 推薦7 推薦9 推薦11 推薦13 推薦15 推薦17 推薦19 推薦21 推薦23 推薦25 推薦27 推薦29 推薦31 推薦33 推薦35 推薦37視頻文章20視頻文章30視頻文章40視頻文章50視頻文章60 視頻文章70視頻文章80視頻文章90視頻文章100視頻文章120視頻文章140 視頻2關鍵字專題關鍵字專題tag2tag3文章專題文章專題2文章索引1文章索引2文章索引3文章索引4文章索引5123456789101112131415文章專題3
問答文章1 問答文章501 問答文章1001 問答文章1501 問答文章2001 問答文章2501 問答文章3001 問答文章3501 問答文章4001 問答文章4501 問答文章5001 問答文章5501 問答文章6001 問答文章6501 問答文章7001 問答文章7501 問答文章8001 問答文章8501 問答文章9001 問答文章9501
當前位置: 首頁 - 科技 - 知識百科 - 正文

Hadoop運維筆記之Balancer難以在快速增長的集群上平衡大量的數

來源:懂視網 責編:小采 時間:2020-11-09 12:58:49
文檔

Hadoop運維筆記之Balancer難以在快速增長的集群上平衡大量的數

Hadoop運維筆記之Balancer難以在快速增長的集群上平衡大量的數:背景: 公司在線上使用了CDH5集群,一開始由于疏忽,忘記了在計劃任務中定期執行Balancer來平衡各節點的數據。 后來,在引入大量的Job之后,數據增長非常迅猛,有很多節點開始出現利用率超過99.9%的情況,部分Job甚至開始Failed。 于是我們便執行Balan
推薦度:
導讀Hadoop運維筆記之Balancer難以在快速增長的集群上平衡大量的數:背景: 公司在線上使用了CDH5集群,一開始由于疏忽,忘記了在計劃任務中定期執行Balancer來平衡各節點的數據。 后來,在引入大量的Job之后,數據增長非常迅猛,有很多節點開始出現利用率超過99.9%的情況,部分Job甚至開始Failed。 于是我們便執行Balan

背景: 公司在線上使用了CDH5集群,一開始由于疏忽,忘記了在計劃任務中定期執行Balancer來平衡各節點的數據。 后來,在引入大量的Job之后,數據增長非常迅猛,有很多節點開始出現利用率超過99.9%的情況,部分Job甚至開始Failed。 于是我們便執行Balancer來

背景:
公司在線上使用了CDH5集群,一開始由于疏忽,忘記了在計劃任務中定期執行Balancer來平衡各節點的數據。
后來,在引入大量的Job之后,數據增長非常迅猛,有很多節點開始出現利用率超過99.9%的情況,部分Job甚至開始Failed。

于是我們便執行Balancer來清理數據,結果發現有26T的數據需要平衡,而Balancer每次只移動50G的數據,并且耗時30分鐘,而集群每個小時新寫入的數據會導致又有40-60G的數據需要平衡。這樣一來,Balancer就根本無法勝任了。

14/10/14 20:31:11 INFO balancer.Balancer: Need to move 26.49 TB to make the cluster balanced.
14/10/14 20:31:11 INFO balancer.Balancer: Decided to move 10 GB bytes from 10.100.1.10:50010 to 10.100.1.60:50010
14/10/14 20:31:11 INFO balancer.Balancer: Decided to move 10 GB bytes from 10.100.1.20:50010 to 10.100.1.70:50010
14/10/14 20:31:11 INFO balancer.Balancer: Decided to move 10 GB bytes from 10.100.1.30:50010 to 10.100.1.80:50010
14/10/14 20:31:11 INFO balancer.Balancer: Decided to move 10 GB bytes from 10.100.1.40:50010 to 10.100.1.90:50010
14/10/14 20:31:11 INFO balancer.Balancer: Decided to move 10 GB bytes from 10.100.1.50:50010 to 10.100.1.100:50010
14/10/14 20:31:11 INFO balancer.Balancer: Will move 50 GB in this iteration
...

解決辦法:
1. 增加Balancer可操作的帶寬
我們思考,是否是因為Balancer的默認帶寬太小,所以效率低下,于是我們嘗試將Balancer的帶寬擴容到了500M/s:

hadoop dfsadmin -setBalancerBandwidth 524288000

但問題并沒有得到太大的改善。

2. 強行對節點進行Decommission
我們發現,當對一些節點進行Decommission操作時,上面的數據雖然有10-30T甚至更多,但總能在1天內全部Copy到其它的節點上,這里面由于默認集群副本數為3的原因,應該只有1/3的數據被復制了,但數據是完整的,并且被復制出去的數據也是平均分配到各個節點上的。那么我們何不使用它來作為一個類似Balancer的功能來解決一些磁盤用量超過99.9%的節點呢?
事實證明,這個方法非常可行,我們針對線上8個節點進行了Decommission操作(注意要盡量一臺一臺進行),在完成下線之后再立刻格式化數據磁盤,并重新添加回集群,新的數據也會非常快的平衡過來。比較完美的解決了之前頭疼的問題,并且只花費了不到4天的時間。

3. Hadoop對LVM磁盤卷的支持問題
在解決Balancer的問題時,我們還發現,Hadoop對LVM磁盤卷的支持不是很好,表現在如果在一塊磁盤上創建了邏輯卷/根分區等,再創建了邏輯卷/data1分區,Hadoop會一直將/data1寫到100%,然后導致一些Job提示沒有空間寫入。我們猜想Hadoop應該是物理卷為單位來控制用量的。因此,我們不得不將這些包含了邏輯卷數據磁盤的主機重新安裝,并分配單獨的物理卷,如/dev/sda3作為/data1掛載,便再也沒有以上問題。

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com

文檔

Hadoop運維筆記之Balancer難以在快速增長的集群上平衡大量的數

Hadoop運維筆記之Balancer難以在快速增長的集群上平衡大量的數:背景: 公司在線上使用了CDH5集群,一開始由于疏忽,忘記了在計劃任務中定期執行Balancer來平衡各節點的數據。 后來,在引入大量的Job之后,數據增長非常迅猛,有很多節點開始出現利用率超過99.9%的情況,部分Job甚至開始Failed。 于是我們便執行Balan
推薦度:
標簽: 快速 長的 筆記
  • 熱門焦點

最新推薦

猜你喜歡

熱門推薦

專題
Top
主站蜘蛛池模板: 国产精品久久网 | 国产日本在线视频 | 91大神在线精品视频一区 | 亚洲第一欧美 | 日韩一页 | 国产全黄a一级毛片视频 | 欧美午夜在线观看 | 欧美videos极品另类 | 国产成人精品综合久久久 | 欧美久久久久久久一区二区三区 | 国产热久久精 | 久久精品国产亚洲 | 欧美日韩视频在线 | 亚洲日本乱码中文论理在线电影 | 国产区在线视频 | 欧美啊v在线观看 | 在线观看亚洲欧美 | 国产亚洲一区二区三区不卡 | 国产99在线观看 | 国产免费高清视频在线观看不卡 | 欧美日韩另类综合 | 人与鲁牲交持级毛片 | 久久91精品国产99久久yfo | 亚洲成a人一区二区三区 | 麻豆porn | 91大神在线观看精品一区 | 在线视频一二三区2021不卡 | 最新国产在线视频 | 欧美1区二区三区公司 | 欧美日韩高清在线观看一区二区 | 激情另类国内一区二区视频 | 亚洲欧美日韩激情在线观看 | 亚洲国产精久久久久久久 | 欧美久久久久久久一区二区三区 | 国产精品欧美一区二区三区不卡 | 欧美首页 | 欧美亚洲日本国产 | 国产高清在线观看 | 亚洲欧美色欧另类欧 | 欧美精品v日韩精品v国产精品 | 亚洲精品在线免费 |