国产99久久精品_欧美日本韩国一区二区_激情小说综合网_欧美一级二级视频_午夜av电影_日本久久精品视频

最新文章專題視頻專題問答1問答10問答100問答1000問答2000關鍵字專題1關鍵字專題50關鍵字專題500關鍵字專題1500TAG最新視頻文章推薦1 推薦3 推薦5 推薦7 推薦9 推薦11 推薦13 推薦15 推薦17 推薦19 推薦21 推薦23 推薦25 推薦27 推薦29 推薦31 推薦33 推薦35 推薦37視頻文章20視頻文章30視頻文章40視頻文章50視頻文章60 視頻文章70視頻文章80視頻文章90視頻文章100視頻文章120視頻文章140 視頻2關鍵字專題關鍵字專題tag2tag3文章專題文章專題2文章索引1文章索引2文章索引3文章索引4文章索引5123456789101112131415文章專題3
問答文章1 問答文章501 問答文章1001 問答文章1501 問答文章2001 問答文章2501 問答文章3001 問答文章3501 問答文章4001 問答文章4501 問答文章5001 問答文章5501 問答文章6001 問答文章6501 問答文章7001 問答文章7501 問答文章8001 問答文章8501 問答文章9001 問答文章9501
當前位置: 首頁 - 科技 - 知識百科 - 正文

Python開發(fā)MapReduce系列之WordCountDemo

來源:懂視網(wǎng) 責編:小采 時間:2020-11-27 14:22:52
文檔

Python開發(fā)MapReduce系列之WordCountDemo

Python開發(fā)MapReduce系列之WordCountDemo:我們知道MapReduce是hadoop這只大象的核心,Hadoop中,數(shù)據(jù)處理核心就是 MapReduce 程序設計模型。一個Map/Reduce 通常會把輸入的數(shù)據(jù)集切分為若干獨立的數(shù)據(jù)塊,由 map任務(task)以完全并行的方式處理它們。框架會對map的輸出先進行排序, 然后把結果
推薦度:
導讀Python開發(fā)MapReduce系列之WordCountDemo:我們知道MapReduce是hadoop這只大象的核心,Hadoop中,數(shù)據(jù)處理核心就是 MapReduce 程序設計模型。一個Map/Reduce 通常會把輸入的數(shù)據(jù)集切分為若干獨立的數(shù)據(jù)塊,由 map任務(task)以完全并行的方式處理它們。框架會對map的輸出先進行排序, 然后把結果

我們知道MapReduce是hadoop這只大象的核心,Hadoop中,數(shù)據(jù)處理核心就是 MapReduce 程序設計模型。一個Map/Reduce 通常會把輸入的數(shù)據(jù)集切分為若干獨立的數(shù)據(jù)塊,由 map任務(task)以完全并行的方式處理它們。框架會對map的輸出先進行排序, 然后把結果輸入給reduce任務。通常作業(yè)的輸入和輸出都會被存儲在文件系統(tǒng)中。因此,我們的編程中心主要是 mapper階段和reducer階段。

下面來從零開發(fā)一個MapReduce程序,并在hadoop集群上運行。
mapper代碼 map.py:

 import sys 
 for line in sys.stdin:
 word_list = line.strip().split(' ') 
 for word in word_list: print '	'.join([word.strip(), str(1)])

View Code

reducer代碼 reduce.py:

 import sys
 
 cur_word = None
 sum = 0 
 for line in sys.stdin:
 ss = line.strip().split('	') 
 if len(ss) < 2: continue
 
 word = ss[0].strip()
 count = ss[1].strip() 
 if cur_word == None:
 cur_word = word 
 if cur_word != word: print '	'.join([cur_word, str(sum)])
 cur_word = word
 sum = 0
 
 sum += int(count) 
 print '	'.join([cur_word, str(sum)])
 sum = 0

View Code

資源文件 src.txt(測試用,在集群中跑時,記得上傳到hdfs上):

hello 
 ni hao ni haoni hao ni hao ni hao ni hao ni hao ni hao ni hao ni hao ni hao ni hao ni hao ao ni haoni hao ni hao ni hao ni hao ni hao ni hao ni hao ni hao ni hao ni hao ni haoao ni haoni hao ni hao ni hao ni hao ni hao ni hao ni hao ni hao ni hao ni hao ni hao
 Dad would get out his mandolin and play for the family
 Dad loved to play the mandolin for his family he knew we enjoyed singing
 I had to mature into a man and have children of my own before I realized how much he had sacrificed
 I had to,mature into a man and,have children of my own before.I realized how much he had sacrificed

View Code

首先本地調試查看結果是否正確,輸入命令以下:

cat src.txt | python map.py | sort -k 1 | python reduce.py

命令行中輸出的結果:

a 2
 and 2
 and,have 1
 ao 1
 before 1
 before.I 1
 children 2
 Dad 2
 enjoyed 1
 family 2
 for 2
 get 1
 had 4
 hao 33
 haoao 1
 haoni 3
 have 1
 he 3
 hello 1
 his 2
 how 2
 I 3
 into 2
 knew 1
 loved 1
 man 2
 mandolin 2
 mature 1
 much 2
 my 2
 ni 34
 of 2
 out 1
 own 2
 play 2
 realized 2
 sacrificed 2
 singing 1
 the 2
 to 2
 to,mature 1
 we 1
 would 1

View Code

通過調試發(fā)現(xiàn)本地調試,代碼是OK的。下面扔到集群上面跑。為了方便,專門寫了一個腳本 run.sh,解放勞動力嘛。

HADOOP_CMD="/home/hadoop/hadoop/bin/hadoop"
 STREAM_JAR_PATH="/home/hadoop/hadoop/contrib/streaming/hadoop-streaming-1.2.1.jar"
 
 INPUT_FILE_PATH="/home/input/src.txt"
 OUTPUT_PATH="/home/output"
 
 $HADOOP_CMD fs -rmr $OUTPUT_PATH 
 
 $HADOOP_CMD jar $STREAM_JAR_PATH -input $INPUT_FILE_PATH -output $OUTPUT_PATH 
 -mapper "python map.py" -reducer "python reduce.py" -file ./map.py -file ./reduce.py

下面解析下腳本:

 HADOOP_CMD: hadoop的bin的路徑
 STREAM_JAR_PATH:streaming jar包的路徑
 INPUT_FILE_PATH:hadoop集群上的資源輸入路徑
 OUTPUT_PATH:hadoop集群上的結果
輸出路徑。(注意:這個目錄不應該存在的,因此在腳本加了先刪除這個目錄。**注意****注意****注意**:若是第一次執(zhí)行,沒有這個目錄,會報錯的。可以先手動新建一個新的output目錄。) $HADOOP_CMD fs -rmr $OUTPUT_PATH $HADOOP_CMD jar $STREAM_JAR_PATH -input $INPUT_FILE_PATH -output $OUTPUT_PATH -mapper "python map.py" -reducer "python reduce.py" -file ./map.py -file ./reduce.py #這里固定格式,指定輸入,輸出的路徑;指定mapper,reducer的文件; #并分發(fā)mapper,reducer角色的我們用戶寫的代碼文件,因為集群其他的節(jié)點還沒有mapper、reducer的可執(zhí)行文件。

輸入以下命令查看經(jīng)過reduce階段后輸出的記錄:

cat src.txt | python map.py | sort -k 1 | python reduce.py | wc -l
命令行中
輸出:43

在瀏覽器輸入:master:50030 查看任務的詳細情況。

Kind % Complete Num Tasks Pending Running Complete Killed Failed/Killed Task Attempts
map 100.00% 2 0 0 2 0 0 / 0
reduce 100.00% 1 0 0 1 0 0 / 0

Map-Reduce Framework中看到這個。

Counter   Map Reduce Total
Reduce output records 0   0    43

證明整個過程成功。第一個hadoop程序開發(fā)結束。

聲明:本網(wǎng)頁內容旨在傳播知識,若有侵權等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com

文檔

Python開發(fā)MapReduce系列之WordCountDemo

Python開發(fā)MapReduce系列之WordCountDemo:我們知道MapReduce是hadoop這只大象的核心,Hadoop中,數(shù)據(jù)處理核心就是 MapReduce 程序設計模型。一個Map/Reduce 通常會把輸入的數(shù)據(jù)集切分為若干獨立的數(shù)據(jù)塊,由 map任務(task)以完全并行的方式處理它們。框架會對map的輸出先進行排序, 然后把結果
推薦度:
標簽: word ma python
  • 熱門焦點

最新推薦

猜你喜歡

熱門推薦

專題
Top
主站蜘蛛池模板: 国产成人不卡亚洲精品91 | 亚洲五月婷婷 | 精品国产欧美一区二区三区成人 | 亚洲欧美综合区自拍另类 | 国产日韩一区二区三区 | 在线视频 亚洲 | 亚洲欧洲国产成人综合一本 | 亚洲国产第一页 | 国产欧美日韩中文字幕 | 在线精品欧美日韩 | 久久久久久亚洲精品影院 | 国内久久 | 亚州一区二区 | 福利视频一区 | 国产最新进精品视频 | 国产在线欧美日韩一区二区 | 永久在线毛片免费观看 | 国产精品一区二区不卡 | 欧美日韩国产码高清综合人成 | 国产精美视频 | 亚洲午夜久久久久久久久电影网 | 欧美日本综合 | 国产精品久久久久国产精品 | 日本三级韩国三级欧美三级 | 久久婷婷国产麻豆91天堂 | 国产一区二区三区免费 | 图片一区 | 人人爽天天碰天天躁夜夜躁 | 免费在线观看的视频 | 91麻豆免费视频 | 亚洲视频在线观看免费 | 国产偷窥女洗浴在线观看 | 日韩在线观看一区二区三区 | 国产一区二区网站 | 国产免费黄色 | 国产欧美精品一区二区三区四区 | 亚洲福利在线观看 | 伊人久久精品久久亚洲一区 | 免费观看黄色网址 | 国产精品毛片一区二区三区 | 全网毛片免费 |