国产99久久精品_欧美日本韩国一区二区_激情小说综合网_欧美一级二级视频_午夜av电影_日本久久精品视频

最新文章專題視頻專題問答1問答10問答100問答1000問答2000關(guān)鍵字專題1關(guān)鍵字專題50關(guān)鍵字專題500關(guān)鍵字專題1500TAG最新視頻文章推薦1 推薦3 推薦5 推薦7 推薦9 推薦11 推薦13 推薦15 推薦17 推薦19 推薦21 推薦23 推薦25 推薦27 推薦29 推薦31 推薦33 推薦35 推薦37視頻文章20視頻文章30視頻文章40視頻文章50視頻文章60 視頻文章70視頻文章80視頻文章90視頻文章100視頻文章120視頻文章140 視頻2關(guān)鍵字專題關(guān)鍵字專題tag2tag3文章專題文章專題2文章索引1文章索引2文章索引3文章索引4文章索引5123456789101112131415文章專題3
問答文章1 問答文章501 問答文章1001 問答文章1501 問答文章2001 問答文章2501 問答文章3001 問答文章3501 問答文章4001 問答文章4501 問答文章5001 問答文章5501 問答文章6001 問答文章6501 問答文章7001 問答文章7501 問答文章8001 問答文章8501 問答文章9001 問答文章9501
當(dāng)前位置: 首頁 - 科技 - 知識百科 - 正文

舉例詳解Python中yield生成器的用法

來源:懂視網(wǎng) 責(zé)編:小采 時間:2020-11-27 14:34:38
文檔

舉例詳解Python中yield生成器的用法

舉例詳解Python中yield生成器的用法:yield是生成的意思,但是在python中則是作為生成器理解,生成器的用處主要可以迭代,這樣簡化了很多運算模型(還不是很了解是如何簡化的)。 yield是一個表達式,是有返回值的. 當(dāng)一個函數(shù)中含有yield時,它不再是一個普通的函數(shù),而是一個生成器.當(dāng)該函數(shù)被調(diào)用
推薦度:
導(dǎo)讀舉例詳解Python中yield生成器的用法:yield是生成的意思,但是在python中則是作為生成器理解,生成器的用處主要可以迭代,這樣簡化了很多運算模型(還不是很了解是如何簡化的)。 yield是一個表達式,是有返回值的. 當(dāng)一個函數(shù)中含有yield時,它不再是一個普通的函數(shù),而是一個生成器.當(dāng)該函數(shù)被調(diào)用

yield是生成的意思,但是在python中則是作為生成器理解,生成器的用處主要可以迭代,這樣簡化了很多運算模型(還不是很了解是如何簡化的)。
yield是一個表達式,是有返回值的.
當(dāng)一個函數(shù)中含有yield時,它不再是一個普通的函數(shù),而是一個生成器.當(dāng)該函數(shù)被調(diào)用時不會自動執(zhí)行,而是暫停,見第一個例子:
例1:

>>> def mygenerator():
... print 'start...'
... yield 5
... 
>>> mygenerator() //在此處調(diào)用,并沒有打印出start...說明存在yield的函數(shù)沒有被運行,即暫停

>>> mygenerator().next() //調(diào)用next()即可讓函數(shù)運行.
start...
5
>>> 

如一個函數(shù)中出現(xiàn)多個yield則next()會停止在下一個yield前,見例2:
例2:

>>> def mygenerator():
... print 'start...'
... yield 5
... 
>>> mygenerator() //在此處調(diào)用,并沒有打印出start...說明存在yield的函數(shù)沒有被運行,即暫停

>>> mygenerator().next() //調(diào)用next()即可讓函數(shù)運行.
start...
5
>>> 

為什么yield 5會輸出5,yield 23會輸出23?
我們猜測可能是因為yield是表達式,存在返回值.
那么這是否可以認為yield 5的返回值一定是5嗎?實際上并不是這樣,這個與send函數(shù)存在一定的關(guān)系,這個函數(shù)實質(zhì)上與next()是相似的,區(qū)別是send是傳遞yield表達式的值進去,而next不能傳遞特定的值,只能傳遞None進去,因此可以認為g.next()和g.send(None)是相同的。見例3:
例3:

>>> def fun():
... print 'start...'
... m = yield 5
... print m
... print 'middle...'
... d = yield 12
... print d
... print 'end...'
... 
>>> m = fun() //創(chuàng)建一個對象
>>> m.next() //會使函數(shù)執(zhí)行到下一個yield前
start...
5
>>> m.send('message') //利用send()傳遞值
message //send()傳遞進來的 
middle...
12
>>> m.next()
None //可見next()返回值為空
end...
Traceback (most recent call last):
 File "", line 1, in 
StopIteration

在multiprocess中的使用


python在處理數(shù)據(jù)的時候,memory-heavy 的數(shù)據(jù)往往會導(dǎo)致程序沒辦反運行或者運行期間服務(wù)器其他程序效率受到影響。這種情況往往會把數(shù)據(jù)集合變?yōu)橥ㄟ^genertor來遍歷。

但同時如我們所知,generoter看似只能被單進程消費,這樣效率很低。
generator 可以被pool.map消費。

看一下pool.py的源碼。

for i, task in enumerate(taskseq):
 ...
 try:
 put(task)
 except IOError:
 debug('could not put task on queue')
 break

實際是先將generator全部消費掉放到queue中。然后通過map來并行。這樣是解決了使用map來并行。

但是依然沒有解決占用內(nèi)存的問題。這里有兩步占用內(nèi)存。

  1. 第一步是全部消費掉的generator。
  2. 第二步并行運算全部data。

解決第一個問題,通過部分消費generator來達到。
解決第二個問題,可以通過imap來達到.

示例代碼如下:

import multiprocessing as mp
import itertools
import time


def g():
 for el in xrange(50):
 print el
 yield el

import os

def f(x):
 time.sleep(1)
 print str(os.getpid()) +" "+ str(x)
 return x * x

if __name__ == '__main__':
 pool = mp.Pool(processes=4) # start 4 worker processes
 go = g()
 result = []
 N = 11
 while True:
 g2 = pool.imap(f, itertools.islice(go, N))
 if g2:
 for i in g2:
 result.append(i)
 time.sleep(1)
 else:
 break
 print(result)

ps: 使用注意事項。在produce數(shù)據(jù)的時候,盡量少做操作,應(yīng)為即使是map也是單線程的來消費數(shù)據(jù)。所以盡量把操作放到map中作。這樣才能更好的利用多進程提高效率。

聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com

文檔

舉例詳解Python中yield生成器的用法

舉例詳解Python中yield生成器的用法:yield是生成的意思,但是在python中則是作為生成器理解,生成器的用處主要可以迭代,這樣簡化了很多運算模型(還不是很了解是如何簡化的)。 yield是一個表達式,是有返回值的. 當(dāng)一個函數(shù)中含有yield時,它不再是一個普通的函數(shù),而是一個生成器.當(dāng)該函數(shù)被調(diào)用
推薦度:
標簽: 生成器 舉例 python
  • 熱門焦點

最新推薦

猜你喜歡

熱門推薦

專題
Top
主站蜘蛛池模板: 一区二区在线观看视频 | 精品成人一区二区三区免费视频 | 国产网站视频 | 精品一区二区三区的国产在线观看 | 91麻豆精品 | 国模冰冰双人炮gogo | 国产午夜高清一区二区不卡 | 黄色毛片免费观看 | 亚洲国产婷婷综合在线精品 | 国产精品成人va | 亚洲欧美日韩天堂 | 91麻豆精品国产91久久久 | 欧美日本在线观看 | 全免费午夜一级毛片一级毛 | 亚洲欧美日韩在线2020 | 韩日视频在线观看 | 亚洲欧美日韩中另类在线 | 国产日韩在线看 | 亚洲欧美在线观看一区二区 | 欧美另类图片亚洲偷 | 亚洲伊人久久大香线蕉综合图片 | 全黄毛片 | 手机在线国产视频 | 图片亚洲va欧美va国产综合 | 伊人网影院 | 欧美在线1 | 日韩国产在线 | 欧美亚洲综合网 | 国产精品永久免费自在线观看 | 国产亚洲一欧美一区二区三区 | 国产一级毛片在线 | 一级特黄女毛毛片 | 伊人影院久久 | 欧美伊香蕉久久综合类网站 | 韩日一区二区三区 | 久久精品免费看 | 91精品国产91久久久久福利 | 日本精品一区二区三区在线观看 | 欧美αv日韩αv另类综合 | 欧美在线视频一区二区 | 国产日韩一区二区三区在线观看 |