>>> def mygenerator(): ... print 'start...' ... yield 5 ... >>> mygenerator() //在此處調(diào)用,并沒有打印出start...說明存在yield的函數(shù)沒有被運行,即暫停>>> mygenerator().next() //調(diào)用next()即可讓函數(shù)運行. start... 5 >>>
如一個函數(shù)中出現(xiàn)多個yield則next()會停止在下一個yield前,見例2:
例2:
>>> def mygenerator(): ... print 'start...' ... yield 5 ... >>> mygenerator() //在此處調(diào)用,并沒有打印出start...說明存在yield的函數(shù)沒有被運行,即暫停>>> mygenerator().next() //調(diào)用next()即可讓函數(shù)運行. start... 5 >>>
為什么yield 5會輸出5,yield 23會輸出23?
我們猜測可能是因為yield是表達式,存在返回值.
那么這是否可以認為yield 5的返回值一定是5嗎?實際上并不是這樣,這個與send函數(shù)存在一定的關(guān)系,這個函數(shù)實質(zhì)上與next()是相似的,區(qū)別是send是傳遞yield表達式的值進去,而next不能傳遞特定的值,只能傳遞None進去,因此可以認為g.next()和g.send(None)是相同的。見例3:
例3:
>>> def fun(): ... print 'start...' ... m = yield 5 ... print m ... print 'middle...' ... d = yield 12 ... print d ... print 'end...' ... >>> m = fun() //創(chuàng)建一個對象 >>> m.next() //會使函數(shù)執(zhí)行到下一個yield前 start... 5 >>> m.send('message') //利用send()傳遞值 message //send()傳遞進來的 middle... 12 >>> m.next() None //可見next()返回值為空 end... Traceback (most recent call last): File "", line 1, in StopIteration
在multiprocess中的使用
python在處理數(shù)據(jù)的時候,memory-heavy 的數(shù)據(jù)往往會導(dǎo)致程序沒辦反運行或者運行期間服務(wù)器其他程序效率受到影響。這種情況往往會把數(shù)據(jù)集合變?yōu)橥ㄟ^genertor來遍歷。
但同時如我們所知,generoter看似只能被單進程消費,這樣效率很低。
generator 可以被pool.map消費。
看一下pool.py的源碼。
for i, task in enumerate(taskseq): ... try: put(task) except IOError: debug('could not put task on queue') break
實際是先將generator全部消費掉放到queue中。然后通過map來并行。這樣是解決了使用map來并行。
但是依然沒有解決占用內(nèi)存的問題。這里有兩步占用內(nèi)存。
解決第一個問題,通過部分消費generator來達到。
解決第二個問題,可以通過imap來達到.
示例代碼如下:
import multiprocessing as mp import itertools import time def g(): for el in xrange(50): print el yield el import os def f(x): time.sleep(1) print str(os.getpid()) +" "+ str(x) return x * x if __name__ == '__main__': pool = mp.Pool(processes=4) # start 4 worker processes go = g() result = [] N = 11 while True: g2 = pool.imap(f, itertools.islice(go, N)) if g2: for i in g2: result.append(i) time.sleep(1) else: break print(result)
ps: 使用注意事項。在produce數(shù)據(jù)的時候,盡量少做操作,應(yīng)為即使是map也是單線程的來消費數(shù)據(jù)。所以盡量把操作放到map中作。這樣才能更好的利用多進程提高效率。
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com