目錄背景什么是協(xié)程？什么是 gevent？協(xié)程的例子Q&AQ：gevent 無法捕獲的耗時(shí)A：猴子補(bǔ)丁實(shí)踐異步 requests 請(qǐng)求gevent 的鎖Tip背景

因?yàn)?Python 線程的性能問題，在 Python 中使用多線程運(yùn)行代碼經(jīng)常不能達(dá)到預(yù)期的效果。而實(shí)際開發(fā)中我們經(jīng)常有高并發(fā)的需求，這就要求我們的代碼在跑的更快的同時(shí)需要單位時(shí)間內(nèi)執(zhí)行更多的有效邏輯、減少無用的等待。

什么是協(xié)程？

我們可以認(rèn)為線程是輕量級(jí)的進(jìn)程，所以你也可以理解協(xié)程是輕量級(jí)的線程。協(xié)程即在一個(gè)線程執(zhí)行 A 函數(shù)時(shí)可以隨時(shí)中斷去執(zhí)行 B 函數(shù)，可以自由切換。但這個(gè)過程并不是函數(shù)調(diào)用，現(xiàn)象和多線程一樣，實(shí)際上是一個(gè)線程。其中 gevent 是 Python 協(xié)程的一個(gè)經(jīng)典實(shí)現(xiàn)。

什么是 gevent？

gevent 是 Python 的一個(gè)并發(fā)框架，基于 greenlet 實(shí)現(xiàn)，使用了 epoll 事件監(jiān)聽機(jī)制以及諸多其他優(yōu)化而變得高效。其基本思想就是一個(gè) greenlet 就是一個(gè)協(xié)程，當(dāng) greenlet 遇到 IO 操作時(shí)，比如訪問網(wǎng)絡(luò)，就會(huì)自動(dòng)切換到其他的 greenlet，等待 IO 完成再切換回來繼續(xù)執(zhí)行。gevent 可以幫我們自動(dòng)實(shí)現(xiàn)這個(gè)協(xié)程切換的過程。

協(xié)程的例子

代碼：

import gevent,timedef f1(): for i in range(5):print(’function:@@@f1 | NUM: @@@’,i)# 此處阻塞，gevent會(huì)幫我們切換到其他協(xié)程去↓gevent.sleep(0)def f2(): for i in range(5):print(’function:@@@f2 | NUM: @@@’,i)# 此處阻塞，gevent會(huì)幫我們切換到其他協(xié)程去↑gevent.sleep(0)# 創(chuàng)建兩個(gè)協(xié)程對(duì)象，分別去執(zhí)行兩個(gè)函數(shù)xc1=gevent.spawn(f1)xc2=gevent.spawn(f2)# 將協(xié)程們交給gevent去執(zhí)行g(shù)event.joinall([xc1,xc2])

執(zhí)行結(jié)果：

function:@@@f1 | NUM: @@@ 0function:@@@f2 | NUM: @@@ 0function:@@@f1 | NUM: @@@ 1function:@@@f2 | NUM: @@@ 1function:@@@f1 | NUM: @@@ 2function:@@@f2 | NUM: @@@ 2function:@@@f1 | NUM: @@@ 3function:@@@f2 | NUM: @@@ 3function:@@@f1 | NUM: @@@ 4function:@@@f2 | NUM: @@@ 4

如上，當(dāng) gevent 幫我們執(zhí)行兩個(gè)協(xié)程的時(shí)候，首先 xc1 執(zhí)行到 gevent.sleep(0)時(shí)發(fā)生阻塞，此時(shí)，gevent 幫我們將切換到xc2，xc2 執(zhí)行到 gevent.sleep(0)時(shí)又發(fā)生了阻塞，此時(shí)，gevent 又幫我們將切換到 xc1 去執(zhí)行。

Q&AQ：gevent 無法捕獲的耗時(shí)

代碼：

import gevent,timedef f1(): for i in range(5):print(’function:@@@f1 | NUM: @@@’,i)# 注意這里time.sleep(0.1)def f2(): for i in range(5):print(’function:@@@f2 | NUM: @@@’,i)# 注意這里time.sleep(0.1)# 創(chuàng)建兩個(gè)協(xié)程對(duì)象，分別去執(zhí)行兩個(gè)函數(shù)xc1=gevent.spawn(f1)xc2=gevent.spawn(f2)# 將協(xié)程們交給gevent去執(zhí)行g(shù)event.joinall([xc1,xc2])

執(zhí)行結(jié)果：

function:@@@f1 | NUM: @@@ 0function:@@@f1 | NUM: @@@ 1function:@@@f1 | NUM: @@@ 2function:@@@f1 | NUM: @@@ 3function:@@@f1 | NUM: @@@ 4function:@@@f2 | NUM: @@@ 0function:@@@f2 | NUM: @@@ 1function:@@@f2 | NUM: @@@ 2function:@@@f2 | NUM: @@@ 3function:@@@f2 | NUM: @@@ 4

如上，你會(huì)發(fā)現(xiàn)，time.sleep(0.1)耗費(fèi)的時(shí)間，gevent 無法捕捉，導(dǎo)致代碼是串行的，雖然我們創(chuàng)建了協(xié)程，但是并沒有起到異步的作用。怎么辦呢？請(qǐng)看下面的解決方案。

A：猴子補(bǔ)丁

對(duì)于無法捕獲的耗時(shí)，gevent 為我們提供了猴子補(bǔ)丁，當(dāng)我們?yōu)槲覀兊某绦虼蛄撕镒友a(bǔ)丁，那么當(dāng)我們的程序遇到任何耗時(shí)的操作，gevent 都會(huì)幫我們?nèi)プ詣?dòng)切換協(xié)程，從而實(shí)現(xiàn)異步高并發(fā)。

代碼：

import gevent,timefrom gevent import monkey;monkey.patch_all()def f1(): for i in range(5):print(’function:@@@f1 | NUM: @@@’,i)# 注意這里time.sleep(0.1)def f2(): for i in range(5):print(’function:@@@f2 | NUM: @@@’,i)# 注意這里time.sleep(0.1)# 創(chuàng)建兩個(gè)協(xié)程對(duì)象，分別去執(zhí)行兩個(gè)函數(shù)xc1=gevent.spawn(f1)xc2=gevent.spawn(f2)# 將協(xié)程們交給gevent去執(zhí)行g(shù)event.joinall([xc1,xc2])

執(zhí)行結(jié)果：

function:@@@f1 | NUM: @@@ 0function:@@@f2 | NUM: @@@ 0function:@@@f1 | NUM: @@@ 1function:@@@f2 | NUM: @@@ 1function:@@@f1 | NUM: @@@ 2function:@@@f2 | NUM: @@@ 2function:@@@f1 | NUM: @@@ 3function:@@@f2 | NUM: @@@ 3function:@@@f1 | NUM: @@@ 4function:@@@f2 | NUM: @@@ 4

如上，你會(huì)發(fā)現(xiàn)協(xié)程的切換已經(jīng)實(shí)現(xiàn)，問題完美解決。

實(shí)踐異步 requests 請(qǐng)求

代碼：

from gevent import monkey;monkey.patch_all()import gevent,time,requestsfrom urllib3 import disable_warningsdisable_warnings()def req(url): res = requests.get(url,verify=False) if res:print(’URL:{} | CODE:{}!’.format(url,res.status_code)) else:print(’URL:{} FAILED!’)xc1=gevent.spawn(req,’https://www.baidu.com’)xc2=gevent.spawn(req,’https://www.gitee.com’)xc3=gevent.spawn(req,’https://www.huaweicloud.com’)gevent.joinall([xc1,xc2,xc3])

執(zhí)行結(jié)果：

URL:https://www.baidu.com | CODE:200!URL:https://www.huaweicloud.com | CODE:200!URL:https://www.gitee.com | CODE:200!

gevent 的鎖

代碼：

from gevent import monkey;monkey.patch_all()from gevent.lock import Semaphoreimport gevent,time# 信號(hào)量設(shè)置為1s1=Semaphore(1)def f1(): for i in range(5):# 信號(hào)量-1，即拿到鎖s1.acquire()print(’function:@@@f1 | NUM: @@@’,i)# 信號(hào)量+1，即釋放鎖s1.release()# 猴子補(bǔ)丁幫忙識(shí)別阻塞time.sleep(0.1)def f2(): for i in range(5):# 信號(hào)量-1，即拿到鎖s1.acquire()print(’function:@@@f2 | NUM: @@@’,i)# 信號(hào)量+1，即釋放鎖s1.release()# 猴子補(bǔ)丁幫忙識(shí)別阻塞time.sleep(0.3)# 創(chuàng)建兩個(gè)協(xié)程對(duì)象，分別去執(zhí)行兩個(gè)函數(shù)xc1=gevent.spawn(f1)xc2=gevent.spawn(f2)# 將協(xié)程們交給gevent去執(zhí)行g(shù)event.joinall([xc1,xc2])

執(zhí)行結(jié)果：

function:@@@f1 | NUM: @@@ 0function:@@@f2 | NUM: @@@ 0function:@@@f1 | NUM: @@@ 1function:@@@f1 | NUM: @@@ 2function:@@@f2 | NUM: @@@ 1function:@@@f1 | NUM: @@@ 3function:@@@f1 | NUM: @@@ 4function:@@@f2 | NUM: @@@ 2function:@@@f2 | NUM: @@@ 3function:@@@f2 | NUM: @@@ 4

如上，可以看到，gevent 可以自動(dòng)處理鎖和阻塞。按阻塞規(guī)律，f1 和 f2 會(huì)交替執(zhí)行，但是加上阻塞時(shí)間，因?yàn)?f2 的阻塞時(shí)間是 f1 的 3 倍，所以前 6 條打印中，f1 執(zhí)行的次數(shù)是 f2 的三倍，即 gevent 可以自動(dòng)判斷和處理阻塞和鎖同時(shí)存在的情況。

Tip

在 HTTP 的異步開發(fā)中，猴子補(bǔ)丁要在導(dǎo)入 gevent 之前打，否則會(huì)出現(xiàn)異常。

到此這篇關(guān)于Python中g(shù)event模塊協(xié)程使用的文章就介紹到這了,更多相關(guān)Python gevent協(xié)程內(nèi)容請(qǐng)搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)！