Python 爬蟲之GRequests異步模塊
運(yùn)行環(huán)境：
系統(tǒng)： win10
Python版本： Python 3.6.6
GRequests是異步非阻塞的異步請(qǐng)求第三方包，使用了協(xié)程gevent，GRequests封裝了gevent的requests模塊。
安裝：
pip install grequests
簡(jiǎn)單使用
# -*- coding: utf-8 -*-
# @Time : 2019/6/13 10:02
# @Author : 甄超鋒
# @Email : 4535@sohu.com
# @File : test.py
# @Software: PyCharm
import grequests
urls = [
'http://www.heroku.com',
'http://python-tablib.org',
'http://httpbin.org',
'http://python-requests.org',
'http://fakedomain/',
'http://kennethreitz.com'
]
time1 = time.time()
exception_url = [] # 異常url存儲(chǔ)列表
rs = (grequests.get(u) for u in urls) # 異步url請(qǐng)求
# 異常捕獲方法
def exception_handler(request, exception):
print(request.url)
exception_url.append(exception_url)
print(exception)
print(rs)
# 此處map的requests參數(shù)是裝有實(shí)例化請(qǐng)求對(duì)象的列表,其返回值也是列表， size參數(shù)可以控制并發(fā)的數(shù)量, 不設(shè)置為 最大并發(fā)數(shù)，并發(fā)數(shù)也不能太大，怕你的機(jī)器抗不下來，最大控制到1000吧
res_list = grequests.map(rs, size=1, exception_handler=exception_handler)
print(res_list)
# 查看返回值的屬性值，我們關(guān)注的一般就是text json links url headers 等
res_text_list = [ret.text for ret in res_list if ret and ret.status_code == 200]
for res_text in res_text_list:
print(res_text)
time2 = time.time()
T = time2 - time1
print(u'use_grequests發(fā)起5個(gè)請(qǐng)求花費(fèi)了{(lán)}秒'.format(T))
本次GRequests異步請(qǐng)求包就介紹到這里，喜歡請(qǐng)收藏，點(diǎn)贊，關(guān)注，謝謝
本文為張軍原創(chuàng)文章,轉(zhuǎn)載無需和我聯(lián)系,但請(qǐng)注明來自張軍的軍軍小站,個(gè)人博客http://m.dlhighland.cn
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號(hào)聯(lián)系： 360901061
您的支持是博主寫作最大的動(dòng)力，如果您喜歡我的文章，感覺我的文章對(duì)您有幫助，請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點(diǎn)擊下面給點(diǎn)支持吧，站長(zhǎng)非常感激您！手機(jī)微信長(zhǎng)按不能支付解決辦法：請(qǐng)將微信支付二維碼保存到相冊(cè)，切換到微信，然后點(diǎn)擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對(duì)您有幫助就好】元
