介紹

aiohttp是python的一個異步網絡模塊，包含客戶端和服務端模塊。
相比requests模塊，除了是異步寫法外，大同小異，其速度比requests模塊快。
python的多線程有全局解釋器鎖(GIL)，使用多線程實際上同一時刻僅有一個線程在執行，使用協程的相對比較快，可以再配合多進程使用。

基本用法

安裝

使用pip命令安裝即可。 pip install aiohttp

發起請求

aiohttp 模塊需要配合python 自帶的 asyncio 模塊使用，以下代碼為發起客戶端發起一個get請求。

            
              # _*_ coding:utf8_*_
import asyncio
import aiohttp


async def fetch(session, url):
    """
    獲取網頁html代碼
    :param session:
    :param url:
    :return:
    """
    async with session.get(url) as response:
        return await response.text()


async def main():
    """
    :return:
    """
    async with aiohttp.ClientSession() as session:
        html = await fetch(session, "http://blog.fenlanli.com")
        print(html)


if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())

            
          

其他http請求方法均有提供方便使用的函數:

            
                  url = ""
    session.put(url, data='data')
    session.delete(url)
    session.head(url)
    session.patch(url, data='data')
    session.post(url, data='data')

            
          

還提供了一個request函數，可以動態的選擇請求方式。

            
              session.request('get', url, data={'key': 'val'})

            
          

參數傳遞

get方法

跟requests模塊中的GET請求傳參數是一樣的。

            
                  params = {'key': 'value'}
    async with session.get(url, params=params) as response:
        return await response.text()

            
          

post方法

提交文本數據:

            
              async def post_data(session, url):
    """
    提交數據
    :param session:
    :param url:
    :return:
    """
    data = 'data'
    async with session.post(url, data=data) as response:
        return await response.text()

            
          

提交json數據:

            
              async def fetch(session, url):
    """
    提交數據
    :param session:
    :param url:
    :return:
    """
    data = {'key': 'val'}
    async with session.post(url, json=data) as response:
        return await response.text()

            
          

獲取返回值

一般常用的是獲取文本內容或者json數據。
獲取文本數據:

            
              async with session.post(url, json=data) as response:
       return await response.json()

            
          

獲取json數據:

            
              async with session.post(url, json=data) as response:
       return await response.json()

            
          

自定義請求頭

設置session的cookies參數即可:

            
              async def fetch(session, url):
    """
    提交數據
    :param session:
    :param url:
    :return:
    """
    headers = {
        'User-Agent': 'User-Agent'
    }
    async with session.get(url, headers=headers) as response:
        return await response.text()

            
          

設置cookies

設置session的參數cookies即可:

            
              async def fetch(session, url):
    """
    提交數據
    :param session:
    :param url:
    :return:
    """
    cookies = {'cookies_are': 'working'}
    async with session.get(url, cookies=cookies) as response:
        return await response.text()

            
          

使用代理

設置session的參數proxy即可:

            
              async def fetch(session, url):
    """
    提交數據
    :param session:
    :param url:
    :return:
    """
    proxy = "http://my.proxy.cn"
    async with aiohttp.ClientSession() as session:
        async with session.get(url, proxy=proxy) as resp:
            print(resp.status)


            
          

至此，對于普通網站的爬蟲基本夠用了。

個人博客