Scrapy 是一個(gè)開源的?Python?數(shù)據(jù)抓取框架，速度快，強(qiáng)大，而且使用簡單。

來看一個(gè)官網(wǎng)主頁上的簡單并完整的爬蟲：

雖然只有10行左右的代碼，但是它的確是一個(gè)完整的爬蟲服務(wù)：

當(dāng)執(zhí)行scrapy runspider xxx.py命令的時(shí)候， Scrapy在項(xiàng)目里查找Spider(蜘蛛?)并通過爬蟲引擎來執(zhí)行它。

首先從定義在start_urls里的URL開始發(fā)起請求，然后通過parse()方法處理響應(yīng)。response參數(shù)就是返回的響應(yīng)對象。

在parse()方法中，通過一個(gè)CSS選擇器獲取想要抓取的數(shù)據(jù)。

Scrapy所有的請求都是異步的，也就是說Scrapy不需要等一個(gè)請求完成才能處理下一條請求，而是同時(shí)發(fā)起另一條請求。

而且，異步請求的另一個(gè)好處是當(dāng)某個(gè)請求失敗了，其他的請求不會(huì)受到影響。

安裝(Mac)

pip install scrapy

Scrapy中幾個(gè)需要了解的概念

Spiders

Spider類想要表達(dá)的是：如何抓取一個(gè)確定了的網(wǎng)站的數(shù)據(jù)。比如在start_urls里定義的去哪個(gè)鏈接抓取，parse()方法中定義的要抓取什么樣的數(shù)據(jù)。

當(dāng)一個(gè)Spider開始執(zhí)行的時(shí)候，它首先從start_urls()中的第一個(gè)鏈接開始發(fā)起請求，然后在callback里處理返回的數(shù)據(jù)。

Items

Item類提供格式化的數(shù)據(jù)，可以理解為數(shù)據(jù)Model類。

Selectors

Scrapy的Selector類基于lxml庫，提供HTML或XML轉(zhuǎn)換功能。以response對象作為參數(shù)生成的Selector實(shí)例即可通過實(shí)例對象的xpath()方法獲取節(jié)點(diǎn)的數(shù)據(jù)。

編寫一個(gè)Web爬蟲

接下來將上一個(gè)Beautiful Soup版的抓取書籍信息的例子（使用Beautiful Soup編寫一個(gè)爬蟲 系列隨筆匯總）改寫成Scrapy版本。

新建項(xiàng)目

scrapy startproject book_project

這行命令會(huì)創(chuàng)建一個(gè)名為book_project的項(xiàng)目。

編寫Item類

即實(shí)體類，代碼如下：

編寫Spider類

設(shè)置這個(gè)Spider的名稱，允許爬取的域名和從哪個(gè)鏈接開始：

遍歷分頁數(shù)據(jù)的方法

'//a'的意思所有的a標(biāo)簽；

'//a[contains(@title, "Last Page →")' 的意思是在所有的a標(biāo)簽中，title屬性包涵"Last Page →"的a標(biāo)簽；

extract() 方法解析并返回符合條件的節(jié)點(diǎn)數(shù)據(jù)。

從allitebooks.com獲取書籍信息方法

從amazon.com獲取書籍價(jià)格方法? ? ? ? ? ??

啟動(dòng)服務(wù)開始抓取

scrapy crawl bookinfo -o books.csv

-o books.csv?參數(shù)的意思是將抓取的Item集合輸出到csv文件。

結(jié)果：