下的 元素的href里面。不同的是第一章只有2個 元素，從二章開始就有3個 元素。因此我們可以通過

下

元素的個數(shù)來判決是否含有上一頁和下一頁的頁面。代碼如下

最終得到生成的網(wǎng)頁鏈接。并調(diào)用Request重新申請這個網(wǎng)頁的數(shù)據(jù)

那么在pipelines.py的文件中。我們同樣需要修改下存儲的代碼。如下。可以看到在這里就不是用json. 而是直接打開txt文件進行存儲

完整的代碼如下：在這里需要注意兩次yield的用法。第一次yield后會自動轉(zhuǎn)到Test1Pipeline中進行數(shù)據(jù)存儲，存儲完以后再進行下一次網(wǎng)頁的獲取。然后通過Request獲取下一次網(wǎng)頁的內(nèi)容

對于自動爬取網(wǎng)頁scrapy有個更方便的方法：CrawlSpider

前面介紹到的Spider中只能解析在start_urls中的網(wǎng)頁。雖然在上一章也實現(xiàn)了自動爬取的規(guī)則。但略顯負責(zé)。在scrapy中可以用CrawlSpider來進行網(wǎng)頁的自動爬取。

爬取的規(guī)則原型如下：

class scrapy.contrib.spiders.Rule (link_extractor,?callback=None,?cb_kwargs=None,?follow=None,process_links=None,?process_request=None)

LinkExtractor.：它的作用是定義了如何從爬取到的的頁面中提取鏈接

Callback指向一個調(diào)用函數(shù)，每當(dāng)從LinkExtractor獲取到鏈接時將調(diào)用該函數(shù)進行處理，該回調(diào)函數(shù)接受一個response作為第一個參數(shù)。注意：在用CrawlSpider的時候禁止用parse作為回調(diào)函數(shù)。因為CrawlSpider使用parse方法來實現(xiàn)邏輯，因此如果使用parse函數(shù)將會導(dǎo)致調(diào)用失敗

Follow是一個判斷值，用來指示從response中提取的鏈接是否需要跟進

在scrapy shell中提取www.sina.com.cn為例

LinkExtractor中的allow只針對href屬性：

例如下面的鏈接只針對href屬性做正則表達式提取

結(jié)構(gòu)如下：可以得到各個鏈接。

可以通過restrict_xpaths對各個鏈接加以限制，如下的方法：

實例2：還是以之前的迅讀網(wǎng)為例

提取網(wǎng)頁中的下一節(jié)的地址：

網(wǎng)頁地址：

http://www.xunread.com/article/8c39f5a0-ca54-44d7-86cc-148eee4d6615/1.shtml

?下一頁的的相對URL地址為2.shtml。

通過如下規(guī)則提取出來

>>> item=LinkExtractor(allow=('\d\.shtml')).extract_links(response)

>>> for i in item:

...?? print i.ur

...

http://www.xunread.com/article/8c39f5a0-ca54-44d7-86cc-148eee4d6615/2.shtml

也通過導(dǎo)航頁面直接獲取所有章節(jié)的鏈接：

C:\Users\Administrator>scrapy shell http://www.xunread.com/article/8c39f5a0-ca54

-44d7-86cc-148eee4d6615/index.shtml

?

from scrapy.linkextractors import LinkExtractor

?

>>> item=LinkExtractor(allow=('\d\.shtml')).extract_links(response)

>>> for i in item:

...?? print i.url

得到如下全部的鏈接

那么接下來構(gòu)造在scrapy中的代碼，如下

關(guān)鍵的是rules=(Rule(LinkExtractor(allow=( '\d\.shtml' )),callback= 'parse_item' ,follow=True),) 這個里面規(guī)定了提取網(wǎng)頁的規(guī)則。以上面的例子為例。爬取的過程分為如下幾個步驟：

1 從 http://www.xunsee.com/article/8c39f5a0-ca54-44d7-86cc-148eee4d6615/1.shtml 開始，第一調(diào)用parse_item ，用xpath 提取網(wǎng)頁內(nèi)容，然后用Rule 提取網(wǎng)頁規(guī)則，在這里提取到2.shtml 。

2? 進入2.shtml.進入2.shtml 后再重復(fù)運行第一步的過程。直到Rules 中提取不到任何規(guī)則

我們也可以做一下優(yōu)化，設(shè)置start_urls 為頁面索引頁面

http://www.xunsee.com/article/8c39f5a0-ca54-44d7-86cc-148eee4d6615/index.shtml

這樣通過Rule 可以一下提取出所有的鏈接。然后對每個鏈接調(diào)用parse_item 進行網(wǎng)頁信息提取。這樣的效率比從1.shtml 要高效很多。