隨著互聯網的迅速發展，互聯網大大提升了信息的產生和傳播速度，網絡上每天都會產生大量的內容，如何高效地從這些雜亂無章的內容中發現并采集所需的信息顯得越來越重要。網絡中的新聞內容也一樣，新聞分布在不同的網站上，而且存在重復的內容，我們往往只關心其中的一部分新聞，網絡中的新聞頁面往往還充斥著大量許多與新聞不相關的信息，影響了我們的閱讀效率和閱讀體驗，如何更加方便及時并高效地獲取我們所關心的新聞內容，本系統能夠幫我們做到這一點。本系統利用網絡爬蟲我們可以做到對網絡上的新聞網站進行定時定向的分析和采集，然后把采集到的數據進行去重，分類等操作后存入數據庫，最后提供個性化的新聞訂閱服務。考慮了如何應對網站的反爬蟲策略，避免被網站封鎖爬蟲。在具體實現上會使用Python配合scrapy等框架來編寫爬蟲，采用特定的內容抽取算法來提取目標數據，最后使用Django加上weui來提供新聞訂閱后臺和新聞內容展示頁，使用微信向用戶推送信息。用戶可以通過本系統訂閱指定關鍵字，當爬蟲系統爬取到了含有指定關鍵字的內容時會把新聞推送給用戶。

［關鍵詞］ 網絡爬蟲；新聞；個性化；訂閱；Python

點擊此處下載文檔和源碼