欧美三区_成人在线免费观看视频_欧美极品少妇xxxxⅹ免费视频_a级毛片免费播放_鲁一鲁中文字幕久久_亚洲一级特黄

Phantomjs抓取渲染JS后的網頁(Python代碼)

系統 1648 0

最近需要爬取某網站,無奈頁面都是JS渲染后生成的,普通的爬蟲框架搞不定,于是想到用Phantomjs搭一個代理。

Python調用Phantomjs貌似沒有現成的第三方庫(如果有,請告知小編),漫步了一圈,發現只有pyspider提供了現成的方案。

簡單試用了一下,感覺pyspider更像一個為新手打造的爬蟲工具,好比一個老媽子,有時無微不至,有時喋喋不休。 輕巧的小工具應該更受人喜愛,我也懷著一點私心,可以帶著我最愛的BeautifulSoup一塊兒用,而不用再學PyQuery(pyspider用來解析HTML),更不用忍受瀏覽器寫Python的糟糕體驗(偷笑)。

所以花了一個下午的時間,把pyspider當中實現Phantomjs代理的部分拆了出來,獨立成一個小的爬蟲模塊,希望大家會喜歡(感謝binux!)。

準備工作

你當然要有Phantomjs,廢話!(Linux下最好用supervisord守護,必須保持抓取的時候Phantomjs一直處于開啟狀態)
用項目路徑下的phantomjs_fetcher.js啟動:phantomjs phantomjs_fetcher.js [port]
安裝tornado依賴(使用了tornado的httpclient模塊)

調用是超級簡單的

            
from tornado_fetcher import Fetcher

# 創建一個爬蟲
>>> fetcher=Fetcher(
  user_agent='phantomjs', # 模擬瀏覽器的User-Agent
  phantomjs_proxy='http://localhost:12306', # phantomjs的地址
  poolsize=10, # 最大的httpclient數量
  async=False # 同步還是異步
  )
# 開始連接Phantomjs的代碼,可以渲染JS!
>>> fetcher.fetch(url)
# 渲染成功后執行額外的JS腳本(注意用function包起來?。?>>> fetcher.fetch(url, js_script='function(){setTimeout("window.scrollTo(0,100000)}", 1000)')


          

代碼 https://github.com/2shou/PhantomjsFetcher


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦?。?!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 久久艹一区 | 欧美a在线 | 欧美成人手机视频 | 91免费视频网 | 高清一区二区在线观看 | 国产精品国产精品 | 91久久精品国产 | 国产精品久久久久无毒 | 国产综合精品一区二区三区 | 亚洲 欧美日韩 国产 中文 | 男生插女生视频免费 | 亚洲国产成人精品女人久久久 | 国产主播福利精品一区二区 | 成人一区二区三区在线 | 天天擦天天干 | 亚洲午夜精品一区二区三区他趣 | 国产一码二码免费观看 | 免费中文字幕日韩欧美 | 欧美激情在线播放 | 日韩欧美亚洲在线 | 男女爽爽无遮挡午夜动态图 | 亚洲精品一区中文字幕乱码 | 色a综合| 色综合久久久久 | 成人在线免费视频观看 | 国产综合精品久久亚洲 | 欧美精品导航 | 波多野吉衣一区二区 | 亚洲A片V一区二区三区有声 | www.久久久.com | 久久久久综合 | 性爽爽 | 国产午夜精品久久久久久久蜜臀 | 成人a视频片在线观看免费 中文字幕三区 | 毛片基地免费视频a | 看免费黄色大片 | 一区视频 | 中文字幕国产一区 | 欧美一区 | 犬夜叉在线观看 | 奇米影视888狠狠狠777不卡 |