之前在公司做一個項目，項目需求是按照標簽分類，去不同網站上爬取文章的內容，標題等。然后我就一個網站一個網站的去配xpath，可是網站特別多的時候，領導就會對我提出一個需求能不能，寫一種程序然后用來解析所有的網站，也就是智能化解析。這對我一個剛剛做爬蟲不久的新手就是很頭疼了。于是各種網上找資料，于是發現了DIFFBOT這個東西。官網https://www.diffbot.com，注冊后會有15天的免費使用的時間。注冊后會發郵件給你一個token,通過token可以配置API請求然后獲取json數據，代碼示例：

            
              import requests, json

url = 'https://api.diffbot.com/v3/article'
params = {
    'token': 'your token', # 這里填寫自己的token值
    'url': 'https://mbd.baidu.com/newspage/data/landingsuper?context=%7B%22nid%22%3A%22news_9516827704589093644%22%7D&n_type=0&p_from=1',
    'fields': 'meta'
}
response = requests.get(url, params=params)
print(json.dumps(response.json(), indent=2, ensure_ascii=False))

            
          

結果會獲得一個json串


響應參數的一些說明：


如果說公司業務有這方面需求，但是自己卻實現不了這種技術的，我覺得可以嘗試使用，如果不需要，就當作一種了解。以后也可往人工智能的方向發展。謝謝瀏覽！有什么問題歡迎留言關注！