我們在python爬蟲寫腳本時，往往會遇到些問題，小編前幾天也遇到了個小問題。在這里想跟大家分享下，以免大家走更多的彎路
列如我要去有道翻譯，去爬取我們自己所翻譯的東西。

            
              import urllib.request
import urllib.parse

url='http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'
headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36"}
formdata={
"i":" 加油",
"from":" AUTO",
"to": "AUTO",
"smartresult":"dict",
"client": "fanyideskweb",
"salt":" 15687710834733",
"sign": "d0b955f562cc4dfa3d33448f438b09b1",
"ts": "1568771083473",
"bv": "53850875da92527c18a78e804f4c65b4",
"doctype":"json",
"version":" 2.1",
"keyfrom": "fanyi.web",
"action":" FY_BY_CLICKBUTTION",
"typoResult": "true"}
data=bytes(urllib.parse.urlencode(formdata).encode('utf-8'))
request=urllib.request.Request(url,data=data,headers=headers)
response=urllib.request.urlopen(request)
print(response.read().decode('utf-8'))


            
          

腳本其實大家都會，但是隨著腳本和反爬蟲的機制也在更新。
問題1，大家寫完腳本會出現 {"errorCode":50} 這樣的錯誤。原因是我們給的 Request URL: http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule
只需要將改成 Request URL: http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule 即可解決
問題2，有的同學看質料上寫，會出現以下類似問題。

其實，你寫的代碼根本就沒有這么多，但它給我報錯以下多少多少行出錯。這個問題大多數都是那個地方少標識符
還是以上題為列

            
              headers={"User-Agent:Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36"}

            
          

改成

            
              headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36"}

            
          

如果你用Chrome瀏覽器，點擊右鍵“檢查", 再點擊"network", 你就會發現真正處理翻譯并返回翻譯結果的url是http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule。你還會了解發送請求的方式是POST，返回的相應數據是JSON格式。如果請求方式是POST，我們一定還要了解POST什么數據，服務器才會返回正確的響應(Response)。
如果你繼續下拉Headers頁面，你就會發現需要POST的數據Form Data里不僅包含了我們需要翻譯的詞(i), 還包括其它加密用的salt和簽名字符串sign。我們在請求里必需把這些data加進去，有道才會返回翻譯結果。這就是明顯的反爬機制啊。當然高人無處不在，弄清了salt和sign的生成原理，就可以輕易破解有道的反爬機制了。