先來說一說HTTP的異常處理問題。當urlopen不能夠處理一個response時，產生urlError。不過通常的PythonAPIs異常如ValueError,TypeError等也會同時產生。HTTPError是urlError的子類，通常在特定HTTPURLs中產生。1.URLError通常，URLError在沒有網絡連接(沒有路由到特定服務器)，或者服務器不存在的情況下產生。這種情況下，異常同樣會帶有"reason"屬性，它是一個tuple（可以
系統 2019-09-27 17:54:51 1949
有時候我們的爬蟲程序添加了代理，但是我們不知道程序是否獲取到了ip，尤其是動態轉發模式的，這時候就需要進行檢測了，以下是一種代理是否偽裝成功的檢測方式，這里推介使用億牛云提供的代碼示例。Python?requests#!-*-encoding:utf-8-*-importrequestsimportrandom#要訪問的目標頁面targetUrl="http://httpbin.org/ip"#要訪問的目標HTTPS頁面#targetUrl="https:
系統 2019-09-27 17:54:07 1949
點擊上方“何俊林”，馬上關注真愛，請置頂或星標在一個陽光明媚的周日，我打開窗戶呼吸了一口新鮮空氣。陽光燦爛，歲月靜好，又是一個約女朋友出去爬山吃飯看電影的好日子。想到女朋友的大眼睛，我臉上不禁洋溢起了幸福的微笑。打開微信，給女朋友發出去一個美好的邀約。等等，這為什么有一個感嘆號？？？我的消息被拒收了？？笑容凝固在了我的臉上。什么？她又一次拉黑了我？我開始反省：我昨天吃飯買單的時候找錢包找的太久了被她誤認為是遲疑？昨天清空她購物車的時候沒有舉一反三融會貫通？
系統 2019-09-27 17:54:03 1949
前言web是一個開放的平臺，這也奠定了web從90年代初誕生直至今日將近30年來蓬勃的發展。然而，正所謂成也蕭何敗也蕭何，開放的特性、搜索引擎以及簡單易學的html、css技術使得web成為了互聯網領域里最為流行和成熟的信息傳播媒介；但如今作為商業化軟件，web這個平臺上的內容信息的版權卻毫無保證，因為相比軟件客戶端而言，你的網頁中的內容可以被很低成本、很低的技術門檻實現出的一些抓取程序獲取到，這也就是這一系列文章將要探討的話題――網絡爬蟲。有很多人認為w
系統 2019-09-27 17:54:02 1949
目錄Python3的控制臺輸入Python2的控制臺輸入大家知道一門語言或者說電子硬件設備都應該有輸入和輸出的部分python控制臺輸出使用的是print()。那么輸入呢？Python3的控制臺輸入name=input("請輸入你的姓名：")print(name)print(type(name))?輸出信息：?請輸入你的姓名：xucheng?name?age=input("請輸入你的年齡：")print(age)print(type(age))?輸出信息：
系統 2019-09-27 17:53:32 1949
最近博主手上有一個爬蟲項目，開始深入研究python爬蟲開發，這是我篇博客也相當于是我的學習筆記，我認為學習爬蟲第一步，先學習python多線程與多進程，熟悉網絡編程，接下來會陸續以博客的方式跟大家做分享。多進程Python實現多進程的方式主要有兩種，一種方法是使用os模塊中的fork方法，另一種方法是使用multiprocessing模塊。這兩種方法的區別在于前者僅適用于Unix/Linux操作系統，對Windows不支持，后者則是跨平臺的實現方式，目前
系統 2019-09-27 17:53:30 1949
作者：HelloGitHub-ProdesireHelloGitHub的《講解開源項目》系列，項目地址：https://github.com/HelloGitHub-Team/Article前言在前面三篇介紹argparse的文章中，我們全面了解了argparse的能力，相信不少小伙伴們都已經摩拳擦掌，想要打造一個屬于自己的命令行工具。本文將以我們日常工作中最常見的git命令為例，講解如何使用argparse庫來實現一個真正可用的命令行程序。本系列文章默認
系統 2019-09-27 17:52:35 1949
第1題：如何解決驗證碼的問題，用什么模塊，聽過哪些人工打碼平臺？PIL、pytesser、tesseract模塊平臺的話有：（打碼平臺特殊，不保證時效性）云打碼掙碼斐斐打碼若快打碼超級鷹第2題：ip被封了怎么解決，自己做過ip池么？關于ip可以通過ip代理池來解決問題ip代理池相關的可以在github上搜索ipproxy自己選一個去說https://github.com/awolfly9/IPProxyTool提供大體思路：獲取器通過requests的爬蟲
系統 2019-09-27 17:52:35 1949
1.鎖：Lock(1次放1個)同步鎖線程安全，多線程操作時，內部會讓所有線程排隊處理。如：list/dict/Queue線程不安全+人=>排隊處理。需求：a.創建100個線程，在列表中追加8b.創建100個線程v=[]鎖-把自己的添加到列表中。-在讀取列表的最后一個。解鎖以后鎖一個代碼塊：importthreadingimporttimev=[]lock=threading.Lock()deffunc(arg):lock.acquire()#鎖的區域---
系統 2019-09-27 17:52:33 1949
創建main.py文件并粘貼下面代碼點擊右鍵運行Debug'main'后，下方的Debug窗口會出現ImportError:Nomodulenamed'bottle'這樣的提示，提示導入bottle包出錯所以我們需要先安裝這兩個包，cmd，輸入pipinstallbottle回車后開始安裝bottle包Mac權限不夠補上sudo#!/usr/bin/python#coding=utf-8frombottleimportdefault_app,get,run
系統 2019-09-27 17:52:23 1949
