前言不同于Linux服務器上的命令行操作，在windows系統上用戶的使用習慣還是傾向于使用有界面的工具。如果工具是命令行交互操作的方式，可能是有悖于在windows上使用的操作習慣，往往不容易推廣使用。由于需要維護測試部工具的原因，其中有一個工具是用AutoIt語言實現的，利用幾天時間把工具源碼學習了一下。發現使用AutoIt可以快速開發工具界面。當然它也能各種邏輯處理，而且也很方便。但是考慮精力和學習成本，我主要使用AutoIt的方式還是利用它來實現界
系統 2019-09-27 17:49:23 2420
簡介提到爬蟲，大部分人都會想到使用Scrapy工具，但是僅僅停留在會使用的階段。為了增加對爬蟲機制的理解，我們可以手動實現多線程的爬蟲過程，同時，引入IP代理池進行基本的反爬操作。本次使用天天基金網進行爬蟲，該網站具有反爬機制，同時數量足夠大，多線程效果較為明顯。技術路線IP代理池多線程爬蟲與反爬編寫思路首先，開始分析天天基金網的一些數據。經過抓包分析，可知：./fundcode_search.js包含所有基金的數據，同時，該地址具有反爬機制，多次訪問將會
系統 2019-09-27 17:57:51 2419
前言在測試用例中，執行完測試用例后，最后一步是判斷測試結果是pass還是fail，自動化測試腳本里面一般把這種生成測試結果的方法稱為斷言（assert）。用unittest組件測試用例的時候，斷言的方法還是很多的，下面介紹幾種常用的斷言方法：assertEqual、assertIn、assertTrue---------------------基本斷言方法基本的斷言方法提供了測試結果是True還是False。所有的斷言方法都有一個msg參數，如果指定msg
系統 2019-09-27 17:56:44 2419
轉載請注明作者（獨孤尚良dugushangliang）出處：https://blog.csdn.net/dugushangliang/article/details/83055390提前聲明：安裝有兩種方式，一種是獨立于python環境的安裝，一種是依附于python環境的安裝。請各位需要參考的，先瀏覽下再決定使用哪種安裝。ogr附帶在gdal，所以我們只要安裝了gdal就可以用ogr了。資料找了好久。https://blog.csdn.net/u0141
系統 2019-09-27 17:52:59 2419
python運維必須會用的庫：1os,pathlib(系統操作庫)2logging(運維用到的核心庫，用于快速寫入日志，非常好用)3pymysql,pymssql,cx_oracle(這些是常用數據庫驅動，很多，不一一列舉)4datetime(日期計算最常用的庫),time(經常在統計性能的時候用到，以及sleep)5random(隨機數庫，時常會用到)6threading,multiprocessing(多線程，多進程，什么區別就不贅述了，自己百度),q
系統 2019-09-27 17:51:46 2419
個人理解這里的規范化處理指對提取后的特征集進行處理，不是對原始的數據信號進行處理，包括歸一化和標準化。規范化的原因：不同特征具有不同量級時會導致：a.數量級的差異將導致量級較大的特征占據主導地位；b.數量級的差異將導致迭代收斂速度減慢；c.依賴于樣本距離的算法對于數據的數量級非常敏感。歸一化：，也就是原數據減去該特征列最小值，再除以該特征列的極差，將屬性縮放到[0,1]之間。標準化：,也就是原數據減去該特征列的均值，再除以該特征列的標準差。注意：1.所謂規
系統 2019-09-27 17:48:10 2419
上一篇文章中我們介紹了python語言的幾個特點，并在最后留了一個問題，python除了上下執行以外有沒有其他的執行方式。今天我們就來介紹python中的數據類型和控制流。數據類型python中包含六個標準數據類型分別為：Number（數字）、String（字符串）、List（列表）、Tuple（元組）、Set（集合）、Dictionary（字典）。不同的數據類型往往對應不同的用途。這個很好理解。比如你可以用一個字符串用來儲存一個人的名字。name="六小
系統 2019-09-27 17:48:08 2419
聲明：本文僅作為學習愛好者編寫，請勿商業和惡意攻擊源網站，本文所有解釋權歸作者本文沒有使用爬蟲框架，僅用了三個Python的常用庫本文適合新手參考，文章里面有大量注釋為理解提供便利#爬喜馬拉雅importrequestsfromlxmlimportetreeimportosheaders={"User-Agent":"Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chro
系統 2019-09-27 17:45:35 2419
昨天有個需求，要獲取服務器某個目錄下的某些類型的文件，考慮到服務器即有Linux、又有Windows，所以寫了一個Python小程序來完成這項工作。Linux服務器有CentOS、Fedora等，都預先安裝了Python，版本從2.4到2.5不等，而Windows類型的服務器也多數安裝了Python，因此只要在本機寫好一個腳本，上傳到對應機器，在運行時修改參數即可。Python操作文件和文件夾使用的是os庫，下面的代碼中主要用到了幾個函數：os.listd
系統 2019-08-12 01:32:19 2419
這里主要講了bs4解析方法和json方法，以8684網頁為例子，爬取了全國公交線路importrequestsimporttimefrombs4importBeautifulSoupimportjsonfromxpinyinimportPinyinheaders={'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/76.0.
系統 2019-09-27 17:53:12 2418
一，分析代碼運行時間第1式，測算代碼運行時間平凡方法快捷方法（jupyter環境）第2式，測算代碼多次運行平均時間平凡方法快捷方法（jupyter環境）第3式，按調用函數分析代碼運行時間平凡方法快捷方法（jupyter環境）第4式，按行分析代碼運行時間平凡方法快捷方法（jupyter環境）二，加速你的查找第5式，用set而非list進行查找低速方法高速方法第6式，用dict而非兩個list進行匹配查找低速方法高速方法三，加速你的循環第7式，優先使用for循
系統 2019-09-27 17:52:26 2418
urllib.request.Request('URL',headers=headers)User-Agent是爬蟲和反爬蟲斗爭的第一步，發送請求必須帶User—Agent使用流程：1、創建請求對象request=urlllib.request.Request('url'......)2、發送請求獲取響應對象response=urllib.request.urlopen(request)3、獲取響應內容html=response.read().decond
系統 2019-09-27 17:49:37 2418
我的Python學習之路（一）跟著廖雪峰的Python教程學習Task1：輸入和輸出Task2:打印變量Task3:格式化輸出Task4:按要求打印tuple元素Task5:if分支練習Task6:循環練習Task7:調用函數Task8:定義函數Task9:可變參數Task10:遞歸函數實現Task11:切片練習Task12：迭代練習Task13:列表生成式練習Task14:生成器練習Task15:map/reduceTask16:Filter練習Task
系統 2019-09-27 17:57:00 2416
python學習記錄1——常用命令總結with關鍵字Python中的關鍵字with詳解淺談Python的with語句structPython使用struct處理二進制(pack和unpack用法)lambda表達式python–lambda表達式@裝飾器特點：1參數是一個函數；2返回值是一個函數python裝飾器Python函數裝飾器裝飾器-廖雪峰的官方網站defaultdict方法python中defaultdict方法的使用對dict進行排序pytho
系統 2019-09-27 17:56:11 2416
摘要：有時候我們只需要數據集中的一部分，并不需要全部的數據。這個時候我們就要對數據集進行隨機的抽樣。pandas中自帶有抽樣的方法。應用場景：我有10W行數據，每一行都11列的屬性。現在，我們只需要隨機抽取其中的2W行。實現方法很簡單：利用Pandas庫中的sample。DataFrame.sample(n=None,frac=None,replace=False,weights=None,random_state=None,axis=None)n是要抽取
系統 2019-09-27 17:54:34 2416
