今天接到一個新的任務(wù),要對一個140多M的csv文件進(jìn)行數(shù)據(jù)處理,總共有170多萬行,嘗試了導(dǎo)入本地的MySQL數(shù)據(jù)庫進(jìn)行查詢,結(jié)果用Navicat導(dǎo)入直接卡死....估計是XAMPP套裝里面全默認(rèn)配置的MySQL性能不給力,又嘗試用R搞一下吧結(jié)果發(fā)現(xiàn)光加載csv文件就要3分鐘左右的時間,相當(dāng)不給力啊,翻了翻萬能的知乎發(fā)現(xiàn)了Python下的一個神器包:Pandas(熊貓們?),加載這個140多M的csv文件兩秒鐘就搞定,后面的分類匯總等操作也都是秒開,太牛
系統(tǒng) 2019-09-27 17:52:33 1938
Python的字符串的特點Python與C語言,Java語言都不一樣，沒有單個字符，只有一個有一個字符的字符串。字符串對象不可修改，屬于不可變類型字符串和列表，元組都從屬于序列這個對象類別。所以序列支持的操作，字符串也支持。用單引號和雙引號表示都行，并列的字符串串常量會自動合并，不需要顯式的用加號表示。單雙引號里面的特殊字符必須用轉(zhuǎn)義序列表示，比如”，',\都需要在前面加個、，但是在三引號里面不需要轉(zhuǎn)義。Python的字符串的支持的基本操作支持序列的操作，
系統(tǒng) 2019-09-27 17:52:13 1938
原文鏈接：https://www.liaoxuefeng.com/wiki/1016959663602400/1017318207388128注：本篇博客是學(xué)習(xí)廖雪峰老師網(wǎng)站的摘抄，是為了方便以后的學(xué)習(xí)。如有侵權(quán)，請聯(lián)系刪除！聯(lián)系郵箱：1103540209@qq.com文章目錄1.切片2.迭代3.列表生成式4.生成器5.迭代器小結(jié)參考掌握了Python的數(shù)據(jù)類型、語句和函數(shù)，基本上就可以編寫出很多有用的程序了。比如構(gòu)造一個1,3,5,7,...,99的列表
系統(tǒng) 2019-09-27 17:51:28 1938
首先，熟悉一個函數(shù)zip，如下是使用help(zip)對zip的解釋。Helponbuilt-infunctionzipinmodule__builtin__:zip(...)zip(seq1[,seq2[...]])->[(seq1[0],seq2[0]...),(...)]Returnalistoftuples,whereeachtuplecontainsthei-thelementfromeachoftheargumentsequences.Ther
系統(tǒng) 2019-09-27 17:51:25 1938
文件的數(shù)據(jù)是存放于硬盤上的，因而只存在覆蓋、不存在修改這么一說，我們平時看到的修改文件，都是模擬出來的效果，具體的說有兩種實現(xiàn)方式。一、方式一將硬盤存放的該文件的內(nèi)容全部加載到內(nèi)存，在內(nèi)存中是可以修改的，修改完畢后，再由內(nèi)存覆蓋到硬盤（word，vim，nodpad++等編輯器）。importoswithopen('37r.txt')asfr,\open('37r_swap.txt','w')asfw:data=fr.read()#全部讀入內(nèi)存,如果文件很
系統(tǒng) 2019-09-27 17:50:22 1938
原文鏈接：https://segmentfault.com/a/1190000016276635【時間】2019.09.06【題目】python實現(xiàn)客戶端和服務(wù)器端傳輸數(shù)據(jù)轉(zhuǎn)自：python實現(xiàn)客戶端和服務(wù)器端傳輸數(shù)據(jù)服務(wù)器端：defsocket_service_data():try:s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)s.setsockopt(socket.SOL_SOCKET,socket
系統(tǒng) 2019-09-27 17:49:57 1938
記錄三種添加cookie保持接口登錄狀態(tài)的方法，方便自己回顧。1.簡單粗暴式。此方法比較小白，前提是已經(jīng)通過fiddler抓包等方式拿到了cookie，然后直接塞進(jìn)去。importrequeststrainsUrl='http://XXX.com/trains'headers={"Content-Type":"application/json;charset=UTF-8",}cookies={"XXXthor":"XXXXXX105a42"}prames=
系統(tǒng) 2019-09-27 17:49:54 1938
好了，廢話少說，我們先看看幾個示例吧一、打開一個網(wǎng)頁獲取所有的內(nèi)容復(fù)制代碼代碼如下:fromurllibimporturlopendoc=urlopen("http://www.baidu.com").read()printdoc二、獲取Http頭復(fù)制代碼代碼如下:fromurllibimporturlopendoc=urlopen("http://www.baidu.com")printdoc.info()printdoc.info().getheade
系統(tǒng) 2019-09-27 17:48:28 1938
目錄：1.數(shù)據(jù)分析模塊2.數(shù)據(jù)文件導(dǎo)入3.圖形繪制4.讀取數(shù)據(jù)并可視化分析1.數(shù)據(jù)分析模塊importnumpyasnn#一維數(shù)組numpy.array([元素1，元素2....，元素n])x=nn.array(['2','3','d','g'])#print(x)#創(chuàng)建二維數(shù)組格式numpy.array([[元素1]，[元素2]....，[元素n]])y=nn.array([[2,3,4],[4,3,4,],[34,4,2,]])#print(y)#排序
系統(tǒng) 2019-09-27 17:48:18 1938
引言logging的基本用法網(wǎng)上很多，這里就不介紹了。在引入正文之前，先來看一個需求：假設(shè)需要將某功能封裝成類庫供他人使用，如何處理類庫中的日志？數(shù)年前在一個C#開發(fā)的項目中，我用了這樣的方法：定義一個logging基類，所有需要用到日志的類都繼承這個基類，這個基類中定義一個LogHandler事件，該事件用于實現(xiàn)具體的記錄日志動作，同時可以通過將類A的LogHandler委托掛到類B的LogHandler上，實現(xiàn)將兩個類的日志信息添加到一起。自從看了py
系統(tǒng) 2019-09-27 17:47:37 1938
