背景：

今天同事寫(xiě)代碼，用python讀取一個(gè)四五百兆的文件，然后做一串邏輯上很直觀的處理。結(jié)果處理了一天還沒(méi)有出來(lái)結(jié)果。問(wèn)題出在哪里呢？

解決：

1. 同事打印了在不同時(shí)間點(diǎn)的時(shí)間，在需要的地方插入如下代碼:

            
print time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time())) 
          

發(fā)現(xiàn)一個(gè)規(guī)律，執(zhí)行速度到后面時(shí)間越來(lái)越長(zhǎng)，也就是處理速度越來(lái)越慢。

2. 為什么會(huì)越來(lái)越慢呢？

1）可能原因1，GC 的問(wèn)題，有篇文章里面寫(xiě)，python list append 的時(shí)候會(huì)越來(lái)越慢，解決方案是禁止GC:

使用 gc.disable（）和gc.enable（）

?2）改完上面，仍然不行，然后看到一篇文章里面寫(xiě)，可能是因?yàn)?git 導(dǎo)致的，因?yàn)閍ppend 的時(shí)候 git 會(huì)不斷同步，會(huì)出問(wèn)題，于是刪除 .git 文件夾，結(jié)果還是不行。

3）繼續(xù)查詢，發(fā)下一個(gè)及其有可能出問(wèn)題的地方。dict 的 in dict.key()，判斷 key 是否在 dict 里面，這個(gè)的效率是非常低的。看到一篇文章比較了效率：

????????? ① 使用? in dict.keys() 效率:

????????? ② 使用 has_key()? 效率:

發(fā)現(xiàn) has_key() 效率比較穩(wěn)定。于是修改，問(wèn)題解決。

后話：

最初的時(shí)候，的確是使用 has_key(), 結(jié)果后面上傳代碼的時(shí)候，公司代碼檢查過(guò)不了，提示不能使用這個(gè)函數(shù)，只能改成 in dict.key() 這種方式，為什么公司不讓這么傳呢？經(jīng)過(guò)一番百度，發(fā)現(xiàn)原因所在：在 python3 中，直接將 has_key() 函數(shù)給刪除了，所以禁止使用。那禁止了該怎么辦呢？原來(lái) python 中 in 很智能，能自動(dòng)判斷 key 是否在字典中存在。所以最正規(guī)的做法不是 has_key(),?? 更不是 in dict.keys(), 而是 in dict.? 判斷 key 在 map 中，千萬(wàn)別用 in dict.keys() ！！！

附錄:

in、 in dict.keys()、 has_key() 方法實(shí)戰(zhàn)對(duì)比:

            
>>> a = {'name':"tom", 'age':10, 'Tel':110}
>>> a
{'age': 10, 'Tel': 110, 'name': 'tom'}
>>> print 'age' in a
True
>>> print 'age' in a.keys()
True
>>>
>>> print a.has_key("age")
True

          

總結(jié)

以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，謝謝大家對(duì)腳本之家的支持。

參考資料:

https://www.douban.com/group/topic/44472300/

http://www.it1352.com/225441.html

https://www.jb51.net/article/145424.htm