1.1安裝模塊pipinstallpykafka1.2基本使用#-*coding:utf8*-frompykafkaimportKafkaClienthost='IP:9092,IP:9092,IP:9092'client=KafkaClient(hosts=host)#生產者topicdocu=client.topics['my-topic']producer=topicdocu.get_producer()foriinrange(100):printi
系統 2019-09-27 17:48:56 1929
最近被多線程給坑了下,沒意識到類變量在多線程下是共享的,還有一個就是沒意識到內存釋放問題,導致越累越大1.python類變量在多線程情況下的是共享的2.python類變量在多線程情況下的釋放是不完全的3.python類變量在多線程情況下沒釋放的那部分內存是可以重復利用的importthreadingimporttimeclassTest:cache={}@classmethoddefget_value(self,key):value=Test.cache.
系統 2019-09-27 17:48:22 1929
今天發現一個使用python寫的管理cisco設備的小框架tratto,可以用來批量執行命令。下載后主要有3個文件:Systems.py定義了一些不同設備的操作系統及其常見命令。Connectivity.py是主要實現功能的代碼,其實主要就是使用了python的pexpect模塊。Driver.py是一個示例文件。[root@safetratto-master]#catdriver.py#!/usr/bin/envpythonimportConnectiv
系統 2019-09-27 17:48:20 1929
隨便在網上找了找,感覺都是講半天講不清楚,這里寫一下。defgenerator():whileTrue:receive=yield1print('extra'+str(receive))g=generator()print(next(g))print(g.send(111))print(next(g))輸出:1extra1111extraNone1為什么會這樣呢,點進send就能看到一句話send:Resumesthegeneratorand"sends"
系統 2019-09-27 17:48:19 1929
什么是閉包Objectsaredatawithmethodsattached.Closuresarefunctionswithdataattached.一般來說,我們都非常熟悉面向對象(OOD)語言中的對象的概念。所謂對象(Object),指的是附帶相應方法的__數據__。那么相對而言,閉包(closure)指的則是附帶相應數據的__函數__。換句話說,閉包函數能夠引用一些并不在當前代碼全局上下文中定義的變量。這些被引用的變量(稱為自由變量)是在閉包函數被
系統 2019-09-27 17:48:00 1929
1.首先定義一個log文件#-*-coding:utf-8-*-importosimporttimeimportloggingimportsyslog_dir1=os.path.join(os.path.dirname(os.path.dirname(__file__)),"logs")today=time.strftime('%Y%m%d',time.localtime(time.time()))full_path=os.path.join(log_di
系統 2019-09-27 17:47:58 1929
測試用例分為用函數和類來進行一個大字符串的字符逐一讀取。測試代碼Node.js函數varfs=require("fs");varcontent=fs.readFileSync("page.html",{encoding:"utf-8"});functionchars(content){varlength=content.length;varpos=0;while(pos++
系統 2019-09-27 17:47:51 1929
接口設計一個應用寫出來最終是要給人使用的,哪怕只是給你自己使用。所以,首先應該想想你希望怎么使用它?讓我們先給這個小應用起個名字吧,既然及查詢票務信息,那就叫它tickets好了。我們希望用戶只要輸入出發站,到達站以及日期就讓就能獲得想要的信息,所以tickets應該這樣被使用:$ticketsfromtodate另外,火車有各種類型,高鐵、動車、特快、快速和直達,我們希望可以提供選項只查詢特定的一種或幾種的火車,所以,我們應該有下面這些選項:-g高鐵-d
系統 2019-09-27 17:46:17 1929
這次只演示了,如何在真實項目內用到BeautifulSoup庫來解析網頁,而新浪的新聞是ajax加載過來的數據,在這里我們只演示解析部分數據(具體反扒機制沒做分析)。代碼地址:https://gitee.com/dwyui/BeautifulSoup_xinlang.git。關于的爬蟲的博客已經越來越多,使用到的技術也越來越多,后期我還會持續寫下去,大概從幾個角度去寫,多線程爬取(提高效率),如何更好的做到爬取數據(破解反扒)。用redis管理多線程和代理
系統 2019-09-27 17:45:54 1929
myPhoneBook2.py#!/usr/bin/python#-*-coding:utf-8-*-importreclassPhoneBook(object):'''這是一個電話簿腳本。該腳本能夠實現AddContact:添加聯系人信息ShowContact:查找姓名顯示聯系人SaveContacts:存儲聯系人到TXT文檔(存儲格式――姓名:號碼/號碼)LoadContacts:從txt文檔中載入聯系人'''def__init__(self):sel
系統 2019-09-27 17:38:30 1929