最近在弄一個(gè)項(xiàng)目分析的時(shí)候,看到有一個(gè)后綴為”.sqlite”的數(shù)據(jù)文件,由于以前沒怎么接觸過,就想著怎么用python來打開并進(jìn)行數(shù)據(jù)分析與處理,于是稍微研究了一下。
SQLite是一款非常流行的關(guān)系型數(shù)據(jù)庫,由于它非常輕盈,因此被大量應(yīng)用程序采用。
像csv文件一樣,SQLite可以將數(shù)據(jù)存儲(chǔ)于單個(gè)數(shù)據(jù)文件,以便方便的分享給其他人員。許多編程語言都支持SQLite數(shù)據(jù)的處理,python語言也不例外。
sqlite3是python的一個(gè)標(biāo)準(zhǔn)庫,可以用于處理SQLite數(shù)據(jù)庫。
用sqlite3創(chuàng)建和操作數(shù)據(jù)庫文件
對(duì)于數(shù)據(jù)庫的SQL語句,本文會(huì)用到最基礎(chǔ)的SQL語句,應(yīng)該不影響閱讀。如果想進(jìn)一步了解,可參考如下網(wǎng)址:
http://www.w3school.com.cn/sql/index.asp
下面,我們來應(yīng)用salite3模塊來創(chuàng)建SQLite數(shù)據(jù)文件,以及進(jìn)行數(shù)據(jù)讀寫操作。
主要的步驟如下:
與數(shù)據(jù)庫建立連接,創(chuàng)建數(shù)據(jù)庫文件(.sqlite文件)
創(chuàng)建游標(biāo)(cursor)
創(chuàng)建數(shù)據(jù)表(table)
向數(shù)據(jù)表中插入數(shù)據(jù)
查詢數(shù)據(jù)
演示代碼如下:
import sqlite3
with sqlite3.connect('test_database.sqlite') as con:
c = con.cursor()
c.execute('''CREATE TABLE test_table
(date text, city text, value real)''')
for table in c.execute("SELECT name FROM sqlite_master WHERE type='table'"):
print("Table", table[0])
c.execute('''INSERT INTO test_table VALUES
('2017-6-25', 'bj', 100)''')
c.execute('''INSERT INTO test_table VALUES
('2017-6-25', 'pydataroad', 150)''')
c.execute("SELECT * FROM test_table")
print(c.fetchall())
Table test_table
[('2017-6-25', 'bj', 100.0), ('2017-6-25', 'pydataroad', 150.0)]
關(guān)于SQLite數(shù)據(jù)庫中數(shù)據(jù)的可視化預(yù)覽,有很多的工具可以實(shí)現(xiàn),我這里使用的是SQLite Studio,是一個(gè)免費(fèi)使用的工具,不需要安裝,下載下來就可以使用,有興趣的同學(xué)可以參考下面的鏈接。
https://sqlitestudio.pl/index.rvt?act=download
數(shù)據(jù)預(yù)覽的效果如下:
用pandas來讀取sqlite數(shù)據(jù)文件
從上面代碼的運(yùn)行結(jié)果可以看出,數(shù)據(jù)查詢的結(jié)果是一個(gè)由tuple組成的list。python的list數(shù)據(jù)在進(jìn)行進(jìn)一步的數(shù)據(jù)處理與分析時(shí),可能會(huì)不太方便??梢韵胂笠幌?,假設(shè)如果數(shù)據(jù)庫的表格中一共有100萬行或者更多數(shù)據(jù),從list中循環(huán)遍歷獲取數(shù)據(jù),效率會(huì)比較低。
這時(shí),我們可以考慮用pandas提供的函數(shù)來從SQLite數(shù)據(jù)庫文件中讀取相關(guān)數(shù)據(jù)信息,并保存在DataFrame中,方便后續(xù)進(jìn)一步處理。
Pandas提供了兩個(gè)函數(shù),均可以讀取后綴為“.sqlite”數(shù)據(jù)文件的信息。
read_sql()
read_sql_query()
import pandas as pd
with sqlite3.connect('test_database.sqlite') as con:
# read_sql_query和read_sql都能通過SQL語句從數(shù)據(jù)庫文件中獲取數(shù)據(jù)信息
df = pd.read_sql_query("SELECT * FROM test_table", con=con)
# df = pd.read_sql("SELECT * FROM test_table", con=con)
print(df.shape)
print(df.dtypes)
print(df.head())
(2, 3)
date????? object
city????? object
value??? float64
dtype: object
??????? date??????? city? value
0? 2017-6-25????????? bj? 100.0
1? 2017-6-25? pydataroad? 150.0
以上這篇Python讀取和處理文件后綴為.sqlite的數(shù)據(jù)文件(實(shí)例講解)就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索:z360901061
微信掃一掃加我為好友
QQ號(hào)聯(lián)系: 360901061
您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對(duì)您有幫助,請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長非常感激您!手機(jī)微信長按不能支付解決辦法:請(qǐng)將微信支付二維碼保存到相冊(cè),切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對(duì)您有幫助就好】元

