最近Twitter開發(fā)了一款分布式實(shí)時(shí)統(tǒng)計(jì)系統(tǒng)Rainbird。

用處

Rainbird可以用于實(shí)時(shí)數(shù)據(jù)的統(tǒng)計(jì)：

1 統(tǒng)計(jì)網(wǎng)站中每一個(gè)頁面，域名的點(diǎn)擊次數(shù)

2 內(nèi)部系統(tǒng)的運(yùn)行監(jiān)控（統(tǒng)計(jì)被監(jiān)控服務(wù)器的運(yùn)行狀態(tài)）

3 記錄最大值和最小值

性能要求

作為大型網(wǎng)站的分布式應(yīng)用，需要具備以下性能： ?

1 極高的寫入性能，可以達(dá)到100,000的WPS

2 非常高的讀取性能，可以達(dá)到10,000s的RPS

3 高度的可擴(kuò)展性，包括讀取和存儲等等，能夠擴(kuò)展到100+ TB的量級

4 讀取速度響應(yīng)間隔短，絕大多數(shù)的讀取速度應(yīng)該不超過100ms

系統(tǒng)組件

Rainbird一款基于Zookeeper, Cassandra, Scribe, Thrift的分布式實(shí)時(shí)統(tǒng)計(jì)系統(tǒng)，這些基礎(chǔ)組件的基本功能如下：

1 Zookeeper，Hadoop子項(xiàng)目中的一款分布式協(xié)調(diào)系統(tǒng)，用于控制分布式系統(tǒng)中各個(gè)組件中的一致性。

2 Cassandra，NoSQL中一款非常出色的產(chǎn)品，集合了Dynamo和Bigtable特性的分布式存儲系統(tǒng)，用于存儲需要進(jìn)行統(tǒng)計(jì)的數(shù)據(jù)，統(tǒng)計(jì)數(shù)據(jù)，并且提供客戶端進(jìn)行統(tǒng)計(jì)數(shù)據(jù)的查詢。（需要使用分布式Counter補(bǔ)丁CASSANDRA-1072）

3 Scribe，F(xiàn)acebook開源的一款分布式日志收集系統(tǒng)，用于在系統(tǒng)中將各個(gè)需要統(tǒng)計(jì)的數(shù)據(jù)源收集到Cassandra中。

4 Thrift，F(xiàn)acebook開源的一款跨語言C/S網(wǎng)絡(luò)通信框架，開發(fā)人員基于這個(gè)框架可以輕易地開發(fā)C/S應(yīng)用。

整體設(shè)計(jì)

Rainbird的設(shè)計(jì)架構(gòu)圖如下：

整個(gè)Rainbird系統(tǒng)中各個(gè)組件之間的協(xié)調(diào)和容災(zāi)處理由ZooKeeper負(fù)責(zé)，Cassandra負(fù)責(zé)整個(gè)數(shù)據(jù)的存儲和統(tǒng)計(jì)。

Front End中部署了Scribe，收集需要統(tǒng)計(jì)的數(shù)據(jù)，然后將收集到數(shù)據(jù)實(shí)時(shí)地發(fā)生到Rainbird Aggregator中。

Rainbird Aggregator將緩存收集的數(shù)據(jù)（1M），并將緩存的數(shù)據(jù)進(jìn)行一次預(yù)處理，然后再將數(shù)據(jù)一次性批量寫入到Cassandra中。這里預(yù)處理的作用類似于MapReduce框架中的combiner的作用，在Maper端做Reduce。

Rainbird Query接受用戶的查詢請求，直接到Cassandra中查詢已經(jīng)統(tǒng)計(jì)好的數(shù)據(jù)返回給客戶端。

頁面URL統(tǒng)計(jì)示例

將設(shè)我們需要統(tǒng)計(jì)網(wǎng)站的頁面點(diǎn)擊的情況，那么如何使用Rainbird來進(jìn)行統(tǒng)計(jì)呢？

在統(tǒng)計(jì)的過程中，本博客中一篇文章的URL為： http://www.cnblogs.com/gpcuster/tag/Cassandra/

我們可以將這個(gè)URL分拆為以下四個(gè)部分

com

cnblogs

www

http://www.cnblogs.com/gpcuster/tag/Cassandra/

然后以分拆后的這四個(gè)部分組合為以下Key：

com,cnblogs,www,http://www.cnblogs.com/gpcuster/tag/Cassandra/

com,cnblogs,www

com,cnblogs

com

最后將這些Key的數(shù)據(jù)寫入Cassandra中。這樣就完成了整個(gè)統(tǒng)計(jì)的過程。

如果需要查詢頁面http://www.cnblogs.com/gpcuster/tag/Cassandra/被訪問了多少次，只要在Cassandra中查詢Key為com,cnblogs,www,http://www.cnblogs.com/gpcuster/tag/Cassandra/的值即可。

如果需要查詢頁面http://www.cnblogs.com被訪問了多少次，只要在Cassandra中查詢Key為com,cnblogs,www的值即可。

如果要查詢頁面http://*cnblogs.com被訪問了多少次，也可以進(jìn)行類似的查詢即可。

?

更多參考

如果希望了解更詳細(xì)的信息，可以參考：http://www.slideshare.net/kevinweil/rainbird-realtime-analytics-at-twitter-strata-2011

另外，想了解更多關(guān)于Cassandra的信息，可以參考：http://www.cnblogs.com/gpcuster/tag/Cassandra/

想了解更多關(guān)于ZooKeeper的信息，可以參考：http://www.cnblogs.com/gpcuster/tag/ZooKeeper/