MongoDB的擴(kuò)展能力可以滿足你業(yè)務(wù)需求的增長(zhǎng)——這也是為什么它的名字來(lái)源于單詞humongous（極大的）的原因。當(dāng)然，這并不是說(shuō)你在 使用MongoDB的路上并不會(huì)碰到一些發(fā)展的痛點(diǎn)。Crittercism是一家專門為手機(jī)應(yīng)用程序提供技術(shù)支持的初創(chuàng)公司，該公司在過(guò)去兩年間發(fā)展迅 猛，其運(yùn)營(yíng)總監(jiān)Mike Chesnut于最近發(fā)表了一篇博文，描述了公司在快速發(fā)展的過(guò)程中遇到的一些MongoDB陷阱以及從中學(xué)到的經(jīng)驗(yàn)。在今年6月將會(huì)舉行的 MongoDB World 大會(huì)上，Mike Chesnut將會(huì)介紹Crittercism是如何在MongoDB上實(shí)現(xiàn)每秒30,000次請(qǐng)求的。

背景

Crittercism 提供了世界上首個(gè)領(lǐng)先的移動(dòng)應(yīng)用 性能管理（mAPM）解決方案。其SDK被嵌入了成千上萬(wàn)的應(yīng)用中，在全世界有近十億用戶。該公司致力于收集性能數(shù)據(jù)，例如錯(cuò)誤報(bào)告、崩潰診斷細(xì)節(jié)、面包 屑（breadcrumbs，指導(dǎo)航記錄）、設(shè)備/載體/OS統(tǒng)計(jì)和用戶行為等。這些數(shù)據(jù)大部分是非結(jié)構(gòu)化的，并且隨著應(yīng)用程序、版本、設(shè)備和使用模式的 不同變化很大。

Crittercism將所有的這些數(shù)據(jù)存儲(chǔ)在MongoDB中以便于收集原始信息供用戶以各種方式使用，同時(shí)還提供了將數(shù)據(jù)概括到易消化、可操作 的維度所需的分析功能。在過(guò)去的18個(gè)月中，Crittercism每天的請(qǐng)求量增長(zhǎng)了超過(guò)40倍，主要的MongoDB集群現(xiàn)在存儲(chǔ)的數(shù)據(jù)量超過(guò)了 20TB。

路由

MongoDB文檔顯示，最常見(jiàn)的拓?fù)浣Y(jié)構(gòu)是在每一個(gè)客戶端系統(tǒng)上包含一個(gè)路由器—— 一個(gè)mongos進(jìn)程 。Mike Chesnut表示他們開(kāi)始的時(shí)候就是這樣做的，并且在很長(zhǎng)的一段時(shí)間內(nèi)這種方式工作的很好。

但是隨著生產(chǎn)環(huán)境中前端應(yīng)用程序服務(wù)器的數(shù)量從十幾臺(tái)增長(zhǎng)到幾百臺(tái)，Crittercism發(fā)現(xiàn)mongos路由和mongod分片服務(wù)器之間建立了幾百、有時(shí)候甚至是幾千個(gè)連接，負(fù)載非常重。這意味著每當(dāng) chunk平衡 （MongoDB分片集群為了保持?jǐn)?shù)據(jù)均勻分布所必須使用的平衡措施）發(fā)生的時(shí)候傳送存儲(chǔ)在 配置數(shù)據(jù)庫(kù) 中的chunk位置信息都需要花費(fèi)相當(dāng)長(zhǎng)的時(shí)間。這是因?yàn)槊恳粋€(gè)mongos路由都必須清楚地知道每一個(gè)chunk都存在于集群中的哪些位置。

對(duì)于這一問(wèn)題Mike Chesnut表示：

我們發(fā)現(xiàn)將 mongos 路由合并到少數(shù)幾臺(tái)主機(jī)上能夠減輕這個(gè)問(wèn)題。我們產(chǎn)品的基礎(chǔ)設(shè)施在 AWS 上，所以我們?cè)诿總€(gè)可用區(qū)域內(nèi)部署了 2 臺(tái) mongos 服務(wù)器。這樣每個(gè)區(qū)域都有冗余，同時(shí)還為客戶端提供了到 mongos 路由的最短網(wǎng)絡(luò)路徑。我們也擔(dān)心請(qǐng)求路徑中會(huì)增加額外的驛站，但是通過(guò) Chef 配置所有的客戶端讓它們僅與自己區(qū)域內(nèi)的 mongos 路由通信能夠最小化這個(gè)問(wèn)題。

這種拓?fù)浣Y(jié)構(gòu)的變化極大地減少了 mongos 路由和 mongod 分片服務(wù)器之間的連接的數(shù)量（這一點(diǎn)可以通過(guò) MMS 衡量），并且沒(méi)有明顯地降低應(yīng)用程序的性能。此外我們還對(duì) MongoDB 做了一些改進(jìn)，讓它能夠更有效地完成 mongos 更新和內(nèi)部一致性檢查。借助于這些措施以及新的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，我們現(xiàn)在能夠在不引發(fā)性能問(wèn)題的情況下平衡集群中的 chunk 。

分片替換

Crittercism公司遇到的另一個(gè)場(chǎng)景是需要?jiǎng)討B(tài)地替換mongod服務(wù)器從而遷移到更大的分片上。Mike Chesnut表示：

對(duì)于這一問(wèn)題我們?cè)俅尾捎昧宋臋n中 推薦的最佳部署實(shí)踐 ，將 MongoDB 部署到使用大型 RAID 10 磁盤陣列并且運(yùn)行著 xfs 的服務(wù)器實(shí)例上。我們使用了有 16 塊磁盤的 AWS m2.4xlarge 實(shí)例。處于性能方面的考慮，我們使用了基本的 Linux mdadm ，但是這樣也犧牲了磁盤配置靈活性。這樣做的結(jié)果是當(dāng)我們需要為分片分配更多容量的時(shí)候，我們需要執(zhí)行一個(gè)遷移程序，有時(shí)候這會(huì)花費(fèi)幾天的時(shí)間。這意味著我們不僅需要提前做出合適的計(jì)劃，還需要了解整個(gè)流程從而對(duì)其進(jìn)行監(jiān)控并在出現(xiàn)錯(cuò)誤的時(shí)候做出響應(yīng)。

當(dāng)所有副本的磁盤利用率大致相等的時(shí)候我們會(huì)開(kāi)始一個(gè)復(fù)制集。首先我們會(huì)創(chuàng)建一個(gè)新的服務(wù)器實(shí)例，為它分配更多的磁盤，然后使用 rs.add() 方法將其添加到這個(gè)復(fù)制集中。

新副本將進(jìn)入 STARTUP2 狀態(tài)并在該狀態(tài)保持一段時(shí)間（在我們的情況下通常是 2 到 3 天），在此期間它首先會(huì)復(fù)制數(shù)據(jù)，然后會(huì)通過(guò)操作日志（ oplog ）復(fù)制趕上進(jìn)度并構(gòu)建索引。索引的構(gòu)建通常會(huì)停止復(fù)制過(guò)程（注意，這個(gè)行為在 MongoDB 2.6 中必定會(huì)改變），所以嚴(yán)格來(lái)說(shuō)復(fù)制延遲時(shí)間并不是一直在縮短——在一段時(shí)間內(nèi)它會(huì)穩(wěn)步縮短，然后當(dāng)一個(gè)索引構(gòu)建發(fā)生的時(shí)候復(fù)制便會(huì)暫停，延遲時(shí)間會(huì)再次延長(zhǎng)。一旦索引構(gòu)建完成，那么復(fù)制將會(huì)再次恢復(fù)。值得注意的是，當(dāng)索引構(gòu)建發(fā)生的時(shí)候， mongostat 以及其他任何需要讀鎖的操作都將被阻塞。

副本最終會(huì)進(jìn)入 SECONDARY 狀態(tài)并具備完整的功能。這時(shí)候我們可以 rs.stepDown() 一個(gè)舊的副本，關(guān)閉它上面運(yùn)行的 mongod 進(jìn)程，然后通過(guò) s.remove() 方法將它從復(fù)制集中移除，讓服務(wù)器做好退出的準(zhǔn)備。

之后復(fù)制集中的每一個(gè)成員都會(huì)重復(fù)這個(gè)過(guò)程，直到這些成員都被使用更大磁盤的新實(shí)例替換為止。

雖然這個(gè)過(guò)程有點(diǎn)耗時(shí)，有點(diǎn)乏味，但是卻可以讓我們以一種優(yōu)雅的方式增長(zhǎng)數(shù)據(jù)庫(kù)的足跡，不會(huì)對(duì)客戶造成任何影響。

結(jié)論

和使用其他任何技術(shù)一樣，運(yùn)營(yíng)大規(guī)模MongoDB也需要一些知識(shí)，有些知識(shí)你可以從文檔中獲取，而另一些則來(lái)自于經(jīng)驗(yàn)。通過(guò)嘗試一些不同的策略， 例如上面提到的那些，你可以發(fā)現(xiàn)一些之前并不明顯的靈活性。對(duì)于Crittercism的運(yùn)維團(tuán)隊(duì)而言，合并mongos路由層無(wú)論是在性能方面還是在管 理性方面都是一個(gè)巨大的成功，此外開(kāi)發(fā)上面提到的遷移程序讓我們能夠持續(xù)地發(fā)展，在滿足自己業(yè)務(wù)需要的同時(shí)不會(huì)影響我們的服務(wù)或者客戶。

Crittercism: 在MongoDB上實(shí)現(xiàn)每天數(shù)十億次請(qǐng)求