高效存儲技術(shù)研究

1 引言

物質(zhì)、能量和信息是自然科學研究的三個基本對象，處理、傳輸和存儲是信息計算的三大基本任務。隨著信息化技術(shù)水平的不斷提高，數(shù)據(jù)已經(jīng)取代計算成為了信息計算的中心，數(shù)據(jù)將成為企業(yè)最終有價值的財富。 1998 年圖靈獎獲得者 Jim Gray 曾斷言：現(xiàn)在每 18 個月新增的存儲量等于有史以來存儲量之和。根據(jù)預測， 2020 年數(shù)據(jù)宇宙將達到 35.2 ZB （ 1 ZB = 1 百萬 PB ），比 2009 的 0.8ZB 增加 44 倍。在如此強大的實際需求推動下，人們不斷追求海量存儲容量、高性能、高安全性、高可用性、可擴展性、可管理性等特性，對存儲的需求不斷提高。信息量呈現(xiàn)爆炸式增長趨勢，使得存儲已經(jīng)成為急需提高的瓶頸。

面對數(shù)據(jù)量的急劇膨脹，企業(yè)需要不斷購置大量的存儲設(shè)備來應對不斷增長的存儲需求。權(quán)威調(diào)查機構(gòu)的研究表明，目前世界大公司的年度存儲需求增長率為 100% 。然而，這似乎并不能從根本解決問題。首先，存儲設(shè)備的采購預算越來越高，大多數(shù)企業(yè)難以承受如此巨大的開支。其次，隨著數(shù)據(jù)中心的擴大，存儲管理成本、占用空間、制冷能力、能耗等也都變得越來越嚴重，其中能耗尤為突出。在美國，數(shù)據(jù)中心大約消耗掉 2% 總電量，每年電費開銷高達 40 億美元。 Gartner 曾預測， 2009 年全世界將會有一半以上的數(shù)據(jù)中心電力供應不足。 Emerson 的調(diào)研則顯示 2011 年 96% 的數(shù)據(jù)中心將缺乏電力，美國許多企業(yè)的數(shù)據(jù)中心被迫遷至其它電力供應充足的地方。再者，大量的異構(gòu)物理存儲資源大大增加了存儲管理的復雜性，容易造成存儲資源浪費和利用效率不高。研究發(fā)現(xiàn)，企業(yè)的存儲利用率往往不足 50% ，存儲投資回報率水平較低。

因此，我們需要另辟蹊徑來解決信息的急劇增長問題。高效存儲理念正是為此而提出的，它旨在緩解存儲系統(tǒng)的空間增長問題，縮減數(shù)據(jù)占用空間，簡化存儲管理，最大程度地利用已有資源，降低成本。

2 何謂高效存儲？

高效存儲目前還沒有統(tǒng)一的定義，各個存儲廠商分別有各自的定義和詮釋，但目標是基本一致的，即提高存儲利用效率、簡化存儲管理、降低存儲能耗，從而獲得較低的總持有成本和運營成本。高效存儲的關(guān)鍵是平衡，需要在存儲成本、商業(yè)價值以及運營風險之間作好平衡。

從現(xiàn)有的高效存儲技術(shù)和存儲產(chǎn)品來看，高效存儲的基本策略主要有存儲資源整合、動態(tài)存儲容量配置、縮減存儲容量、信息生命周期管理和降低能耗，高效存儲技術(shù)基于這五種基本策略來實現(xiàn)高效的存儲。 SNIA GSI （ Green Storage Initiative ）針對綠色存儲給出了四種基本策略：提高設(shè)備能耗效率、使用更少的冗余、提供更少的空間、存儲更多的數(shù)據(jù)，相應的高效存儲技術(shù)和管理策略概覽如表 1 所示。

表 1 　高效存儲技術(shù)和管理策略概覽

表 1 中所羅列的高效存儲技術(shù)和管理策略均是最佳實踐，但是單一技術(shù)往往難以顯著地提高存儲利用效率、降低能耗、降低成本，實際中通常綜合運用其中多種技術(shù)以獲得更佳的整體效果。另外，一定要根據(jù)實際的數(shù)據(jù)特征和應用環(huán)境來選擇合適的技術(shù)和策略，不可照搬亂套，否則可能效果甚微，甚至得不償失。

3 高效存儲技術(shù)

目前業(yè)界公認的五項高效存儲技術(shù)分別是數(shù)據(jù)壓縮、重復數(shù)據(jù)刪除、自動精簡配置、自動分層存儲和存儲虛擬化，已經(jīng)在存儲產(chǎn)品得到廣泛推廣和應用， IBM 最新推出的 Storwize V7000 存儲陣列甚至同時集這五項技術(shù)與一身。其他的相關(guān)技術(shù)還包括固態(tài)硬盤 SSD 、 MAID 技術(shù)、動態(tài)卷、 RAID 級別等，它們分別利用自身的特點提高存儲效率、簡化存儲管理和節(jié)約成本。

3.1 數(shù)據(jù)壓縮

數(shù)據(jù)壓縮是一種對數(shù)據(jù)進行編碼以減小數(shù)據(jù)量的處理方法和過程。在有些應用中，采用有損壓縮壓縮過程中會丟失一部分的原始信息對某些格式的數(shù)據(jù)如數(shù)字圖像進行壓縮；但是對大多數(shù)的 IT 應用，需要的是無損壓縮壓縮過程能夠保存完整的原始信息，并且能夠從壓縮數(shù)據(jù)精確地重構(gòu)原始數(shù)據(jù)。存儲技術(shù)中使用無損數(shù)據(jù)壓縮技術(shù)來減小數(shù)據(jù)量，根據(jù)目前的技術(shù)水平，無損壓縮算法一般可以把普通數(shù)據(jù)壓縮到原來的 1/2 ～ 1/4 ，常用的無損壓縮算法有霍夫曼 (Huffman) 、 Lempel-Ziv （ LZ ）、 LZW(Lempel-Ziv & Welch) 、 LZR (LZ-Renau) 等壓縮算法。其中， LZ 算法應用廣泛， PKZIP 、 gzip 、 PNG 、 CAB 格式均使用該算法或變體； GIF 圖像格式使用 LZW 算法， LZR 是 ZIP 方法的基礎(chǔ)。

數(shù)據(jù)壓縮要求在寫入數(shù)據(jù)前進行編碼，在讀取數(shù)據(jù)前進行解碼，因此會對存儲系統(tǒng)性能產(chǎn)生一定的影響。然而，數(shù)據(jù)壓縮技術(shù)可以有效縮減數(shù)據(jù)存儲容量以及存儲硬件需求，在存儲技術(shù)中應用非常廣泛，尤其是近線和離線存儲。數(shù)據(jù)壓縮并非對任何數(shù)據(jù)都會效果顯著，諸如 JPEG 、 MPEG 、 MP3 等文件格式，這類數(shù)據(jù)已經(jīng)由應用層作過壓縮處理，存儲系統(tǒng)對它的再次壓縮幾乎沒有效果，而且會產(chǎn)生額外的性能損失。另外，數(shù)據(jù)壓縮和加密機制往往同時被應用，壓縮和加密操作需要按照合適的順序執(zhí)行。加密會對數(shù)據(jù)進行轉(zhuǎn)置和變換，通常會增加字節(jié)冗余數(shù)據(jù)發(fā)現(xiàn)的難度以及降低數(shù)據(jù)壓縮率，所以數(shù)據(jù)壓縮應當先于數(shù)據(jù)加密執(zhí)行，而解壓縮則以相反次序執(zhí)行，以獲得更高的壓縮率。

數(shù)據(jù)壓縮可以有效縮減數(shù)據(jù)存儲容量，緩解數(shù)據(jù)增長壓力，不足之處是相應產(chǎn)生一定性能損失。因此在存儲系統(tǒng)中實際運用時，需要根據(jù)存儲的性能、容量、成本等因素綜合考慮，不能由于采用數(shù)據(jù)壓縮而導致性能指標不能達標，為了提高性能而又增加總成本。通常來看，性能要求高的實時在線數(shù)據(jù)存儲不適合采用數(shù)據(jù)壓縮；而以數(shù)據(jù)備份、容災、歸檔、復制為主的近線和離線存儲，存儲容量需求大但性能要求較低，非常適合采用數(shù)據(jù)壓縮技術(shù)。然而，如果有方法可以解決壓縮和解壓所產(chǎn)生的性能損失問題（如專用芯片、高效算法），在線存儲采用數(shù)據(jù)壓縮也是可行的。

3.2 重復數(shù)據(jù)刪除

重復數(shù)據(jù)刪除（ Deduplication ）是一種數(shù)據(jù)縮減技術(shù)，可對存儲容量進行有效優(yōu)化。它通過刪除數(shù)據(jù)集中重復的數(shù)據(jù)，只保留其中一份，從而消除冗余數(shù)據(jù)。 Dedupe 技術(shù)可以有效提高存儲效率和利用率，數(shù)據(jù)可以縮減到原來的 1/20 ～ 1/50 。這種技術(shù)可以很大程度上減少對物理存儲空間的需求，減少傳輸過程中的網(wǎng)絡(luò)帶寬，有效節(jié)約設(shè)備采購與維護成本。同時它也是一種綠色存儲技術(shù)，能有效降低能耗。

圖 1 重復數(shù)據(jù)刪除技術(shù)原理

Dedupe 按照消重的粒度可以分為文件級和數(shù)據(jù)塊級。文件級的 dedupe 技術(shù)也稱為單一實例存儲（ SIS, Single Instance Store ），數(shù)據(jù)塊級的重復數(shù)據(jù)刪除，其消重粒度更小，可以達到 4-24KB 之間。顯而易見，數(shù)據(jù)塊級可以提供更高的數(shù)據(jù)消重率，因此目前主流的 dedupe 產(chǎn)品都是數(shù)據(jù)塊級的。 Dedupe 將文件分割成定長或變長的數(shù)據(jù)塊，采用 MD5/SHA1 等 Hash 算法為數(shù)據(jù)塊計算指紋（ FP, Fingerprint ）。可以同時使用兩種及以上 hash 算法計算數(shù)據(jù)指紋，以獲得非常小的數(shù)據(jù)碰撞發(fā)生概率。具有相同指紋的數(shù)據(jù)塊即可認為是相同的數(shù)據(jù)塊，存儲系統(tǒng)中僅需要保留一份。這樣，一個物理文件在存儲系統(tǒng)就對應一個邏輯表示，由一組 FP 組成的元數(shù)據(jù)。當進行讀取文件時，先讀取邏輯文件，然后根據(jù) FP 序列，從存儲系統(tǒng)中取出相應數(shù)據(jù)塊，還原物理文件副本。

Dedupe 技術(shù)可以幫助眾多應用降低數(shù)據(jù)存儲量，節(jié)省網(wǎng)絡(luò)帶寬，提高存儲效率，減小備份窗口，有效節(jié)省成本。 Dedupe 技術(shù)目前最成功的應用領(lǐng)域是數(shù)據(jù)備份、容災和歸檔系統(tǒng)，然而事實上 dedupe 技術(shù)可以用于很多場合，包括在線數(shù)據(jù)、近線數(shù)據(jù)、離線數(shù)據(jù)存儲系統(tǒng)，可以在文件系統(tǒng)、卷管理器、 NAS 、 SAN 中實施。 Dedupe 也可以用數(shù)據(jù)傳輸與同步，作為一種數(shù)據(jù)壓縮技術(shù)可用于數(shù)據(jù)打包。為什么 dedupe 技術(shù)最成功的應用是數(shù)據(jù)備份領(lǐng)域，而其他領(lǐng)域應用很少呢？這主要由兩方面的原因決定的，一是數(shù)據(jù)備份應用對數(shù)據(jù)進行多次備份后，存在大量重復數(shù)據(jù)，非常適合這種技術(shù)。二是 dedupe 技術(shù)的缺陷，主要是數(shù)據(jù)安全、性能。 Dedupe 使用 hash 指紋來識別相同數(shù)據(jù)，存在產(chǎn)生數(shù)據(jù)碰撞并導致數(shù)據(jù)不一致性的可能性。 Dedupe 需要進行數(shù)據(jù)塊切分、數(shù)據(jù)塊指紋計算和數(shù)據(jù)塊檢索，消耗可觀的系統(tǒng)資源，對存儲系統(tǒng)性能產(chǎn)生影響。

信息呈現(xiàn)的指數(shù)級增長方式給存儲容量帶來巨大的壓力，而 dedupe 是最為行之有效的解決方案，因此固然其在性能和安全方面有一定的不足，它大行其道的技術(shù)趨勢無法改變。更低碰撞概率的 hash 函數(shù)、多核、 GPU 、 SSD 等，這些技術(shù)推動 dedupe 走向成熟，由作為一種產(chǎn)品而轉(zhuǎn)向作為一種功能，逐漸應用到近線和在線存儲系統(tǒng)。 ZFS 已經(jīng)原生地支持 dedupe 技術(shù)，我們相信將會不斷有更多的文件系統(tǒng)、存儲系統(tǒng)支持這一功能。此外，數(shù)據(jù)壓縮可以與 dedupe 技術(shù)結(jié)合應用以獲得更大的數(shù)據(jù)縮減比率，寫入數(shù)據(jù)時去重得先于壓縮執(zhí)行，讀取數(shù)據(jù)的執(zhí)行順序則相反，如此可以達到最佳效果。

Dedupe 的衡量維度主要有兩個，即重復數(shù)據(jù)刪除率（ Deduplication ratios ）和性能。 Dedupe 性能取決于具體實現(xiàn)技術(shù)，而重復數(shù)據(jù)刪除率則由數(shù)據(jù)自身的特征和應用模式所決定，目前各存儲廠商公布的重復數(shù)據(jù)刪除率從 20:1 到 500:1 不等。對何種數(shù)據(jù)進行消重，時間數(shù)據(jù)還是空間數(shù)據(jù)，全局數(shù)據(jù)還是局部數(shù)據(jù)？何時進行消重，在線還是離線？在何處進行消重，源端還是目標端？如何進行消重？實際應用 Dedupe 技術(shù)時應該考慮各種因素，因為這些因素會直接影響其性能和效果。另外值得一得的是， hash 碰撞問題現(xiàn)在還沒有根本的解決方法，因此對于關(guān)鍵業(yè)務數(shù)據(jù)應該慎重考慮應用 dedupe 技術(shù)。

3.3 自動精簡配置

自動精簡配置（ Thin Provisioning ）的概念最早由 3PAR 公司提出，是一種全新的存儲空間管理技術(shù)，利用虛擬化方法減少物理存儲部署，可最大限度提升存儲空間利用率。它的核心原理是“欺騙”操作系統(tǒng)，讓其認為存儲系統(tǒng)中有很大的存儲空間，而實際上的物理存儲空間并沒有那么大。自動精簡配置減少已分配但未使用的存儲容量的浪費，根據(jù)用戶的實際所需自動分配和利用存儲資源。目前， IBM 、 HDS 、 EMC 、 3PAR 的高端磁盤陣列均支持該項技術(shù)。

圖 2 傳統(tǒng)存儲空間分配與自動精簡配置比較

傳統(tǒng)的存儲系統(tǒng)中，為確保存儲容量足夠使用，用戶往往會部署多于實際需求的充足物理存儲空間。但在實際使用過程中，部署容量通常未受到充分利用。行業(yè)研究組織發(fā)現(xiàn)在某些項目中，實際使用容量僅占部署容量的 20% — 30% 。因此，“自動精簡配置”技術(shù)應運而生，旨在實現(xiàn)更高的存儲容量利用率，并帶來更大的投資回報。

自動精簡配置不會一次性的劃分過大的空間給某項應用，而是根據(jù)該項應用實際所需要的容量，多次的少量的分配給應用程序，當該項應用所產(chǎn)生的數(shù)據(jù)增長，分配的容量空間已不夠的時候，系統(tǒng)會再次從后端存儲池中補充分配一部分存儲空間。自動精簡配置技術(shù)擴展了存儲管理功能，雖然實際分配的物理容量小，但可以為操作系統(tǒng)提供超大容量的虛擬存儲空間。隨著應用寫入的數(shù)據(jù)越來越多，實際存儲空間也可以及時擴展，而無須手動擴展。換句話說，自動精簡配置提供的是“運行時空間”，可以顯著減少已分配但是未使用的存儲空間。利用自動精簡配置技術(shù)，能夠幫助用戶在不降低性能的情況下，大幅提高存儲空間利用效率，降低初始投資成本；需求變化時，無需更改存儲容量設(shè)置；通過虛擬化技術(shù)集成存儲，降低運營成本；減少超量配置，降低總功耗。

毫無疑問，自動精簡配置技術(shù)是一項非常有效的存儲管理工具，但在實際應用過程中也會產(chǎn)生一些問題，需要根據(jù)所處的數(shù)據(jù)環(huán)境和存儲需求來權(quán)衡。首先，當預先分配的存儲空間不夠時，系統(tǒng)會從存儲資源池中補充存儲空間。然而，如果已經(jīng)分配的空間不再使用而空閑下來，空間回收相對困難，現(xiàn)在的產(chǎn)品支持較少。可見這種技術(shù)呈現(xiàn)只增不減的態(tài)勢，彈性不足。其次，當存儲空間超過預先設(shè)置的閾值，系統(tǒng)會觸發(fā)存儲空間分配。對于高負載的數(shù)據(jù)應用來說，面對突發(fā)的訪問峰值，有可能在配置更多的物理存儲空間之前系統(tǒng)就變得過載，導致磁盤和應用程序錯誤使得整個系統(tǒng)運行極其緩慢。再者，為了維持精簡配置環(huán)境增加了存儲系統(tǒng)復雜性，如果一旦發(fā)生故障，系統(tǒng)恢復可能比傳統(tǒng)的存儲系統(tǒng)更加緩慢。

3.4 自動分層存儲

自動分層存儲 (Automated Tiered Storage ， ATS) 屬于分層存儲，而分層存儲其實由來已久。分層存儲（ Tiered Storage ），也稱為層級存儲管理（ Hierarchical Storage Management ），廣義上講，就是將數(shù)據(jù)存儲在不同層級的介質(zhì)中，并在不同的介質(zhì)之間進行自動或者手動的數(shù)據(jù)遷移，復制等操作。同時，分層存儲也是信息生命周期管理（ ILM ）的一個具體應用和實現(xiàn)。分層存儲發(fā)展至自動分層存儲，主要擯棄了甄別數(shù)據(jù)和遷移數(shù)據(jù)的人工操作，而實現(xiàn)了智能化和自動化。

圖 3 自動分層存儲結(jié)構(gòu)

數(shù)據(jù)有生命周期，從創(chuàng)建到刪除的時間內(nèi)，信息的商業(yè)價值和訪問頻度不斷降低。存儲設(shè)備有高低貴賤之分，性能好、可靠性高、讀寫速度快的設(shè)備，自然價格就高；而性能較低、讀寫速度慢的設(shè)備，價格也就相對低廉。“分層”是指，對數(shù)據(jù)的訪問需求增加或減少時，將數(shù)據(jù)在不同類型的存儲介質(zhì)之間遷移，即把那些不常被訪問的數(shù)據(jù)或過時的數(shù)據(jù)轉(zhuǎn)移到速度較慢、成本較低的存儲介質(zhì)上，如 SATA 磁盤或磁帶，以此來降低硬件成本；而把那些經(jīng)常被訪問或重要的數(shù)據(jù)放在速度較快、成本較高的光纖磁盤甚至固態(tài)硬盤（ SSD ）上，以此來提升性能。自動分層存儲就是要讓數(shù)據(jù)和設(shè)備“門當戶對”，不僅可以降低存儲容量成本和管理成本，同時還維持適當?shù)男阅芩健?

分層存儲的概念已經(jīng)出現(xiàn)已久，并且這一概念被 EMC 、 STK 等廠商升華為信息生命周期管理（ ILM ）。不過，這一數(shù)據(jù)管理的理想因為操作復雜、成本較高，實現(xiàn)起來卻不那么理想， ILM 叫好而不叫座。以往，數(shù)據(jù)的分層存儲依靠存儲管理員的手工操作。如今，這一過程實現(xiàn)了自動化，智能軟件可以自動將數(shù)據(jù)轉(zhuǎn)移到最經(jīng)濟高效的存儲介質(zhì)上。 SSD 的出現(xiàn)使自動分層技術(shù)顯得更加有必要，它能使一個兩層甚至三層的存儲系統(tǒng)享有 SSD 級的性能 , 同時，反過來又促進了 SSD 的應用。隨著自動化數(shù)據(jù)分層技術(shù)不斷成熟，它也許有助于促進 SSD 的采用，因為它可以幫助管理員將分層技術(shù)調(diào)整到足夠優(yōu)化的地步，從而確保能夠從性能最高但成本也最高的存儲介質(zhì)中獲得最大效益。

目前提供 ATS 存儲產(chǎn)品的廠商主要有 3PAR 、 DELL 、 Compellent 、 EMC 、 IBM ，它們都是自動實現(xiàn)對熱點數(shù)據(jù)的甄別和遷移，但彼此之間其實還是存在較大的差別。第一大區(qū)別體現(xiàn)在熱點數(shù)據(jù)的甄別方式上。一種是基于策略的方式，如 EMC 的 FAST2 ；一種是支持全自動方式，用戶不需要制定任何策略，如 IBM 的 Easy Tier 、 Compellent 的 Data Progression 、 DELL 的 EqualLogic 5.0 。另一大區(qū)別體現(xiàn)在被遷移數(shù)據(jù)的粒度方面，分為卷級、子卷級、文件級和數(shù)據(jù)塊級。目前，大多數(shù)廠商的 ATS 技術(shù)都能實現(xiàn)子卷級數(shù)據(jù)遷移。是否為子卷級的數(shù)據(jù)遷移是評價 ATS 技術(shù)的一個很重要的參數(shù)，因為它關(guān)系到 ATS 技術(shù)的實際運行效果。數(shù)據(jù)塊級是自動分級存儲的最高境界，只有這一步才能做到真正的對于應用完全自動化和透明。目前， EMC 、 3PAR 是子卷級， NetAPP 是文件級， Compellent 做到了數(shù)據(jù)塊級。不過，各廠商的 ATS 都在向數(shù)據(jù)塊級逼近。

自動分層存儲具有許多優(yōu)點，被存儲業(yè)內(nèi)人士所推崇，但也需要注意一些潛在的問題。首先，從性能的角度看，大部分自動分層系統(tǒng)都是使用 SSD 加快 I/O 和減少延遲性。這種做法的好處在于它可以讓存儲管理員自動地利用 SSD ，缺點在于整個環(huán)境的其他部分也必須足夠快才能夠充分利用它的優(yōu)點。同時，大量部署 SSD 目前在成本上還是難以接受的。其次，一些自動分層解決方案通過將非活躍數(shù)據(jù)遷移到 SATA 存儲層來減少成本，并減小購買更多光纖或 SAS 容量的必要性。這對性能提升并沒有任何幫助，自動分層系統(tǒng)只是為了處理好舊數(shù)據(jù)，而許多數(shù)據(jù)中心多的就是這種數(shù)據(jù)。但是，主存儲系統(tǒng)并不是為了在更長的時間內(nèi)存儲舊數(shù)據(jù)而設(shè)計的，歸檔到磁盤或許是更行之有效的方案。再者，對于訪問模式頻繁變化的存儲系統(tǒng)，數(shù)據(jù)頻繁在不同存儲層次之間遷移，可能會對系統(tǒng)性能產(chǎn)生影響，甚至抵消原來帶來的性能提升。另外，如果數(shù)據(jù)被以近似均勻的頻率訪問，則數(shù)據(jù)分層會異常困難和復雜。最后，數(shù)據(jù)被分成為多個數(shù)據(jù)小塊分別存儲與不同的存儲層次，增加了元數(shù)據(jù)管理的復雜性，一旦系統(tǒng)發(fā)生故障，數(shù)據(jù)的恢復將會更加復雜和緩慢。

3.5 存儲虛擬化

隨著存儲的需求不斷激增，物理存儲資源（如服務器、磁盤陣列、網(wǎng)絡(luò)設(shè)備）也隨之成倍增長。這種分布的異構(gòu)存儲資源的蔓延發(fā)展最終使管理變得異常困難，從而導致存儲資源未被充分發(fā)揮效用，存儲利用率只有 50% 的現(xiàn)象很普遍，導致新存儲的投資白白浪費掉。對于這種存儲管理困境的一種解決辦法便是存儲虛擬化。

圖 4 存儲虛擬化簡化存儲管理

存儲虛擬化將分散的物理存儲資源整合抽象成單一邏輯資源池，使得管理員僅以單一的邏輯視圖對存儲資源進行識別、配置和管理，如圖 4 所示。虛擬化將存儲資源的物理特性隱藏起來，對于用戶來說虛擬化的存儲資源就像是一個巨大的“存儲池”，而不必關(guān)心其背后的物理存儲設(shè)備。存儲虛擬化是存儲整合的一個重要組成部分，它能減少管理問題，而且能夠最大化存儲利用率，減緩存儲需求，這樣可以降低新增存儲的費用。如果沒有存儲虛擬化，只能分別管理物理存儲設(shè)備，不僅管理復雜性很大，并且容易造成存儲資源的浪費。

存儲虛擬化是通過將一個（或多個）目標服務或功能與其他附加的功能集成，統(tǒng)一提供有用的全面存儲服務。典型的虛擬化包括如下一些情況：屏蔽系統(tǒng)的復雜性，增加或集成新的功能，仿真、整合或分解現(xiàn)有的服務功能等。虛擬化是作用在一個或者多個實體上，而這些實體則是用來提供存儲資源或服務的。存儲虛擬化是一個抽象的定義，它并不能夠明確地指導用戶怎么去比較產(chǎn)品及其功能，這個定義只能用來描述廣義的技術(shù)和產(chǎn)品。存儲虛擬化同樣也是一個抽象的技術(shù)，幾乎可以應用在存儲的所有層面：文件系統(tǒng)、文件、塊、主機、網(wǎng)絡(luò)、存儲設(shè)備等等。存儲虛擬化可以在三個不同的層面上實現(xiàn)：基本專用卷管理軟件在主機服務器上實現(xiàn)，或者利用陣列控制器的固件在磁盤陣列上實現(xiàn)，或者利用專用的虛擬化引擎在存儲網(wǎng)絡(luò)上實現(xiàn)。而具體使用哪種方法來實現(xiàn)，應根據(jù)實際需求來決定。

存儲虛擬化其實算不上是全新的概念， RAID 、 LVM 、 SWAP 、 VM 、文件系統(tǒng)等這些都歸屬于其范疇。存儲的虛擬化技術(shù)有很多優(yōu)點，比如提高存儲利用效率和性能，簡化存儲管理復雜性，綠色節(jié)省，降低運營成本等。現(xiàn)代數(shù)據(jù)應用在存儲容量、 I/O 性能、可用性、可靠性、利用效率、管理、業(yè)務連續(xù)性等方面對存儲系統(tǒng)不斷提出更高的需求，基于存儲虛擬化提供的解決方案可以幫助數(shù)據(jù)中心應對這些新的挑戰(zhàn)，有效整合各種異構(gòu)存儲資源，消除信息孤島，保持高效數(shù)據(jù)流動與共享，合理規(guī)劃數(shù)據(jù)中心擴容，簡化存儲管理以及綠色節(jié)能等。它還是自動精簡配置、動態(tài)卷、快照等存儲技術(shù)的基礎(chǔ)。存儲虛擬化是目前的存儲熱點技術(shù)，也是未來的存儲技術(shù)趨勢，受到眾多存儲軟硬件廠商的大力推崇。

存儲虛擬化的不利方面是額外增加的復雜性。存儲層是存儲環(huán)境新增的部分，隨著虛擬產(chǎn)品打補丁和更新，必須進行管理和維護。同樣，存儲設(shè)備之間的互操作性和兼容性也會有所影響。另外，虛擬層可能會與存儲系統(tǒng)的某些特性相干擾，比如遠程復制。另一個問題就是一旦存儲虛擬化實施后，重新恢復或是取消操作存在的困難。這并不是不可能，但是重新將應用與存儲位置進行關(guān)聯(lián)的過程很容易出錯。

3.6 其他技術(shù)

除了上述的五大基本的高效存儲技術(shù)之外，還有其他許多高效存儲技術(shù)和策略，羅列如下。（ 1 ）管理數(shù)據(jù)：根據(jù)數(shù)據(jù)價值和 SLA 定制數(shù)據(jù)管理和保護策略，減少冗余數(shù)據(jù)副本，減緩數(shù)據(jù)增長速率，降低成本；（ 2 ）選擇 RAID 級別：根據(jù)數(shù)據(jù)價值和 SLA 選擇合適的 RAID 級別，并結(jié)合其他高效存儲技術(shù)來減少存儲量和能耗；（ 3 ）動態(tài)數(shù)據(jù)卷：按照實際存儲需求動態(tài)調(diào)整數(shù)據(jù)卷大小，提高存儲利用率，減小存儲需求；（ 4 ） SSD ：具有高性能、低能耗的特點，有效緩解高性能應用的 I/O 瓶頸問題，并可作為分層存儲的頂層存儲介質(zhì)，提高整合性能和降低成本；（ 5 ） MAID ：將空閑磁盤轉(zhuǎn)換成非活動或低帶旋轉(zhuǎn)模式，可有效節(jié)省能耗。（ 6 ）可寫快照：減少用于測試、仿真、建模等應用的存儲空間需求。下面重點分析一下 SSD 和 RAID 技術(shù)。

3.6.1 固態(tài)硬盤 SSD

固態(tài)硬盤 (SSD, solid state disk) 是目前倍受存儲界廣泛關(guān)注的存儲新技術(shù)，它被看作是一種革命性的存儲技術(shù)，可能會給存儲行業(yè)甚至計算機體系結(jié)構(gòu)帶來深刻變革。在計算機系統(tǒng)內(nèi)部， L1 cache 、 L2 cache 、總線、內(nèi)存、外存、網(wǎng)絡(luò)接口等存儲層次之間，目前來看內(nèi)存與外存之間的存儲鴻溝最大，磁盤 I/O 通常成為系統(tǒng)性能瓶頸。 SSD 與傳統(tǒng)磁盤不同，它是一種電子器件而非物理機械裝置，它具有體積小、能耗小、搞干擾能力強、尋址時間極小（甚至可以忽略不計）、 IOPS 高、 I/O 性能高等特點。因此， SSD 可以有效縮短內(nèi)存與外存之間的存儲鴻溝，計算機系統(tǒng)中原本為解決 I/O 性能瓶頸的諸多組件和技術(shù)的作用將變得越來越微不足道，甚至最終將被淘汰出局。試想，如果 SSD 性能達到內(nèi)存甚至 L1/L2 cache ，后者的存在還有什么意義，數(shù)據(jù)預讀和緩存技術(shù)也將不再需要，計算機體系結(jié)構(gòu)也將會隨之發(fā)生重大變革。

對于存儲系統(tǒng)來說， SSD 最大突破是大幅提高了 IOPS ，摩爾定理的效力再次顯現(xiàn)，通過簡單地用 SSD 替換傳統(tǒng)磁盤，就可能可以達到和超越綜合運用緩存、預讀、高并發(fā)、數(shù)據(jù)局部性、磁盤調(diào)度策略等軟件技術(shù)的效用。 SSD 目前對 IOPS 要求高的存儲應用最為有效，主要是大量隨機讀寫應用，這類應用包括互聯(lián)網(wǎng)行業(yè)和 CDN 行業(yè)的海量小文件存儲與訪問（圖片、網(wǎng)頁）、數(shù)據(jù)分析與挖掘領(lǐng)域的 OLTP 等。 SSD 已經(jīng)開始被廣泛接受并應用，當前主要的限制因素包括價格、使用壽命、寫性能抖動等。從最近兩年的發(fā)展情況來看，這些問題都在不斷地改善和解決， SSD 的發(fā)展和廣泛應用將勢不可擋。

3.6.2 磁盤陣列 RAID

1988 年美國加州大學伯克利分校的 D. A. Patterson 教授等首次在論文 “ A Case of Redundant Array of Inexpensive Disks ” 中提出了 RAID 概念，即廉價冗余磁盤陣列（ Redundant Array of Inexpensive Disks ）。 RAID 即獨立磁盤冗余陣列，通常簡稱為磁盤陣列。簡單地說， RAID 是由多個獨立的高性能磁盤驅(qū)動器組成的磁盤子系統(tǒng)，從而提供比單個磁盤更高的存儲性能和數(shù)據(jù)冗余的技術(shù)。 RAID 是一類多磁盤管理技術(shù)，其向主機環(huán)境提供了成本適中、數(shù)據(jù)可靠性高的高性能存儲。 SNIA 對 RAID 的定義是：一種磁盤陣列，部分物理存儲空間用來記錄保存在剩余空間上的用戶數(shù)據(jù)的冗余信息。當其中某一個磁盤或訪問路徑發(fā)生故障時，冗余信息可用來重建用戶數(shù)據(jù)。磁盤條帶化雖然與 RAID 定義不符，通常還是稱為 RAID （即 RAID0 ）。 RAID 技術(shù)具有大容量、高性能、可靠性、可管理性等顯著的特征和優(yōu)勢，基本可以滿足大部分的數(shù)據(jù)存儲需求。

RAID 的兩個關(guān)鍵目標是提高數(shù)據(jù)可靠性和 I/O 性能。磁盤陣列中，數(shù)據(jù)分散在多個磁盤中，然而對于計算機系統(tǒng)來說，就像一個單獨的磁盤。通過把相同數(shù)據(jù)同時寫入到多塊磁盤（典型地如鏡像），或者將計算的校驗數(shù)據(jù)寫入陣列中來獲得冗余能力，當單塊磁盤出現(xiàn)故障時可以保證不會導致數(shù)據(jù)丟失。在這樣的冗余機制下，可以用新磁盤替換故障磁盤， RAID 會自動根據(jù)剩余磁盤中的數(shù)據(jù)和校驗數(shù)據(jù)重建丟失的數(shù)據(jù)，保證數(shù)據(jù)一致性和完整性。數(shù)據(jù)分散保存在 RAID 中的多個不同磁盤上，并發(fā)數(shù)據(jù)讀寫要大大優(yōu)于單個磁盤，因此可以獲得更高的聚合 I/O 帶寬。當然，磁盤陣列會減少全體磁盤的總可用存儲空間，犧牲空間換取更高的可靠性和性能。比如， RAID1 存儲空間利用率僅有 50% ， RAID5 會損失其中一個磁盤的存儲容量，空間利用率為 (n-1)/n 。

RAID 中主要有三個關(guān)鍵概念和技術(shù)：鏡像（ Mirroring ）、數(shù)據(jù)條帶（ Data Stripping ）和數(shù)據(jù)校驗（ Data parity ） [3][4][5] 。鏡像，將數(shù)據(jù)復制到多個磁盤，一方面可以提高可靠性，另一方面可并發(fā)從兩個或多個副本讀取數(shù)據(jù)來提高讀性能。顯而易見，鏡像的寫性能要稍低，確保數(shù)據(jù)正確地寫到多個磁盤需要更多的時間消耗。數(shù)據(jù)條帶，將數(shù)據(jù)分片保存在多個不同的磁盤，多個數(shù)據(jù)分片共同組成一個完整數(shù)據(jù)副本，這與鏡像的多個副本是不同的，它通常用于性能考慮。數(shù)據(jù)條帶具有更高的并發(fā)粒度，當訪問數(shù)據(jù)時，可以同時對位于不同磁盤上數(shù)據(jù)進行讀寫操作，從而獲得非常可觀的 I/O 性能提升 。數(shù)據(jù)校驗，利用冗余數(shù)據(jù)進行數(shù)據(jù)錯誤檢測和修復，冗余數(shù)據(jù)通常采用海明碼、異或操作等算法來計算獲得。利用校驗功能，可以很大程度上提高磁盤陣列的可靠性、魯棒性和容錯能力。不過，數(shù)據(jù)校驗需要從多處讀取數(shù)據(jù)并進行計算和對比，會影響系統(tǒng)性能。 不同等級的 RAID 采用一個或多個以上的三種技術(shù)，來獲得不同的數(shù)據(jù)可靠性、可用性和 I/O 性能。至于設(shè)計何種 RAID （甚至新的等級或類型）或采用何種模式的 RAID ，需要在深入理解系統(tǒng)需求的前提下進行合理選擇，綜合評估可靠性、性能和成本來進行折中的選擇。

RAID 這種設(shè)計思想很快被業(yè)界接納， RAID 技術(shù)作為高性能、高可靠的存儲技術(shù)，已經(jīng)得到了非常廣泛的應用。 RAID 主要利用數(shù)據(jù)條帶、鏡像和數(shù)據(jù)校驗技術(shù)來獲取高性能、可靠性、容錯能力和擴展性，根據(jù)運用或組合運用這三種技術(shù)的策略和架構(gòu)，可以把 RAID 分為不同的等級，以滿足不同數(shù)據(jù)應用的需求。目前業(yè)界公認的標準是 RAID0 ~ RAID5 ，除 RAID2 外的五個等級被定為工業(yè)標準，而在實際應用領(lǐng)域中使用最多的 RAID 等級是 RAID0 、 RAID1 、 RAID3 、 RAID5 、 RAID6 和 RAID10 。 RAID 每一個等級代表一種實現(xiàn)方法和技術(shù)，等級之間并無高低之分。在實際應用中，應當根據(jù)用戶的數(shù)據(jù)應用特點，綜合考慮可用性、性能和成本來選擇合適的 RAID 等級，以及具體的實現(xiàn)方式。

4 總結(jié)

現(xiàn)代信息呈現(xiàn)爆炸式增長趨勢，數(shù)據(jù)總量急劇膨脹。信息在帶來價值和財富的同時，也使給我們帶來許多挑戰(zhàn)，諸如存儲空間巨大、管理復雜性、存儲利用率低下、電力消耗巨大、冷卻能力不足、總體擁有成本高昂。數(shù)據(jù)壓縮、重復數(shù)據(jù)刪除、自動精簡配置、自動分層存儲、存儲虛擬化等高效存儲技術(shù)有效解決或緩解了這些難題。然而，目前還沒有從根本上解決，挑戰(zhàn)和壓力依然很巨大，我們期待高密度、超低能耗、高可靠的存儲硬件技術(shù)發(fā)展以及全新的存儲體系結(jié)構(gòu)的出現(xiàn)。因為潛在的巨大存儲需求和市場，存儲將仍然是最為熱門的 IT 領(lǐng)域，現(xiàn)有的高效存儲技術(shù)會得到長足發(fā)展，新的存儲技術(shù)將會層出不窮。

高效存儲技術(shù)研究