1、主流重復數據刪除產品的全面對比解析作者：IT168 李雋目錄文件級與數據塊級的重復數據刪除 2定長切割模式VS 非定長切割模式 3基于備份源與基于目標端的重復數據刪除 4不同重復數據刪除方案的對比 5不同條件下重復數據刪除效果對比 6重復數據刪除如今已經不是新鮮的話題了，基本我們看到，市面上大部分備份產品已經具備重復數據刪除功能，基本上已經成為備份領域產品的一項必備的選項。但是市面上重復數據刪除的產品林林總總，有備份軟件類的，也有集成在虛擬帶庫中的重復數據刪除，而一些重復數據刪除的概念也讓用戶感到迷惑，比如全局重復數據刪除？比如帶內和帶外重復數據刪除對于用戶來說，面對如此繁多的產品究竟該如何選

2、擇呢？本文將梳理市場上大部分主流重復數據刪除的產品的特點，并分析優(yōu)劣勢，幫助用戶選擇合適的重復數據刪除產品。文件級與數據塊級的重復數據刪除首先我們看一下重復數據刪除的定義。所謂重復數據刪除，就是說我們要把一些相關的數據，它是一些重復性的，把它從一些生產上刪除掉，這樣可以大大節(jié)省我們生產空間的增長速度，從而降低我們的電耗，而且降低整個管理成本。目前來說，大部分重復數據刪除都采用了相似的處理過程，首先是通過特定的算法，把一個文件切割成不同的小塊，其次是比較這些塊的不同性，把一些重復的刪除掉。對于文件級的數據來說，組成文件的數據塊其實是存在重復的，當文件被切割成更小的數據塊后，重復率就大大增加了，然

3、后系統(tǒng)在每個切割的數據塊前面增加指針和索引，記錄這些塊是怎樣組合成文件的。再有文件記錄進來，文件被打碎成小的數據塊，系統(tǒng)就只會記錄和已經存儲的數據塊不同的數據塊。并能夠根據數據塊前面的索引信息，將打碎后保存的唯一的數據塊組合成文件。將文件打碎成小的數據塊，刪除重復的數據塊后，只存儲唯一的數據塊。文件打碎前需要保存39個數據塊，打碎后唯一的數據塊只有6個以上是大部分重復數據刪除的工作過程，當然也有不打碎成數據塊的重復數據刪除技術，但那樣只能對整個文件進行比對，在文件級別進行掃描，比如文件的特性、文件的修改時間，通過這些小的不同對文件進行相應的備份，保證每次只備份同一個文件。如果說這個文件做了一些

4、小的修改，整個文件還是需要備份的，所以它的力度是非常低的，它是文件級的。目前來說，采用文件級重復數據刪除技術的產品主要是一些歸檔的產品，例如EMC的centera，就是文件級進行相應的歸檔，把相應的重復的文件只留一個小的存根，每次恢復的時候只需要根據指針把相應的數據進行恢復。當然更多的重復數據刪除都是針對我們剛才所講的子對象級，也就是數據塊級的。這種重復數據刪除技術擁有更高的效率，有非常突出的刪除比。定長切割模式VS 非定長切割模式數據塊級的重復數據刪除就會有更多更復雜的做法。比如定長切割，與非定長切割。上一個部分我們講到數據塊級的重復數據刪除第一部都是將文件打碎成數據塊，但打碎的規(guī)則各有不同

5、。有的公司采用了同一大小的數據塊，例如所有的數據塊都打碎成12K、64K、128K、256K的數據塊大小，這種就屬于定長切割的數據塊。對于定長切割的重復數據刪除，切割的數據塊越小，粒度越細，重復數據刪除的比率會更高。與之相對應的就是非定長切割模式的重復數據刪除，就是在切割文件的時候，會先對文件做整體的掃描，然后比對重復的數據塊，將重復率高的數據塊切割出來，這樣的話每個數據塊不一定是一樣長的，就是非定長的數據切割模式。變長切割模式的重復數據刪除對非結構化數據是更有效的數據去重模式，變長的切割方式不會因為文件的部分增加或刪除而完全重新計算，只有真正的新單元被備份走；定長的切割方式會因為文件增加或刪

6、除引起整個文件循序改變而要重新計算所以單元，整個文件對于備份軟件是個新文件變長的數據切割方式通過相應的塊的長度，再加上相應的字母順序，通過一個三維的算法進行切割。比如damonst切割一塊，然后把rate切割一塊，會按一個單詞的組合特性進行切割。它是變長的，比如第一個是七個字母，第二個是四個字母，第三個又變成八個字母，再往后變成十幾個字母，這往后就是一個變長的切割。右邊的Veritas PureDisk、CommVault是按照128K的標準定長來切割，切完以后對得很齊，但是每一行里是沒有任何含義的，可以認為它是一個隨機性地切割下來的字母組合。如果這時文件進行改變，比如插一個S在前面，變長切割

7、模式就變成九個字母一組，剩下的又按照raid是有含義的一個字、切割方法沒有變。最后掃描下來，只有第一行是變化的，只需要備份第一行這一小小的變化量。但對于定長的，由于插入一個字母以后，整個順序就改變了，再按照128K切的話，掃描以后，所有行都是一個全新的數據塊對于備份軟件來說，所有行都要重新做備份。變長切割模式一般來說重復數據刪除的比率會更高，但指針的復雜度也會更高，也需要消耗更多的計算資源。目前來說Veritas的puredisk、Commvault Simpana、飛康、的重復數據刪除都是采用的定長切割，EMC Avarma、IBM Diligent、Data Domain采用了變長切割的方

8、式。基于備份源與基于目標端的重復數據刪除此外，我們還需要注意的是重復數據刪除的另外兩個概念，一種是基于備份源的，一種是基于目標端的重復數據刪除。基于備份源的重復數據刪除，可以在備份的時候，在備份端上agent就有重復數據刪除的算法和功能，它可以在備份以前進行相應的切割和對比，只把一些新變化的數據傳送到備份服務器上，這樣可以大大降低我們的備份數據量，在網絡傳輸過程中的數據量也會大大降低，這樣可以降低整個備份網絡的帶寬要求，對企業(yè)來說也會減少它很大的日常運維成本。基于目標端的重復數據刪除，主要是數據按正常的備份，備份到相應的磁帶設備、磁帶庫或者是虛擬帶庫上，在那里進行相應的重復數據刪除的算法、對比

9、，然后把一些相應新的數據塊元素保留下來，然后把相應的DNA圖也保留下來，這樣保證在存儲目標端的數據是沒有重復的。現(xiàn)在主要的產品有幾類。像基于備份源的有EMC的Avarma，它是基于備份源的。Veritas、PureDisk是可以實現(xiàn)基于備份源也可以基于備份目標的。針對備份目標的主要有datadomain、IBM diligent、CommVault的simpana。CommVault的simpana實際上它的實現(xiàn)方法是，它有一個media server，通過它實現(xiàn)重復數據刪除，但它實際上可以認為是備份目標的，因為它在備份raid的時候并沒有做重復數據刪除，只是做一個相應的切割算法，然后把所有切

10、割下來的片再加上這個文件的組成DNA指針一起傳到media server，在media server上進行相應的對比，只把一些唯一的數據塊傳下來，然后再把DNA圖傳下來，所以說它還是一個基于目標的重復數據刪除解決方案。此外重復數據刪除的另外一種解釋是帶內和帶外。所謂帶內，就是說重復數據刪除這個過程發(fā)生在備份這個流程過程中，比如像EMC的Avarma，它就是在備份的時候先做重復數據刪除，然后把重復數據刪除過以后的基準數據塊備份走，這樣的話等于在備份過程中進行了重復數據刪除的過程。另外一種是帶外，在備份過程中是沒有做重復數據刪除這個動作的，只有說這個數據備份到了目標端，在目標端的設備里，通過重復數

11、據算法，只保留一些基準的數據塊源，這叫做帶外的。實際上可以看到，帶內的效率反而比帶外的高，因為帶內計算以后，可以大大降低數據的備份量和網絡帶寬的需求，和在目標端的效果是一樣的，同樣只保留UNIX的數據塊。實際上帶內的方法比帶外的效率高。不同重復數據刪除方案的對比接下來看一下整體的重復數據刪除解決方案不同產品的一些特點。從左邊到右邊我們可以看到，這邊有幾類重復數據刪除的解決方案。一個是在線數據保存的重復數據刪除解決方案，主要是有NetApp的NAS，還有EMC的NAS，它實際上是在一級存儲上實現(xiàn)對重復數據刪除，重復數據刪除率一般只能達到1.2：1。還有一些我們常見的壓縮的方法，一般能達到壓縮率是

12、2：1，是基于壓縮技術的重復數據刪除比率。另外一些專業(yè)的重復數據刪除的解決方案，比如datadomain、IBM Diligent，還包括Veritas PureDisk目標端的重復數據刪除，這些產品正常情況下可以實現(xiàn)20：1的重復數據刪除率。還有一些基于數據源的重復數據刪除，因為基于數據源，整個在網絡上和目標端上都會大大提高重復數據刪除率，所以重復數據刪除應用效果更好。例如EMC承諾可以實現(xiàn)300：1的重復數據刪除率，Veritas的PureDisk壓縮比達到500：1，但具體的重復數據刪除比率根據環(huán)境不同還有不同的表現(xiàn)。具體需要以實際測試為準。不同條件下重復數據刪除效果對比以下在實驗室中，

13、在不同環(huán)境下應用重復數據刪除的效果對比。大家可以看到，相同率最高的是Windows文件，可以達到將近600：1的重復數據刪除比率。比較低的應該是數據庫文件、Linux文件，可以達到75：1的重復數據刪除比率。如果是NAS文件，比較好的情況下也可以實現(xiàn)135：1的比率。以上是不同環(huán)境下應用重復數據刪除技術的刪除比率，需要注意的是，以上僅為實驗數據，具體需要根據用戶實際情況評估需要注意的是，以上是實驗室環(huán)境下的測試數據，在用戶自身的環(huán)境中，建議用戶對整個重復數據刪除的應用效果作整體的評估，做到心中有數。現(xiàn)有數據可以達到多高的重復數據刪除比率，做相應規(guī)劃的時候，采購相應規(guī)格和容量的具有重復數據刪除功能的解決方案，保證所有的采購設備是物盡其用。選擇重復數據刪除的原則實際上，上頁給出的圖是在實驗室環(huán)境下的測試數據。我們無法使用這個比率來評估日常的生產數據的重復數據刪除。但重復數據刪除的應用仍然有一些經驗性的數據，基本上我們認為大概正常的文件應用可以達到50%以上的重復數據刪除。通常我們用25%就可以來評估重復數據刪除率。以下是選擇重復刪除技術為獲得高刪除比的一些原則，但需要注意的是，僅僅為了追求高刪除比并不可取，我們在選擇產品的時候還需要考慮到實際的環(huán)境和現(xiàn)有的設備。此外，本文我們僅從重復數