您的位置：首页>学习园地>产品技术资源>正文 

揭开重复数据删除技术的神秘面纱

    尽管今天单位存储空间的成本不断走低，但企业需要存储或者备份的数据量仍然在持续上涨，导致了企业在磁盘存储空间方面无止境的成本投入。是否能有一种技术或者解决方案能够10倍甚至20的缩减企业数据量，让磁盘备份在容量空间方面的成本能够被更多的企业承受呢？重复数据删除正是近期的一项热门技术，由于可以大幅压缩和删减用户需要备份的数据量，因此让用户和厂商都对此青睐有加。

    基于企业的不同的业务数据类型和备份模式，企业在备份过程中，通常会保存大量的不需要的冗余的数据，重复数据删除可以删除这部分冗余的数据，从而大幅度降低企业数储和备份对容量空间的需求。一些国外的备份技术专家建议：任何拥有大量数据的企业都应该应用、或者至少尝试一下重复数据删除。

    但是一旦深入到重复数据删除的采购，这些专家就没有更好的意见了。因为重复数据删除的很多供应商目前仅仅能够实现这项功能，而实现的具体方式则各有不同，适用于一家公司的重复数据删除解决方案，未必就适用于另外一家公司。因此，本文在此给出了一些建议，来帮助用户在采购时避免不必要的混乱。

选择安全的压缩比
    11月2日，EMC宣布以1.65亿美元收购重复数据删除专业公司Avamar，以增强在磁盘备份领域的实力。Falconstor和Sepaton已经在产品中采用重复数据删除技术。赛门铁克也推出包括重复数据删除功能的备份软件产品。今年三月ADIC（现被昆腾收购）还以6300万美元收购了Rocksoft。今年的并购案列表中，重复数据删除正是最为积极活跃的领域之一。

    重复数据删除软件只备份经过更改的数据，这与传统的每周或每天备份所有数据的模式形成了鲜明对比，也就意味着重复数据删除可以大量地削减需要备份的数据量。备份厂商Asigra和Avamar以及VTL初创公司Data Domain是最早拥有这项技术的厂商。

    由于重复数据删除能够大幅度削减企业存储与备份的数据量以及对存储设备的容量需求，因此对于任何规模和大小的企业来说，重复数据删除无疑是一项极具诱惑力的技术。实际上，重复数据删除对于备份数据量超过2TB的企业来说才具备明显的经济效益。

    同时，重复数据删除和压缩较为类似，各个企业能够达到的压缩比各不相同。一般来说，10:1的压缩比是较为安全的比例范围，但多数企业会选择使用20:1的压缩比率。但实际上很多企业无法真正达到这个压缩比例。企业最高的压缩比例实际上取决于企业备份的方式以及备份的数据类型。

    至于如何决定企业需要的最高的压缩比例，还需要考虑企业是否拥有广泛的分支机构和移动雇员，以及企业是否正在建立一个集中的数据中心。基本上对于各种情况我们都能找到重复数据删除的解决方案，但没有一种解决方案能够适用于所有的企业和所有的情况。 

两种不同的实现方式
    和光盘存储一样，我们知道蓝光和高清DVD尽管都不适用于企业存储，但都有各自针对的不同人群和市场。重复数据删除技术的领地也可分为两个阵营。其一是作为某种功能嵌入到整体的备份软件或者解决方案中，如重复数据删除与虚拟带库的整合解决方案。这方面领先的厂商包括Diligent, Data Domain, Sepaton, FalconStor和Quantum。

    与之相对的另外一部分市场是重复数据删除软件成为一个独立的备份软件，从原数据备份之初就开始进行优化并压缩，并替代企业对传统备份软件的需求。这部分领地内，活跃的厂商包括：Avamar (现已被EMC收购), Asigra, Symantec, Atempo和TimeSpring。

    在某一个层面上，这两种类型的重复数据删除都是相同的，他们都在寻找冗余的数据块并试图删除这些数据块。但他们通过不同的方式来实现这个目的，并且在最终的备份和恢复的整体性能上有截然不同的表现。

    一般来说，虚拟带库厂商往往把重复数据删除作为一个必不可少的可选项与整体备份方案相结合，因为这些虚拟带库解决方案本身为高性能的数据存储与备份设计，重复数据删除可以帮助企业减少必要的磁盘空间需求量，但因为重复数据删除技术删除了大量的数据副本，仅仅根据修改的历史记录来恢复原有数据，实际上会降低数据安全性以及恢复性能。