论坛 产品库 视频 专题 CIO俱乐部 Windows8 实验室 CMO俱乐部 案例

对象存储和纠删码的一些“不对付”

发布时间:2015-02-13 16:06:00 来源:论坛 作者:佚名
关键字:存储 纠删码

  纠删码是一种向前纠错技术,用来保障数据弹性和长期的数据完整性,尤其是在大型数据系统中。纠删码经常用来替代传统RAID,由于它能提供一个更细粒度的纠错进程,从而能够减少重建数据所需的时间和花销。

  纠删码将解析传入数据,产生多个分组,然后,分别进行类似奇偶校验计算,扩展每个分组,创建一个冗余并更多弹性的数据超集。利用数学算法,系统能够利用这些扩展的分组重建原始数据集,甚至在丢失或破坏分组的情况下。这允许存储系统在多驱动或节点故障时也能够继续提供数据。

  大多数纠删码设计允许用户配置弹性级别,其实质就是通过增加每个分组的校验数据的数量。纠删码也应用到不同的级别:阵列级别、节点级别(横向扩展架构)或系统级别——能够影响消耗的处理开销。

  使用纠删码可能的负面影响之一就是它对计算资源的消耗,经常大量的对象复制。纠删码的开销取决于纠删码应用的级别(阵列级别、节点级别或是系统级别)和弹性的级别。

  纠删码能够和数据分布或离散相结合来提高弹性,并且终结离线存储专用副本。这个过程基本上是跨多个节点或系统传播数据分组,通常在不同的物理位置。然而,使用数据分组在不同物理位置传播的分布式架构就造成了延时问题。

  当分布的数据需要重组时,网络带宽很快成了限制因素,因为分组被WAN拉住了。一些对象存储系统将纠删码和复制功能相结合,立在本地系统级别上使用纠删码,在不同地理位置间执行复制以减轻延时问题。


比特微信账号
比特微信账号

微信扫一扫
关注Chinabyte

返回首页 长微博 返回顶部