分层存储指南

2019-10-18 17:30:33 作者:企业网D1Net 出处 : 转载

分层存储可以降低数据存储成本,提高效率,并具有重用旧设备的能力。
 
分层存储是一种存储方法,它涉及将数据存储在具有不同特性(例如性能、成本和容量)的一系列不同存储介质上。
 
不同的存储介质按层次结构进行组织,其中性能最高的存储介质被认为是Tier 0或Tier 1,其次是Tier 2,Tier 3,依此类推。
 
Tier 0或Tier 1通常由闪存或基于3D XPoint的固态硬盘组成,而连续的分层存储级别可能涉及高性能光纤通道或SAS驱动器(或包含它们的RAID阵列),性能较低的SATA驱动器、光盘、磁带存储系统以及基于云计算的近线或脱机存储系统。
 
在SSD硬盘和云存储变得司空见惯之前,使用磁盘和磁带提供Tier 1层、Tier 2层和Tier 3层存储的三层存储模型可能是最受欢迎的层存储模型。
 
但现在使用包含五个或更多分层存储级别的分层存储模型并不罕见。每一个都有微妙的差别,以产生三个关键存储属性的不同组合:成本、性能、容量。
 
分层存储的目标
 
如果不考虑费用,企业将使用SSD硬盘满足其所有存储需求,因为它们提供了非常高的性能和可靠性。
 
但是在现实世界中,存储成本非常重要,因为IT部门寻求在其预算内和组织中作为一个整体来寻求最小化成本和最大化效率。不幸的是,与机械硬盘相比,SSD硬盘存储成本昂贵,并且比磁带存储昂贵得多。
 
这意味着需要谨慎使用SSD硬盘,并且仅用于存储需要非常高性能的系统使用的数据。不太重要的数据可以存储在成本较低、性能较低的系统(如机械硬盘)上,而很少访问的数据或仅出于合规性目的保留的数据可以降级存储到成本非常低的离线存储系统。
 
因此,分层存储不是由IT部门出于运营原因的需求驱动的,而是纯粹出于财务原因。然后,分层存储系统的目标是通过使用成本最低的存储选项(提供所需的最低性能)将存储成本降至最低。
 
分层存储是如何工作的?
 
只有两个存储层的分层存储系统为存储管理人员提供了一个非常有限的选择,而不是一个给定的数据应该存储在哪里。如果该数据需要一定级别的存储性能,则将在满足要求的性能级别的情况下将其存储在Tier 2层中,否则将存储在更昂贵的Tier 1层中。
 
具有三个存储层的分层存储系统可能更高效,因为如果Tier 3层提供了所需的性能级别,则可以将同一数据存储在Tier 3层中。如果没有,则可以将其存储在Tier 2层中(如果可以提供)达到所需的性能水平,并且只有在Tier 2层和Tier 3层都无法提供所需的性能水平时,才需要将其存储在最昂贵的Tier 1层存储中。
 
事实上,可用的存储层越多,数据块就可以越有效地存储在满足其性能需求的适当存储层中,而不是以不必要的高成本提供不必要的高性能的存储层中。使用创建RAID阵列或短行程硬盘等技术,可以从一组不同的存储介质类型中创建新的层。例如,这两种技术都以较低的存储效率为代价(从而最终导致较高的财务成本)创建了更高的性能存储。
 
分层存储系统面临的最大挑战是将数据分类为多个类别,确定最适合给定数据类别的存储层,并随着数据的老化定期对数据进行重新分类。
 
这里的关键点是,任何给定数据的存储需求都可能随着时间的推移而变化,因此,只要数据不再需要它当前发现的存储层的性能,就必须对其进行监视并将其移动到较低(且成本更低)的存储层,而不是将数据存储在分层存储系统中而忘记它。
 
分层存储的典型数据类包括:
 
•关键任务数据。此类数据始终需要存储在最高级别的分层存储中,因为它需要支持高速应用程序,可能支持客户交易。访问数据的延迟将导致组织失去业务或对收益率产生负面影响。性能至关重要。
 
•热门数据。此类数据需要较高级别的分层存储,因为它在诸如客户关系管理(CRM)、企业资源计划(ERP)甚至电子邮件之类的应用程序中不断使用,并且在企业的日常运营中是必需的。在这一层的分层存储中,性能很重要,但成本也是一个考虑因素。
 
•暖数据。这个类包括一些较旧的数据,如超过几天的电子邮件,或已完成交易的数据。这类数据的访问频率相对较低,但在需要时仍需要易于访问。在分层存储的这一层,最重要的考虑因素是成本,但必须遵循最低性能阈值。
 
•冷数据。此类数据可能永远不会再次访问,但需要进行归档和保留以符合法规或其他法律要求,或者仅仅是因为它在将来的某个未确定时间可能具有某些价值,也许用于大数据分析。冷数据非常适合分层存储的最低层,在该层中可以接受几分钟或几小时的访问时间,而低成本是首要考虑因素。
 
除了规模最小的业务外,很明显,人工进行存储分层的方法可能会非常耗时且麻烦,无法成功。因此,大多数分层存储系统都依赖于使用分层管理系统的自动存储分层,该分层管理系统会在整个生命周期内监视数据,并在数据冷却时自动将其移动到存储层中。
 
该软件可以随同一个存储系统一起提供并在其上运行,也可以是一个独立的解决方案,它可以在整个组织的存储基础设施中正常工作,在某些情况下还可以通过云存储网关进入云中。
 
分层存储类型
 
Tier 1层是什么意思?
 
在一些使用存储分层的组织中,已经出现了比其现有Tier 1层中使用的更快的新存储技术。因此,该技术被用作“Tier 0层”存储。但出于本文的目的,将假定Tier 1层表示最高性能的存储层。
 
Tier 1层
 
此存储层旨在存储高度易变且对时间敏感的数据,并且需要在尽可能短的时间内可用。通常用在金融交易环境或其他业务领域中,这些业务在短短几分之一秒之内就可以产生重大损失,而只有最快的存储就足够了。因此,Tier 1层存储通常需要非常快的固态存储硬盘介质,无论其整体存储效率如何,都应配置为具有尽可能高的性能。
 
Tier 2层
 
该存储层用于存储事务数据,以支持高性能应用程序,面向客户的系统(例如零售应用程序)以及其他无法接受非常短的延迟的系统。由于所需的性能水平不如Tier 1层那么高,因此通常使用较低成本和更高存储效率的固态硬盘存储系统来提供Tier 2存储解决方案。
 
Tier 3层
 
第三个存储层用于存储“热”数据,例如客户关系管理(CRM)和企业资源计划(ERP)数据,甚至是最近的电子邮件,这些数据需要经常访问而不会造成不必要的延迟。这意味着它需要存储在介质(如中等到高性能硬盘驱动器)上,与固态硬盘存储介质相比,它们的成本相对较低。在许多组织中,与Tier 2层或Tier 1层相比,Tier 3层数据要多得多,因此,每千兆字节存储成本较低的大容量机械硬盘提供了理想的解决方案。
 
Tier 4层
 
该存储层用于“热”数据,例如来自最近完成的事务的数据,已使用了几天的电子邮件以及不经常访问的其他数据。它还可以用于存储可用于业务信息和数据可视化系统的数据,或用于创建月度、季度或年度报告所需的财务数据。但无论何时需要,都需要相对快速地访问。Tier 4层存储需求可能非常大,并且由于成本是主要考虑因素,因此Tier 4层存储的典型解决方案是大容量机构硬盘存储。Tier 4层存储更可能使用低成本、性能相对较低的SATA硬盘驱动器,而不是配置高性能SAS硬盘或RAID阵列。
 
Tier 5层
 
最低的存储层通常用于存档“冷”数据,这些数据可能永远不会再次访问,但仍保留一些价值(也许将来用于数据挖掘),因此值得保留。它也用于存储必须保留用于合规性目的的数据,这些数据仅需要在几天或几周内即可访问,而不是几分钟或几秒钟。
 
通常以该存储层为单位使用光介质或磁带存储系统,该系统以非常低的每千兆字节成本提供存储,但是性能却非常低。在过去的几年中,基于云计算的存储(例如Amazon的Glacier存储服务)已变得越来越受欢迎,这些公司希望将大量数据分流用于低成本存储,并且有可能或在几个小时内相对容易地对其进行检索(如果需要的话)。
 
分层存储的主要优势
 
分层存储带来许多好处,其中最重要的是:
 
•降低的存储成本:通过将每个数据类存储在成本最低的存储中,至少提供所需的最低性能,企业可以避免为不需要的高性能付费。存储成本的降低是采用分层存储系统的主要驱动因素。
 
•更高的存储效率:依赖RAID或短行程的高性能硬盘存储系统的存储效率很低,因为可以在这些系统上存储的数据量比所提供的总存储容量要少(在某些情况下要少得多)。由于分层存储系统可以减轻对RAID和短存储的需求(通过将不需要这种高性能的数据移至较低的存储层),因此可以提高存储效率。
 
•具有重用旧存储设备的能力:存储分层可以为存储系统提供新的生命力,否则将需要更换存储系统,因为它们不再为上层数据使用提供足够的性能。相反,它们可用于提供较低层的存储。