一追十二年,一个存储研发人的故事

2019-04-04 15:47:00 作者:Dell 阿明 出处 : 比特网

  “

  “技术必须和时代的商业需求一致,这样才能产生真正可以持续发展的产品。”

  ”

  滕昱,戴尔易安信UDS软件工程总监,他在戴尔易安信十二年的坚持,作为一个存储研发人一路走来,在采访中他告诉了我们这句话。

  在这一时期职业生涯中,这也成为了他最重要的领悟。

  一追十二年,企业云存储的发展“起起伏伏,高高低低”,他的故事和经历会给我们带来怎样的启发和思考?

1.jpg

  戴尔易安信UDS软件工程总监 滕昱

  ☟

  一个时代,有一个时代的特点

  2006年之前,属于云计算的史前时代。

  当时,出现了各式各样的企业分布式开发与存储的雏形。例如,IBM聚焦企业分布式开发,早早就提出了网格计算的框架。但是,这样面对企业开发的繁杂模式,终究未能得到广泛普及。

  其中一个重要的原因在于,包括网格计算在内的“史前技术”的“生不逢时”,在企业级用户还没有出现非结构化数据的海量爆发之时,这些计算的框架自然很难得到用户的落地与应用。最终因为网格计算在商业模式、技术上的不足,未能取得预期的成功。

  2006年被称为公有云的元年,拉开了一个新时代的帷幕。随着亚马逊AWS的S3诞生,对象存储逐渐被更多的人所认识。

  然而,对象存储其实并没有一开始打算支持企业应用,S3针对的是同一时间兴起互联网新应用的存储需求。具体包括了支持REST接口,支持最简单的储存需求,甚至S3的API核心一直不支持Update,而把精力放在了支持scale-out易扩容方式。

  因此,S3针对的是在公有云平台上非企业用户的非结构化海量数据存储的需求,对于还没有考虑上公有云的大部分企业级用户来说,诸如医疗、银行、证券等领域的企业级应用,S3公有云的对象存储在提供灵活和弹性的同时,却无法满足这些企业用户在传统应用工作负载上的对于安全,效率和开销的要求。

  一个时代,更有一个时代的创新

  2006年,也成为了戴尔易安信进入对象存储领域的重要之年。

  这一年,戴尔易安信启动了Atmos项目,正式开始了企业级对象存储探索之路。而滕昱也在项目启动的第二年正式加入了戴尔易安中国COE(Center Of Excellence)上海研发团队。

  只是现在回过头来看,从2006年到2010年,业界对于分布式对象存储在企业领域应用还处于初级阶段。与公有云海量数据爆发不一样的是,企业数据量一直处于一个不温不火的状态。为此,Atmos产品和研发团队也经历了相当长一段时间去寻找突破口,在这段时间中,滕昱也深深体会到了“技术定要配合市场,顺应时代潮流”的这一行业发展规律的价值。

  事情的发展往往会辨证地统一在一起。就在这几年的徘徊与摸索中,滕昱带领并锻炼了一支拥有强大战斗力的中国研发团队。到了2014年5月,借助戴尔易安信Atmos的基础,融入了分布式存储软件定义基因,戴尔易安信ECS(Elastic Cloud Storage ) 正式走入了全球用户的视野。

  ▲▲▲点击图片了解戴尔易安信ECS详细资料

  之后,代表企业级存储势力的对象存储ECS获得了长足发展。一向在企业级存储领域稳扎稳打的戴尔易安信,在ECS定位上自然需要与公有云的对象存储有所区别,但不能完全割裂开来发展,毕竟S3已经成为了对象存储“事实上的标准API”。

  为此,ECS既要对接S3满足用户对于自己传统存储平台的云化要求,又要同时满足企业级用户针对传统和下一代工作负载的需求。就此,ECS在S3标准API之外极大地扩充了企业存储的特性。比如,支持by-range update,提供多站点多活(active-active)的强一致性保证。并且从成本对比来分析,对于企业集中访问的核心数据集,ECS可以帮助企业用户显著减少总体拥有成本。

  更为关键的是,ECS赶上了2014年之后出现的企业级用户的非结构化海量数据的暴增趋势,尤其在2018年下半年出现的企业用户从公有云回迁的现象,更让ECS获得了大量的新用户。

  并且ECS从2016年开始,连续3年在Gartner“魔力象限”的报告中被评为分布式对象存储的领导者。

4.jpg

  生逢其时,做一个积极的参与者

  “技术与产品一样,螺旋上升发展的趋势十分明显。”

  特别是在2014年,在看到企业数据量呈现大爆发的态势之后,戴尔易安信认为企业云存储的时代终于来了,滕昱和他的团队也感受到了这一点,并坚信“公有云并不是企业开发的唯一出路”。

  IDC的报告指出,公有云存储在以下三个方面始终无法满足企业用户的需求。

  一是安全性

  核心数据存储在云端,安全方面始终存在隐患,企业用户有可能被公有云供应商锁定。

  二是性能

  针对企业用户数字资产的全新要求,数据量数据集越来越大,对存储带宽和低延迟提出了新的要求。公有云要满足这个需求,只能把企业所有数据集搬入云端,但是这样一来,不仅不能满足第一个要求,而且带来第三个问题。

  三是成本

  对于越来越“精打细算”的企业用户来说,公有云对象存储的总体拥有成本相对私有云对象存储来说过于昂贵。

  其实,对于大部分企业用户来说,他们需要的是,通过结合云技术和自有预算,来灵活计划存储方式的解决方案

  所以,混合云的方式为用户带来了灵活性,其工作负载应用在私有云、公有云上,可以以自身实际需求来自由选择。况且越来越多的企业用户在有了多个生产中心和多个数据中心的需求后,自然会需要公有云存储所没有的企业级安全性与功能。

  针对企业用户的全新需求,针对不同应用场景,需要提供不同的混合云与多云解决方案,混合云和多云是用户的未来,也是戴尔易安信的未来。

  随着企业级用户更为强调数字资产安全,从公有云回迁到私有云数据中心成为全球企业用户云计算时代下一个有趣的趋势。

  从2018年对象存储发展的趋势来看,在私有云与公有云之间,企业用户需要一个共同的S3 API接口,便于自身把控对象存储的数据安全。于是,ECS成为了企业在进行内部混合云部署时,在存储横向扩展上实现超大规模集群的优选方案,也代表了基于云应用和传统工作负载的企业存储基础架构的先进性和创新性。

  但是,ECS对象存储的性能如何满足企业用户更为苛刻的需求?

  随着NVMe-oF技术引入对象存储领域,性能上的提升,自然也满足了企业用户在对象存储方面的高性能低延时要求。

  此外,在最新ECS版本中,滕昱领导着中国研发团队改写了核心b-tree数据结构,在小数据(<10KB)上完美解决了存储效率问题,解决了对象存储的成本问题。

  技术创新与应用需求的契合刚刚好,从而让企业用户可以获得更好的选择。

  ECS历经了多年的发展,从测试版到1.0版,2.0版,再到3.x版,就这样迎来了一个更为广阔的发展时代。

  多云之下不止于ECS

  但是,通向成功的路千万条,满足用户需求的基石也就不止ECS一个。

  “我热爱这个戴尔易安信中国COE平台,因为它可以支持我去尝试新的技术带来行业引领,就像如果不尝试Atmos在先,就没有ECS收获在后。”滕昱在谈及这些年经历时,非常确定。

  十二年对于任何科技公司来说,都是一个很长的时间。

  而对于戴尔易安信来说,十二年唯一不变的是对满足用户需求方面的不懈追求。

  但是,随着用户迈向云计算、大数据物联网等领域的发展,存储在技术、方案、产品创新上一直在变。

  十二年前,存储软件对硬件的依赖性很强。现在,存储软件与存储硬件既可以集成一体化,也可以完全解耦合实现软件定义的方式。针对用户TCO整体的变化,戴尔易安信可以提供一体化的软硬件方案,也可以提供基于开源或容器的创新方案。

  企业用户只需要关注数字资产的本身价值,针对数据的存储、访问、安全等方面,戴尔易安信可以基于用户需求提供统一、高效、创新的数据管理与数据存储整体方案。

  值得关注的一个趋势是,现在的企业用户针对云原生的技术需求越来越多。

  Pivotal Container Service (PKS) 针对云原生的用户需求,在针对用户存储需求上可以提供更为敏捷的现代化方案。这都源自用户自身开发方式、运维方式的转变。

  2018年末,AWS在也第一次改变了它多年以来对于混合云的态度,联合VMware推出了AWS outposts。

  展望ECS的未来,戴尔易安信也会迅速跟上这一大趋势,发布基于Kubernetes的全新架构,这样ECS的存储引擎就会完全摆脱对于硬件限制,成为企业用户的存储核心部件。

  从对象存储到流式存储,戴尔易安信早已开始研究和布局物联网下的全球存储技术领域的创新与走向。从2017年开始,在戴尔易安信中国COE的发展上,滕昱带领着一个新的团队,开始了全新的征程。

  “工业物联网、车联网和实时欺诈风控的需求正在飞速发展。越来越多的企业新应用,需要的是快速响应客户需求,并同时学习和适应不断变化的行为模式。随着5G 网络、容器云、高性能存储硬件水平的不断提高,实时流处理正在拥有越来越广泛的市场前景。”

  计算是原生的流计算,存储更需要原生的流存储与之匹配。这一切必然驱动着开源分布式流存储Pravega从诞生逐渐走向不久后的成熟。

7.jpg

  Pravega取自梵语,意味“Good Speed”

  Pravega采用了分层存储架构,在分布式文件、对象存储基础上,提供了一层针对Stream的抽象。实现了冷热数据的分离,从而有效降低了数据存储成本,并与以Flink为代表的新一代流处理大数据处理平台无缝地完美结合。如下图:

  在这样一个混合云、多云的时代背景下,ECS、Pravega、PKS等与时俱进的创新产品和平台,终究成为了云时代企业用户的存储基石。

  在这十二年的职业生涯里,滕昱亲身经历了戴尔与EMC并购并真正融合在了一起。当初的坚定,也让他在戴尔科技集团的整体发展中得到了更大发挥。

  目前来看,作为戴尔科技集团的重要业务群之一,戴尔易安信拥有行业领先的融合基础架构、服务器、存储和数据保护技术,助力企业实现现代化、自动化以及数据中心转型,为通过建立混合云、开发云原生应用和大数据解决方案实现业务转型提供了值得信赖的基础。

  戴尔易安信为遍及180个国家不同规模的客户提供服务—从全球财富500强至中小型企业—并为客户提供业界全面的从客户端到数据中心、再到云端的创新产品组合。

  也就是说,滕昱团队负责的ECS对象存储和最近发力的流存储,已经成为了戴尔科技集团旗下戴尔易安信在面向用户的混合云、多云,IoT等更为复杂的创新场景下重要的存储选择之一。

  企业开发模式的整体思考

  在混合云、多云之下,开源开发方式的发展,产品创新迭代的加快,这一切必然倒逼着企业开发模式必须不断变化。

  作为企业级存储的重要代表,戴尔易安信研发如何去契合用户互联网与云需求下的快速发展,在技术迭代与敏捷开发上,如何做到企业级的严谨性与快速的创新性之间的平衡?

  尤其在踏上开源流式数据存储的新征程后,更需要对企业开发模式有着全面的整体思考。在滕昱看来,互联网开发更看重to C的敏捷开发,强调个人用户的体验,以用户试用来实现开发迭代的快速更新。但是,企业级的开发针对医院、银行、证券等行业用户,强调新技术、功能、工具等开发必须具备安全、可靠、稳定为前提,需要立足企业用户具备足够的承诺。

  针对新技术的日新月异,企业级产品的开发也不得不面向敏捷开发,实现更多开发测试上的创新与进步。

  其实早在2011年,戴尔易安信中国COE开发团队就开始全面转向了使用开源开发工具,对于Pravega这样的开源产品,则完全采用GitHub来管理托管开发的整套代码和流程。

  更重要的是,针对企业级产品的子模块不绝对区分开发与测试工作,而是整合在一起成为一个工程师团队,在开发过程中就强调及早测试和测试覆盖率。在模糊了开发人员和测试人员分工之后,产品测试的人员也会涉及到对设计和代码审核,更高质量针对新功能设计测试用例,从代码产生的第一天就保证其质量。

  所以从戴尔易安信的企业开发模式来看,在小范围上保持了敏捷开发的优势,在大范围上保证了企业开发的质量和整体的开发路线。实际上就是针对企业用户组织需要的质量、发布节奏和创新方面,可以用下面以“汽车、火车、轮船”三种开发模式来进行比喻。各有各的用处,也各有各的道理。

  ►►在“汽车开发模式”上,属于汇总修补升级程序,要求以最短的时间,针对产品软件打补丁、针对固件做优化。目的是一个稳定发行版本供所有用户升级使用。

  ►►在“火车开发模式”上,主要针对新功能的发行发布,需要在每年当中实现大的版本更新。

  ►►在“轮船开发模式”上,针对更为复杂的基础架构的改变,必然需要一个更长的时间与规划。当准备测试充分后,和“火车”计划做一个同步。

  然后具体到每个功能模块,先做好本模块的质量控制,等达到设定的质量标准以后,由“火车”车长根据发布计划去选择在下一次“发车”时候可以搭上火车的功能。然后再针对性地做更大范围内的集成测试和“混乱”(Chaos Monkey)测试。

  对于企业存储而言,随着商业模式的变化,存储也在发生新的访问方式变化。在分布式文件和对象存储上,一旦融入了对流式存储的创新,最终将成就一个更为完美的存储组合。未来的数据存储定会聚焦支持云原生、容器、虚拟化等新需求,支持企业级的使用需求,支持混合云、多云的需求,支持实时数据、流式数据、物联网数据爆发式发展的需求。

  从对象存储到流式存储,滕昱带领着研发团队,让我们看到了一如既往的坚持。满足用户需求变化,追求不断的技术革新,结果导向的确立,就事先明确了技术创新可落地、可实现的价值。

  追求卓越,是一种境界,更是一种价值观。十二年的坚持,滕昱也让我们看到了追求卓越的真正价值。十二年的坚持是一种力量,更是一种品质与传承。

  因此,未来依然属于“激情、正直、创新,强调团队合作与结果导向”的戴尔易安信中国COE研发团队。

  后  记

  滕昱已在戴尔易安信工作满十二年,经历了企业云存储的起步,彷徨和寻找突破点,直至现在的混合云多云趋势下的大爆发的时代变迁。他的职业生涯和业界的风云变幻紧密联系,也和戴尔易安信的云存储业务密不可分。

11.jpg

  因此我们特地邀请他回顾了这十二年经历,希望可以带给存储行业研发人更多的思考。

  良禽择木而栖,士为知己而搏

最近更新
科普

科普图集
从《中国互联网+指数报告(2018)》看数字经济

从《中国互联网+指数报告(2018)》看数字经济>>详情

“互联网+”的这些新变化,你知道吗?

“互联网+”的这些新变化,你知道吗?>>详情

邮件订阅

软件信息化周刊
比特软件信息化周刊提供以数据库、操作系统和管理软件为重点的全面软件信息化产业热点、应用方案推荐、实用技巧分享等。以最新的软件资讯,最新的软件技巧,最新的软件与服务业内动态来为IT用户找到软捷径。
商务办公周刊
比特商务周刊是一个及行业资讯、深度分析、企业导购等为一体的综合性周刊。其中,与中国计量科学研究院合力打造的比特实验室可以为商业用户提供最权威的采购指南。是企业用户不可缺少的智选周刊!
网络周刊
比特网络周刊向企业网管员以及网络技术和产品使用者提供关于网络产业动态、技术热点、组网、建网、网络管理、网络运维等最新技术和实用技巧,帮助网管答疑解惑,成为网管好帮手。
服务器周刊
比特服务器周刊作为比特网的重点频道之一,主要关注x86服务器,RISC架构服务器以及高性能计算机行业的产品及发展动态。通过最独到的编辑观点和业界动态分析,让您第一时间了解服务器行业的趋势。
存储周刊
比特存储周刊长期以来,为读者提供企业存储领域高质量的原创内容,及时、全面的资讯、技术、方案以及案例文章,力求成为业界领先的存储媒体。比特存储周刊始终致力于用户的企业信息化建设、存储业务、数据保护与容灾构建以及数据管理部署等方面服务。
安全周刊
比特安全周刊通过专业的信息安全内容建设,为企业级用户打造最具商业价值的信息沟通平台,并为安全厂商提供多层面、多维度的媒体宣传手段。与其他同类网站信息安全内容相比,比特安全周刊运作模式更加独立,对信息安全界的动态新闻更新更快。
新闻中心热点推荐
新闻中心以独特视角精选一周内最具影响力的行业重大事件或圈内精彩故事,为企业级用户打造重点突出,可读性强,商业价值高的信息共享平台;同时为互联网、IT业界及通信厂商提供一条精准快捷,渗透力强,覆盖面广的媒体传播途径。
云计算周刊
比特云计算周刊关注云计算产业热点技术应用与趋势发展,全方位报道云计算领域最新动态。为用户与企业架设起沟通交流平台。包括IaaS、PaaS、SaaS各种不同的服务类型以及相关的安全与管理内容介绍。
CIO俱乐部周刊
比特CIO俱乐部周刊以大量高端CIO沙龙或专题研讨会以及对明星CIO的深入采访为依托,汇聚中国500强CIO的集体智慧。旨为中国杰出的CIO提供一个良好的互融互通 、促进交流的平台,并持续提供丰富的资讯和服务,探讨信息化建设,推动中国信息化发展引领CIO未来职业发展。
IT专家网
IT专家新闻邮件长期以来,以定向、分众、整合的商业模式,为企业IT专业人士以及IT系统采购决策者提供高质量的原创内容,包括IT新闻、评论、专家答疑、技巧和白皮书。此外,IT专家网还为读者提供包括咨询、社区、论坛、线下会议、读者沙龙等多种服务。
X周刊
X周刊是一份IT人的技术娱乐周刊,给用户实时传递I最新T资讯、IT段子、技术技巧、畅销书籍,同时用户还能参与我们推荐的互动游戏,给广大的IT技术人士忙碌工作之余带来轻松休闲一刻。