论坛 产品库 视频 专题 CIO俱乐部 Windows8 实验室 CMO俱乐部 案例

3D NAND Flash和NVDIMM的第一手消息

发布时间:2015-08-17 10:17:00 来源:论坛 作者:崔昊
关键字:3D NAND Flash NVDIMM 存储

  这是一个追求速度的世界,在我们周围,所有的事务都以飞快的速度运转着,甚至包括我们所生活的这个星球,以及它的那个"远方表亲"开普勒425b,唯一不同的是,我们在IT行业不仅追求速度,还追求越来越快的加速度。

  Objective Analysis的首席分析师Jim Handy在全球闪存峰会(Flash Memory Summit 2015,以下简称FMS2015)上提到,2004年NAND Flash在成本效益上超过DRAM之后,闪存技术的发展就进入了快车道,而随着处理器、内存的性能越来越好,而传统HDD的性能差距越来越大,NAND Flash被追求性能的企业客户接受的速度在最近几年明显加大。

  特别是当HDD和DRAM之间呈现巨大的速度缺口(Speed Gap)之后,无论是供应商还是企业用户,都意识到一个问题:对速度的追求不仅仅被极速所限制,还被"后面更慢的速度"拖住了后腿,所以,NAND Flash是企业级IT市场上最火热的东西也就不去为奇了。

  图1

  FMS的赞助商和合作伙伴几乎囊括市场上所有知名品牌。

  今年在Santa Clara Convention Center举办的FMS2015是这一会议的第十届,吸引了包括三星东芝、美光、SK海力士等在内的几乎所有NAND Flash的领导厂商,也有类似AGIGA、VIKING、Diablo、Netlist等创立了新型产品形态的初创厂商,PMC、QLogic、Mellanox、希捷等公司自然也是悉数参加,此外,惠普、NimbleStorage、NetApp等存储系统供应商也出现在了会议上。

  中国供应商的声音在此次会议上较2014年更为响亮,华澜微电子(Sage Microelectronics Corp)、宝存科技(Shannon Systems)和忆恒创源(Memblaze)都带来了他们非常重要的、具有创新技术的产品,不仅得到了大会主席Tom Coughlin的密切关注,也吸引了许多听众来对中国的存储市场一探究竟。

  图 2

  WatchStor总编崔昊介绍中国市场情况及China Flash Forum(中国闪存论坛)的情况

  说到中国市场,这一届的FMS首次针对中国市场开办了专场,就中国闪存存储市场、阿里巴巴等领先企业的应用、中国的智慧城市等行业热点以及中国方面的学术研究成功做了一次集中的展示,而今年11月WatchStor在北京召开的闪存大会,也与大会主席Tom Coughlin、技术主席Brian Berg进行了密切的交流,有很大的可能,他们会出现在这一届大会上。

  回到技术话题,三天十余场主题演讲,数十场技术专场的FMS,是每年闪存、内存乃至整个存储业界新产品、新技术和新观点的一次集中发布和探讨机会,所以,这一峰会能够了解到业界的趋势和新技术的走向,这也就是为什么WatchStor一定要在每年赴美参加这一会议的重要原因。

  图3

  如此多的人关注3D XPoint!

  在说个题外话,说来有趣,就在前不久,英特尔与美光联合发布了新一代的闪存/内存技术3D XPoint,这一技术对内存和闪存市场的潜在颠覆性,是每个在会场的人都十分关注的,甚至于一场类似"我猜!我猜!我猜猜猜!"(名为3D XPoint研讨会,但并没有英特尔和美光的人出席)的专场会议,爆满程度迫使主办方打开了旁边的一个同等规模的会场才勉强盛下热情的人群--有关这个话题的内容我们暂时按下不表,会在稍后有个文章说这个事儿。

  什么是这一次FMS最重要的话题?在大多数人看来,非3D NAND Flash和NVDIMM莫属,超过一半以上的主题演讲嘉宾(东芝、三星、美光、SK海力士)都在谈3D NAND Flash及相关技术,而一场所有演讲资料不出现在大会下载名单上的"非公开会议",竟然火爆程度不输3D XPoint,着实是出乎意料。

  3D NAND Flash已经量产,在FMS上说的比较多的是各家的规划,我们自然要好好看看这些供应商是怎么计划将3D NAND Flash推向市场的;NVDIMM现在来看是个不错的方案,弥补了DRAM Memory和PCIe NAND Flash之间的速度缺口(Speed Gap),怎么看都是未来的趋势,所以,就本次FMS上的这两个话题,我们还是来进行一下简单的梳理。

  3D NAND Flash:搞不清都是第几代也没啥关系

  很显然,日本和韩国厂商在3D NAND Flash领域的进展是最迅速和最积极的,北美的主要供应商SandDisk和美光则在选择相对不同的业务发展方向,SanDisk虽然也在FMS2015的主题演讲上提到了3D NAND Flash对市场成本的影响,但主要还是从数据中心解决方案方面展示公司的业务发展策略。

  确实,SandDisk现在是市场闪存供应商中产品最为全面的公司,提供包括SATA SSDSAS SSD、PCIe SSD卡、服务器内闪存模块、闪存存储系统等一系列产品,涵盖整个数据中心,并以"闪存对数据中心的改变"为核心传播思路,就连其6.4TB的Fusion ioMemory PCIe SSD都只是一掠而过。

  值得注意的是,SanDisk的高级副总裁及CTO Kevin Conley在FMS2015上表示:"未来几年,闪存将会驱动数据中心存储从PB到EB更快的实现。"这一观点显然是对3D NAND Flash技术极大地肯定。

  美光显然更期待与英特尔合作的3D XPoint,从目前其披露的情况来看,这很可能会是一个颠覆整个非易失性存储市场的产品,介于内存和闪存之间的延迟表现和大容量、高密度的设计,让3D XPoint拥有非常高的吸引力,不过,该公司副总裁及存储业务部门总经理Darren Thomas认为,"全球仅有5%的数据中心存储容量使用的是闪存,所以,各种形态的闪存的市场空间都还很大。"

  说回日本和韩国供应商,显然在3D NAND Flash能走多远、能搞多大这件事情上,日本和韩国人更有发言权。

  东芝的重点自然在其TSV(硅通孔)的16 die stack(最大)堆叠式NAND Flash上,前不久其刚刚发布了单颗256GB版本原型(使用的不是后面说的256Gb容量的48层Die而是旧的128Gb的Die,16x128Gb/8=256GB),核心电源降至1.8V,I/O电源降至1.2V,据称与该公司以往的NAND闪存相比,编程、读取和数据输入输出工作时的耗电量均降低约50%。

  该公司发言人Shigeo (Jeff) Ohshima表示,TSV的大规模量产会在2016年,带宽将能够达到惊人的1185MB/s/W,这意味着其不仅是一个高性能的NAND Flash,其能耗也比现在的NANDFlash在同等带宽下低30-50%的水平,而且考虑到3.5寸盘可以最多安装64个chip,这意味着东芝可以做到3.5寸16TB NAND Flash。此外,东芝还在大会上发布了3bit 48层(layer)3D堆叠式256Gb(32GB)NAND Flash--BiCS Flash,这一产品目前已经能够量产,如果上述的16 die stack堆叠式NAND Flash使用新的48层Die,那么容量还可以翻一番,这意味着仅需要两颗就能够达到1TB的容量,16TB单盘容量SSD指日可待。

  Shigeo (Jeff) Ohshima的演讲重点在于他"放了个卫星",即2016年,同等体积的NAND Flash SSD的容量能够达到32TB,2017年是64TB,2018年是128TB,并且"还会持续的增长下去",显然这远超过2020年HDD 20-40TB的预估(同样也是东芝给出的),Shigeo (Jeff) Ohshima认为:"NAND Flash的堆叠目前看还有进一步发展的可能性。"不过,他没有给出下一步的堆叠层数以及可能存在的极限。

  SK海力士方面则主要是就其发展路线图做了展示,在2014年Q4推出第一代(Proto)3D NAND Flash之后,SK海力士预计在今年Q3和Q4陆续发布3D V2(MLC,第二代)和3D V3(TLC,第三代),有趣的是,其MLC被囊括进3D NAND Flash的路线图说明中不知是何用意。

  在产品划代上,SK海力士是最激进也是更新最频繁的,其预计明年进入3D V4,并会一直推进到3D V6,在此期间,这家韩国公司会从eMMC5.1逐渐走进SATA SSD、NVMe SSD和UFS2.1的产品市场,今年第四季度,SK海力士会正式发布使用3D V2和V3技术的第一代SK海力士3D NAND Flash SSD,提供包括2.5寸盘和M.2两种尺寸,在此之前,其3D V1时代只有Proto形态的产品。

  此外,值得注意的是,SK海力士对M.2接口非常的关注,不仅表示在计划大力推进M.2形态产品的发展,而且在现场设计了一个符合Facebook OCP规范的NVMe M.2 SSD全闪存阵列,号称能提供1000万IOPS的性能,绝对吸引眼球。

  在目前三家日韩供应商中,三星是走在最前面的,从本次峰会的情况来看,3.84TB的企业级SSD PM863、SM863现在已经成了"明日黄花",三星绝对是本次大会上最劲爆的产品发布者之一。

  三星在会议上宣布了其256Gb容量的48层堆叠3bit cell 2P的第三代3D V-NAND(die),每瓦密度相比上一代32层堆叠3bit产品高出40%,并宣布第三代256Gb TLC在本月即可投入量产,三星的发言人Jim Elliott在后面放出的"卫星"也不小,他表示,三星预计未来堆叠数量能够达到100层以上,这意味着NADN Flash芯片的容量可以达到惊人的1Tb,从数字上来看,这倒是和东芝的观点不谋而合。

  图4

  三星PM1633a的展示样品

  在V3 256Gb 3bit V-NAND出现之后,三星方面预计,16TB(考虑到冗余空间,提供给用户的大约为15.36TB)的全球最大的的2.5寸NAND Flash SSD将会在下一代产品中出现(命名为PM1633a),而在PM863刚刚发布之后不久,三星就发布了NVMe的PM953,最大容量达到1.92TB,以及最大容量3.84TB的PM1633,值得注意的是,PM1633应该是全球首款上市的3bit 3D V-NAND产品。

  看得出来,无论是三星、SK海力士还是东芝,不断提高NAND Flash芯片的单Die容量以及在单颗颗粒中容纳进去更多的Die,是整个行业的发展趋势,自从业界发现可以使用3D堆叠的方式,从32层到48层一路提升,甚至到未来100层也有可能之后,这一"堆cell"的游很可能就已经在短期内很难望到尽头了。

  不过,据FMS2015上提到的若干消息指出,3bit cell现在已经不能满足三星、东芝等领先企业的胃口了,有来自NAND Flash生产设备供应商的消息显示,4bit cell设计正在这些"疯狂的科学家"的实验室中进行测试,很可能会在2016年出现可靠的原型产品。

  NVDIMM:三个模式 不同功用 但目的相同

  在闪存产品,特别是NAND Flash的成本进入到合理的区间之内后,NAND Flash因为其高性能、低延迟迅速成为企业客户所认可的存储介质,尤其是其极高的随机读性能,即便是在早期单位容量成本效益、写入和顺序读优势并不明显的时候,也受到了广泛的认可和迅速的应用。

  暂时抛开3D XPoint以及PCM(相变存储)等新的存储技术不谈,NAND Flash极好的弥补了DRAM和HDD之间的性能和延迟缺陷(Gap),提供了非易失性的、可靠数据保护、可信寿命以及越来越容易被接受的性能-容量/价格比,成为在DRAM和HDD之间极好的过渡性介质。

  但是正如3D XPoint所显示出来的一样,在DRAM和NAND Flash之间,实际上还有事相当大的性能差距可以被弥补,一般来说,CPU通过I/O Bus访问PCIe NAND Flash的响应时间在100微秒(1微秒=1000纳秒)这一数量级,而CPU通过Memory Bus与内存之间的响应时间数量级在100纳秒左右(部分DDR4-3000内存可以做到60纳秒左右),这也就意味着中间存在大约10倍的差距。

  这就带来三个问题:1、是否能够更有效的利用内存插槽,毕竟内存价格昂贵,插满内存一直都是不太现实的事情?2、DRAM毕竟是易失性存储,掉电就会丢失数据,是否有可能通过"距离上"更接近DRAM来解决后者的数据保护问题?3、谁具有高性能、低延迟适合放在内存插槽上解决上述两个问题?

  总的来说,以内存插槽接入非易失性存储介质(比如NAND Flash或是3D XPoint)是最好的解决方案,业界将其统称为NVDIMM(非易失性DIMM),利用内存通道的高性能和大容量、较低成本和延迟表现相当不错的非易失性介质来提升高性能存储容量、保护DRAM以及改良现有解决方案。

  值得注意的是,NVRAM是在2014年兴起的一项技术,即通过DRAM + NAND Flash+超级电容的方式,在提供DRAM的高性能读取的同时以NAND Flash和大电容保持数据的可用性,主流的产品都使用PCIe接口,比如PMC的Flashtec、Marvell的DRAGONFLY以及Radian的Flash SSD,其中PMC的Flashtec提供的DRAM容量最大,为16GB。

  但PCIe形态的产品并不能解决所有的问题,一方面,正如前面所说,DIMM插槽都插不满,速度又比PCIe快,利用起来是当务之急;另一方面,现在的NVRAM都是NVRAM基于内存映射I/O(MMIO,在x86架构中,MMIO占用CPU的物理地址空间,随机访问),更偏向RAM而不是存储,但显然有客户对存储有更大的的容量需求和更快的速度要求;第三,从延迟表现方面来说,在DIMM上利用内存通道(Memory Channel)的延迟在0.01微秒(x0纳秒,几十纳秒)这个数量级,而使用PCIe接口的NVRAM和PCIe SSD卡一样,都在10微秒(x0微秒,几十微秒甚至过百)这一数量级,延迟表现的差异可见一斑。

  更何况随着3D XPoint和新的非易失性存储技术的进步,即便是PCIe Gen3插槽的性能也变得越来越不够用,非易失性存储向以DIMM形态向内存插槽渗透,已经是一件迫在眉睫的事情。

  最早进入这一市场的是Diablo,这家公司最早开始通过在标准DDR内存条上增加NAND Flash,从而扩展服务器内部的NAND Flash应用空间,是NVDIMM早期的实践者和重要的推动者,其exFlash也是联想System X6系列服务器最早使用的。

  图5

  Diablo Memory1的128GB 展示样品。

  在本次峰会上,Diablo主要是推出了其最新的符合DDR4规范的Memory1,最大容量256GB,而除Diablo以外,市场上几家NVDIMM供应商也都参加了本次FMS2015,他们中包括AGIGA(目前Memblaze的BlazeArray在使用AGIGA的NVDIMM)、viking、Netlist等公司。

  在FMS2015上,上述公司召开了一个并不对外的研讨会,甚至其演讲资料都不对外发布,在这一NVDIMM专场上,各家公司都谈了自己对NVDIMM市场的发展看法。

  从目前市场上的划分来看,NVDIMM有着比较清晰的三类产品,它们分别是:

  NVDIMM-N:与NVRAM类似,数据存储在DRAM上,使用NAND Flash做掉电保护,需要SuperCap大电容保护,但与NVRAM不同,内存映射不在MMIO。所以,使用的时候,直接访问DRAM,掉电回写到NAND,回电再取出来,一般使用8-32GB的DRAM和至少更大容量的NAND Flash,延迟水平在10纳秒水平线上。JEDEC的电气和类型认证都已经完成。直接面向字节导向访问DRAM。

  NVDIMM-F:映射NAND到内存地址空间,实现内存映射的(Memory mapped)NAND Flash,DRAM不被系统映射;访问方式是通过一个共享的命令缓冲器的块导向的访问方式;容量方面,NAND Flash容量在 100GB-1TB,命令缓冲可以是DRAM或是SRAM。延迟在10微秒水平线上,JEDECE的类型认证已经完成。

  NVDIMM-P:映射NAND和DRAM到内存地址空间,即内存映射的NAND Flash和内存映射的DRAM(Memory mapped DRAM)包括以上两种访问方式,也就是可以字节访问也可以块访问,NVM 100GB到1TB,延迟水平字100纳秒左右,但没有任何JEDEC认证。

  根据与会几家供应商的预计,NVDIMM的市场会在未来3-4年实现10亿美元水平的营收,而且还有可能更高,到2018年,会伴随着PCIe市场的增长,从2018年预计的6亿美元到2021年达到55亿美元。

  NVDIMM的几种类型现在得到了不同程度的认可,除微软等软件厂商已经认证之外,Facebook的OCP和英特尔的RSA架构已经认证了部分产品,英特尔、SuperMicro、惠普以及NimbleStorage都已经开始在不同程度的NVDIMM。

  回到几家供应商在专场上披露的信息,AGIGA方面的测试结果显示,NVDIMM-N的产品在4k写和4k读(随机)方面的IOPS分别高达274万和307万IOPS,这一数字远超过目前最快的PCIe SSD加速卡,而随着技术的进步,该公司表示,目前32GB的NVDIMM-N DIMM很快容量就会翻倍--NimbleStorage就是也是该公司的客户,其企业级全闪存阵列中同样在使用AGIGA的NVDIMM。

  图6

  Netlist的Mario Martinez给出了NVRAM、NVDIMM的N、F、P模式的对比表格,其中有比较完整的产品对比。

  事实上,除了NVDIMM-N出现的比较早,-F和-P的出现都是近1、2年的事情,甚至于后者的行业内部划分,直到2014年10月都还没有确定下来,基本定型是2015年4-6月之间的事情,也就是说,这一市场还处于非常早期的萌芽状态。

  但从FMS2015上来看,NVDIMM对OEM供应商的诱惑力非常之大,比如Diablo的服务器OEM合作伙伴就从去年年初主要以联想System X6架构服务器和Sandisk的OEM为主,过渡到现在拥有包括浪潮、SuperMicro、联想等多家OEM合作伙伴,而AGIGA在今年以来就获得了NimbleStorage和国内的Memblaze的合作机会。

  此外,NVDIMM的产品形态也在不断扩展,以viking为例,这家公司除了传统的DDR4 NVDIMM之外,在FMS2015上还展出了SATADIMM SSD,在容量方面可以达到2TB之多。

  事实上,除了上面几家小规模的供应商,SK海力士也在现场展示了使用4GB模块的8GB和16GB DDR4 NVDIMM--前者包含1x纳米制程的16GB NAND Flash,后者这一容量则高达32GB。

  图7

  NVDIMM的设计目标,其实最终还是让存储(无论是NV-DRAM还是NAND Flash)离CPU更近一些、再近一些,从而进一步的提高系统的效率。Diablo公司认为,NVDIMM可以做两件事情:(不那么快的)内存和(特别

  快的NAND Flash)存储。

  图8

  当然,NVDIMM也存在一定的"问题":硬件就绪,软件还有些"拖后腿"。

  就当前主流的也是发展最好的NVDIMM-N来说,市场上的产品众多、应用的系统OEM供应商也不少,但SuperCap寿命、尺寸的问题现在还不能够很好的解决,比如说AGIGA和Netlist的方案,就是一个"标准2.5英寸磁盘大小"的、使用系统内部SATA接口充电的大电容,在体积上确实存在较大的问题,而电容的寿命即使得到有效监测也仍然是不稳定因素之一。

  图9

  Netlist给出-N模式设计,DRAMM+NAND Flash加上SuperCap大电容。

  图10

  Viking的解决方案:每条NVDIMM都有一根引线到SuperCap--一个干脆占用了PCIe插槽的"PCIe卡电容"。

  3D NAND Flash和NVDIMM成为市场主流体现了市场对更大容量、更高速度和更具经济性的永恒追求,就FMS2015大会上的反馈来看,算上"并未谋面的3D XPoint",这三个是最受关注的技术,而它们的走向也很有可能会决定未来企业级存储市场的走向。

  不过,就3D NAND Flash、NVDIMM和3D XPoint来看,中国供应商不仅和美国厂商之间存在巨大差距,与日本和韩国厂商的差距也非常之大,我们更多的还是停留在系统、(功能性)组件,像是闪存介质、内存组建、控制器等技术,我们的差距还是非常之大的。

  好消息是,中国供应商的进步还是非常之快的,比如说,杭州的华澜微利用自身核心芯片优势,基于独创的eRAIDTM架构生产全球业界密度最高的2.5英寸标准硬盘,容量达到5TB;利用高密度硬盘,华澜微只用1个2U机框就可以实现目前市场上需要整个机架(至少5个2U机框叠加组合)的100TB容量的磁盘阵列,其综合性能不仅可以和国际市场相近型号抗衡,且体积、系统复杂性、功耗都成倍减小。

  图11

  宝存PCIe-RAID的展示用机

  宝存科技的PCIe-RAID技术在本次峰会上也做了展示,这一次现场展示的PCIe-RAID闪存解决方案,由3个Direct-IO原生PCIe Flash组成解决方案的存储部分,在PC机箱内部包括了计算模块、网络模块、散热模块和PCIe-RAID闪存模块。目前,PCIe-RAID可以实现1U空间中最大裸容量为50TB。同时宝存科技还推出了2U空间的60TB裸容量、4U空间的90TB裸容量的系列解决方案。

  Memblaze除了新一代PBlaze IV PCIe SSD卡之外,预览的BlazeArray全闪存阵列原型以其极高的性能、软件定义的设计思路以及对业内NVDIMM技术的开创性应用,甚至吸引了大会主席等人的关注。

  在全球闪存峰会上,中国的供应商经过几年的摸爬滚打已经站稳了脚跟,下一代产品如何去做?是否会有更底层的技术研发创新出现?与日本、韩国公司在闪存介质上的差距何时才能弥补?可能要等到未来几届大会才能够看到答案了。


比特微信账号
比特微信账号

微信扫一扫
关注Chinabyte

返回首页 长微博 返回顶部