论坛 产品库 视频 专题 CIO俱乐部 Windows8 实验室 CMO俱乐部 案例

云媒资存储服务平台 应对新媒体海量数据的法宝

发布时间:2015-05-08 09:00:00 来源:比特网 作者:王艺璇
关键字:HDS 存储

  “媒体数字资料”可以说是“互联网+”时代的重要资料,如果不能对数据进行有效管理,云存储下数据的风险将会加大,现代社会,媒体资料不进包含了文字资料更多的是视讯资料,利用这写影音数据,随着信息化进程的加速,公共决策逐渐基于数据和分析做出。

  随着云计算技术的飞速发展,云存储逐步兴起并成为一种趋势。云计算强大的计算与存储能力不仅有助于媒体提升数据存储效率,打破数据壁垒,实现数据资源的集聚、融合与共享,也有助于政府挖掘数据,实现社会的高效管理和数据开放。

  新媒体业务快速成长后的弊病

  新华通讯社,简称“新华社”,是中华人民共和国的国家通讯社。可以说新华社在新媒体数据信息建设上是全国媒体效仿的典型用户。其音像资料库系统始建于2003年,目前库中已有音像资料70000小时,其中总社60000小时,条目数近90万条,各分社总计10000小时。随着各地进一步开展视频与新媒体业务,资料量还将进行进一步增长。但由于系统服务能力不足,还有大量的音像资料并未入库管理。然而现有系统核心设备均已老化,故障率逐年提高,同时因为时间跨度大,部分核心硬件和软件的厂商已停止服务。系统已到了一个需要全面更新、提升的阶段。

  另一方面,受制于系统处理能力,目前音像资料库仅面向音视频部、新华08视频终端、国际部、对外部等部门提供服务。从2009年至今,累积资料出库已达19万条,共计13000小时。现阶段资料库系统一直处于超负荷运行状态,为保证业务对资料获取的时效性要求,只能强行通过管理手段限制资料的出库量,这在一定程度上也影响了节目制作。在阵地前移的战略部署下,有大量的社内用户希望开放音像资料库的使用,如亚太、拉美、欧洲总分社已提出使用需求,在国内,一些新媒体业务开展比较好的省份也已提出使用要求,但受限于系统运行压力和设计架构,现有资料库系统无法对总社之外的用户开放,难以满足业务对资源的使用需求。

  新华社亟需能够将音像资料库建成全社性、基础性、公共性的统一音像资料资产管理与服务平台,实现日均120小时各类视频资料加工处理及入出库,满足未来3-5年电视业务视频资料使用需求,并能初步解决分社音像资料的归档需求,实现全社视频资料的统一管理及共享。

  打破传统的云存储方案

  新华社技术局音像资料部云媒资项目组组长焦璐介绍:“根据新华社的具体情况和实际需求,我们完全需要一套打破传统模式的新解决方案去解决新媒体业务面临的问题。“

  而HDS结合自身在媒体行业解决方案的优势,有针对性地提出了基于对象存储技术的云媒资管理平台的方案。该方案分别建设“在线”和“归档”两套存储系统。其中,在线存储系统用于存放热点视频、关键帧图片、低码流视频等需要快速浏览的文件,可供新华社内网数百用户并发进行视频浏览、编辑使用。归档存储则以“私有云”方式建设,用于代替磁带库存放需要长期归档保存的视频文件,可供新华社内外网用户直接访问,消除等待磁带出库的时间。

  焦璐表示:“借助HNAS及HCP云存储解决方案,新华社将成为国内第一个改用磁盘介质保存流媒体资产数据的宣传机构。HCP解决方案的对象存储技术及客户化元数据功能,将为流媒体文件提供独立于数据库和应用系统的自我描述能力。同时,HCP提供的HTTP标准访问协议,既能消除磁带出库的访问等待时间,也能够直接为外网用户提供服务,能够大幅提高流媒体文件的读写响应速度。系统建设完毕后,HNAS及HCP云存储将成为新华社电视业务最核心的数据承载平台。”

  方案优势:

  HDS面向媒体行业优化的解决方案利用先进的对象存储技术和客户化元数据管理功能,实现视频文件的自我描述和自我管理,使其从数据库中脱离出来,成为独立的、可查询、可访问的媒体资产数据。通过这种方法,新华社将能彻底避免曾经发生过的数据库系统失效而导致磁带数据无法读取的情况再次发生。该解决方案主要具有以下五个方面的特点:

  第一, 媒资数据“彻底数字化”,永远在线:HCP存储系统采用磁盘介质保存数据,具有极高的系统可靠性。一方面底层采用成熟的RAID数据防范磁盘故障导致的数据丢失,另一方面HCP冗余保护机制也可以避免因部分网关节点故障导致的业务停机,从而保证媒资数据的永远在线。

  第二, 历史资料“应用无关”:HCP云存储系统采用先进的对象存储技术设计,并提供客户化元数据管理功能。这就意味着,HCP可以自行对文件对象的内容进行描述,无需依赖任何数据库和应用系统。因此,HDS建议在替换原系统的同时,利用HCP提供的API接口,为写入到HCP中的文件对象额外添加一份元数据,实现元数据双保险的效果。

  第三, 归档数据“立等可取”:HCP云存储系统采用的是标准的网络共享协议,包括S3、HTTP、CIFS、NFS等,因此HCP完全可以作为在线存储系统使用,其数据可以直接对外提供服务,无需进行数据出库操作。

  第四, 视频文件“外网可达”:HCP云存储系统的S3、HTTP协议可以支持路由,因此部署在总社的HCP云存储可以被内外网用户实时共享访问。经实测,HCP的HTTP协议可以穿透防火墙和网闸等安全隔离设备,从而实现视频文件的外网可达。

  第五, 分社数据“自动上收”:HDS建议为新华社各分社配置HDI-VM软件,与部署在总社的HCP云存储平台配合,实现分社数据的自动上收。


比特微信账号
比特微信账号

微信扫一扫
关注Chinabyte

返回首页 长微博 返回顶部