随着“西部大学校园计算机网络工程”、“211”工程建设等重大项目的实施,云南大学校园网络经历了近15年的发展,覆盖了所有的教学、科研和管理区域,网络主干形成千兆环状结构,各区域子网均以千兆接入校园网主干,在网络的性能和可靠性上都可以支撑基于校园网的数据集中存储、共享和管理的应用模式。
与此同时,基于校园网的应用系统也具有一定规模,越来越多的信息被数据化。学校信息化建设面临新的问题:数据量越来越大,数据的价值也越来越大,原来分散在各职能部门的应用系统的数据都存放于与应用系统相关的单一服务器的内置硬盘中,无法实现数据的重复利用与信息资源的共享,更不能够满足应用系统的灵活部署、快速反应、安全等方面的要求,为此需要有专业的存储系统来统一进行数据的存储整合,实现数据的共享,存储空间的高效率利用,以便于数据的统一管理,以及数据的统一备份和容灾处理。
因此,建设以数据为中心的存储系统IDC用于保护各应用系统不可再生的资源——信息将成为高校信息化建设的又一重要基础设施,它是保证IT环境的其它部分(主机,网络,应用等)正常运转的核心和关键。
根据学校发展、应用系统的需求以及计算机学科的特点,云南大学IDC的建设采用“统一规划设计、分步实施,遵循技术发展、应用为先”的思想,并且云南大学的各应用系统开发早在1997年甚至更早就已开始,而数据中心是在2005年7月才开始着手建设,因此云南大学IDC的建设规划分为两期。
第一期:建成一个整合SAN/NAS/IP存储架构的、可扩展的基础存储系统,裸机存储容量:约5TB。由于信息是动态增长的,要求一期建立的存储系统也具有一定的扩充能力。
第二期:按需求增长扩充一期的存储容量,增加必要的存储安全管理方案,建立冗余链路连接,建立数据备份和容灾管理系统,提供快速恢复和容灾机制。
数据中心整合
目前常见的存储模式有:内嵌式存储(EmbeddedStorage,ES)、直接附加存储(DirectAttachedStorage,DAS)、网络附加存储(NetworkAttachedStorage,NAS)和存储区域网络(StorageAreaNetwork,SAN)四种,外加网络附加存储网关(NASGateway)和IP网关(iSCSIGateway)两种。
基于各种技术及各自特点的考虑,云南大学IDC一期建成一个以支持多种主机、多种操作系统、兼容性好的SAN架构存储系统为核心,整合NAS网关和IP网关的多技术存储架构系统,提供核心应用服务器群对IDC的高速访问,裸机存储容量:约5TB。
图1为云南大学数据中心架构。
在SAN架构的基础之上增加支持文件共享访问和数据块级访问的NASGateway和iSCSIGateway。通过NASGateway网关整合SAN和NAS存储,可以支持Windows和UNIX客户端的CIFS、NFS文件访问,实现在整个校园网上的文件共享。
采用iSCSIGateway网关设备,提供基于IP网络的数据块级访问,使对性能要求不高的数据库应用及块设备应用可以分布在校园网的任何地方。整个系统构成一个整合SAN/NAS/IP的存储架构。
应用整合方案
这样的系统架构设计,将高造价的SAN存储方式提供给核心的数据库系统,网站站群系统,网络教学系统BlackBoard,邮件系统Email,网络办公系统OA、教务、财务、资产综合管理系统使用,同时也可以兼顾高性能计算、视频点播系统VOD、文件传输服务FTP、图书档案等异类文件共享和分布于校园网上的应用系统提供轻量级的数据块访问,满足各种不同层次的应用,又避免SAN和NAS两个核心存储平台共存带来的浪费和两个信息孤岛,实现真正意义上的信息整合。
因受经费投入限制,采用的主要存储设备如下:
光纤磁盘阵列:EMCCLARiiONCX5001台
SAN光纤交换机:EMCConnectrixDS-M2421台
NAS网关:EMCCelerraNS502G1台
IPSAN网关:EMCMP16201台
光纤磁盘阵列
采用EMCCX500,拥有系统内部全冗余并可热交换,4个前端2Gb光纤主机信道,4个后端2Gb光纤磁盘信道。现配置45X146GB硬盘,总容量为5TB,最大可支持120块光纤硬盘,2个冗余硬件阵列控制器,每个控制器中配有2个1.6Ghz主频以上处理器,支持主流的服务器操作系统,如IBMAIX,HPUNIX,SUNSolaris,Linux,Windows,4个前端2Gb光纤主机信道直接与SAN交换机连接。
SAN光纤交换机
采用EMCDS-M242,由EMCCX500与DS-M242共同构建基础的SAN存储系统,提供24个FC2端口,其中:磁盘阵列CX500使用4个端口,NASGateway使用4个端口,iSCSIGateway使用2个端口,剩余端口由站群系统、网络教学系统等使用。
NASGateway网关
采用CeleraNS502G,内置为NAS系统开发的专业操作系统DART,为多处理器结构,配置4个1.6GHzCPU,支持主流的RAID1,0/1,3,5保护技术,支持主流的网络协议,包括NFS、CIFS等,通过4个FC端口连接到SAN交换机上,8个IP网络端口通过1000MB电缆上连核心交换机Cisco6509,并将每4个端口做成1个链路聚合,提供4X1000MB链路连接,提供高性能的NAS方式。
IPGateway网关
采用MP1620,支持TCP/IP协议,主流光纤信道协议及E_Port,IP存储iSCSI、iFCP、iSNS,所有端口提供电缆速率传输,FastWrite技术提高远距离写功能,支持大型帧,支持压缩,每端口支持iSCSI设备大于等于50,端口类型SFP,1000Base-SX,1000Base-LX,1000Base-ZX,RJ45,100Base-T,IP智能端口2个,FC本地端口2个,通过2个FC端口连接到SAN交换机上,2个IP智能端口通过100MB电缆上联核心交换机Cisco6509,为分布于校园网上的应用系统通过IP网络提供轻量级的数据块级访问。
存储空间的划分情况
将每个磁盘组的第14块硬盘保留作热备盘,第0到4块硬盘和第5到13块硬盘分别划分为2个RAID5组,这样共有3块热备盘,6个RAID5组。将完成以上处理后的空间中,1.5TB划分给NAS网关,其中:900GB划分给高性能计算中心,400GB划分给数据库服务器,600GB划分给网站站群服务器,400GB划分给网络教学系统等等,目前暂时将200GB划分给iSCSI模式访问的Windows客户端,各部分空间将随需求变化再做调整。