中国数据中心发展蓝皮书(2020)
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人

金融行业数据中心建设发展现状及趋势

李崇辉

目前,在云计算和大数据、分布式架构转型等技术的促进下,金融行业数据中心建设迎来了一个新的建设高潮,金融行业的总部级数据中心建设规模越来越大,数据中心用电报装容量从几千kVA发展到几万kVA、十几万kVA。金融行业机房必须具备向用户提供能适应“突发性”的、大“数据吞吐量”需求的、高“数据传输率”的、安全和保密的365天×24小时的连续工作能力。显而易见,稳定、可靠、安全是金融行业数据中心机房保障各种设备连续、正常、高效运行的重要前提,也是金融行业数据中心机房的一个显著特点。传统金融行业数据中心在规划设计时大多只注重安全性、可靠性,而对数据中心的能耗、环保及效率认识不足,或者没有把数据中心的节能、降耗和运营成本等进行综合考虑。为贯彻中共中央 国务院《关于加快推进生态文明建设的意见》《关于推动高质量发展的意见》的总体部署,克服传统数据中心建设周期长、能效不高、架构复杂、灵活性和扩展性有限等种种弊端,合理利用新技术,构建高可靠性、可灵活扩展、高效的金融行业数据中心是目前行业普遍关注的问题。

一、金融行业数据中心建设发展现状

金融行业主要包括银行业、保险业、证券/基金行业等,其数据中心机房分类情况一般如表1所示。

表1 数据中心机房分类情况

(一)银行业机房现状

1.大型商业银行

第一类包括总行级的多地多中心机房。以自建独立综合性园区为主,数量在3个以上,机房建筑面积多为几千至几万平方米不等,机房内有大量不同类型计算机设备及网络设备。机房建设一般满足《数据中心设计规范》(GB 50174)中的A级机房标准。

第二类包括一级分行机房、涉及实时对外服务的总行级业务类处理中心、境外机构区域中心等。以自建为主,主要与办公大楼合建,占用2~3层,机房内除了网络设备,还有部分服务器、存储等设备,机房规模和等级低于总行级机房但高于二级分行和支行,自建机房建筑面积一般为200~2 000平方米不等,机房数量一般有几十个,机房标准一般满足《数据中心设计规范》(GB 50174)中的A/B级机房标准。

第三类包括一级分行同城机房、二级分行机房、涉及实时对外服务的一级分行级业务类处理中心、大型境外机构(境外分行)机房等。由于大多商业银行总行已实现对部分业务和系统设备上收,上收后的二级分行机房主要包括2~3个行内网络设备机柜、2~5个运营商接入设备机柜(每家二级分行都不同),共4~8个机柜。机房建筑面积为几十至几百平方米,数量为几百个。机房建设一般满足《数据中心设计规范》(GB 50174)中的B/C级机房标准。

第四类机房包括营业网点、金融便利店、离行式自助银行等节点间或设备间。一般标准的营业网点节点间主要包括路由器、交换机、光端机和配线架等设备,此类设备通常占用1~2个机柜。机房建筑面积为几至几十平方米不等,数量为几千到几万个。

2.股份制银行

第一类包括总行级多地多中心机房,以自建为主,机房内有大量不同类型计算机设备及大型网络设备,机房建筑面积多为3 000平方米以上,机房建设一般满足《数据中心设计规范》(GB 50174)中的A级机房标准。

第二类包括一级分行机房,涉及实时对外服务的总行级业务类处理中心、海外分行等。这类机房以自建或租赁运营商或第三方机房模块为主,机房内除网络设备外还有部分服务器、存储设备等,一般自建机房规模和等级低于总行级机房但高于二级分行和支行,机房建筑面积为150~400平方米,机房数量为三四十个,机房建设一般满足《数据中心设计规范》(GB 50174)中的B级机房标准。

第三类为二级分行和中心城市支行或直接称为支行机房,主要由办公室装修改造完成。二级分行或支行为所在省内一级分行下辖管理的分行式分支机构。由于部分股份制银行总行对部分业务和系统设备上收,上收后的二级分行机房设备主要包括2~3个行内网络设备机柜、2~5个运营商接入设备机柜(每家二级分行都不同),总共4~8个机柜。有些中心城市支行一般无下设同城营业网点,且各类业务一般通过通信网络直接连接分行或总行,因此机房内设备较少。这类自建的机房的建筑面积一般在25平方米以上,机房建设一般满足《数据中心设计规范》(GB 50174)中的B/C级机房标准。

第四类为支行营业网点、金融便利店、离行式自助银行等节点间或设备间。一般标准的营业网点节点间主要包括路由器、交换机、光端机和配线架等,此类设备通常占用1~2个机柜;一般都是自建的,机房建筑面积为几平方米至20平方米,数量为几百到上千个。

3.城商行/农商行/农信社

第一类包括总行级多地多中心机房,其中,农商行和农信社因非跨区域经营,总行级别机房仅建设同城两中心,未建设异地灾备中心。机房目前以自建为主,机房内有大量计算机、存储及网络设备,机房建筑面积多为1 000平方米以上,机房建设一般满足《数据中心设计规范》(GB 50174)中的A级机房标准。

第二类包括一级分行机房,机房内除网络设备外,还有部分服务器、存储设备等,以自建为主,自建机房建筑面积为100~200平方米,机房建设一般满足《数据中心设计规范》(GB 50174)中的B级机房标准。

第三类包括城商行的支行、农商行/农信社的二级分行、同城及异地支行机房。城商行支行为所在省内一级分行下辖管理的分行式分支机构。机房内除网络设备外还有部分服务器、存储等设备,农商行/农信社的同城和异地支行机房内只配置网络设备。机房建筑面积为30~50平方米,机房建设一般满足《数据中心设计规范》(GB 50174)中的B/C级机房标准。

第四类为营业网点机房。城商行/农商行/农信社营业网点设置的机房,主要用于安装网络设备,机房规模和等级满足网点营业需要即可。机房建筑面积为几平方米至20平方米。

(二)保险业和证券/基金业机房现状

1.保险业

第一类为总公司数据中心,包括生产数据中心、同城灾备中心和异地灾备中心,小型保险机构一般无灾备中心。总公司数据中心用于支撑全公司业务生产、测试开发与办公,主要设备包括网络设备、服务器、存储、安全设备等。以自建为主,机房建筑面积多为几百至几万平方米,机房建设参考《数据中心设计规范》(GB 50174)中的A级机房标准。

第二类为分公司机房,用于支撑分公司业务与办公,安装网络设备、电话交换机、视频监控设备、服务器等。机房建筑面积多为20~100平方米,机房建设参考《数据中心设计规范》(GB 50174)中的B/C级机房标准。

第三类为中心支公司机房,用于支撑中心支公司业务与办公,安装网络设备、服务器等。机房建筑面积多为15~30平方米,机房建设参考《数据中心设计规范》(GB 50174)中的C级机房标准。

第四类为营销服务部配线间,用于支撑营销服务部业务与办公,安装网络设备,满足办公区消防要求。机房建筑面积一般小于10平方米。

2.证券/基金业

第一类为总部级多地多中心机房。总部数据中心用于支撑全公司业务生产、测试开发与办公,主要设备包括网络设备、服务器、存储、安全设备等。机房建筑面积多为500平方米以上,机房建设参考《数据中心设计规范》(GB 50174)中的A级机房标准。

第二类为A型营业部机房。机房内主要为网络设备,有少量服务器设备,面积一般不小于20平方米,会有独立于大楼照明用电的市电接入,配备的UPS一般采用双路供电方式。在市电中断情况下,应保证机房设备和不低于25%的现场交易设施在交易时间内持续供电,满足证券营业部客户证券交易需要。后备电源采用柴油发电机方式,或采用UPS配备长延时电池的方式,提供应急用电。

第三类为B型营业部机房。机房内主要为网络设备,有少量服务器设备,面积一般不小于12平方米,至少配置一路UPS供电和一路市电供电,UPS电源单独使用能满足机房设备和不低于25%的现场交易设施在交易时间内持续供电,满足证券营业部客户证券交易需要。

二、传统金融业数据中心及基础设施建设情况

(一)总部级一类数据中心建设现状

传统金融业各类数据中心机房建筑设计相差不大,基本要求满足(GB 50174)《数据中心设计规范》中A级机房的标准,由于7×24小时不间断可靠性运行的要求,各类数据中心机房主要在基础设施建设方面存在较大差异。下面主要以供电系统、制冷系统设计方案说明现状。

当代数据中心对供配电系统的连续性提出了非常高的要求,供电设备经过多年发展,在其性能指标已完全满足IT网络设备要求的情况下,真正能为用户带来价值的是其可用性。

金融业一类数据中心机房对供电系统最重要的要求是该系统必须连续运行。2N或2(N+1)的供电系统开始在传统金融业、大型数据中心中得到了普遍应用,通常也被称为双总线或双母线供电系统。严格的故障容错能力使数据中心具有维持有计划运行维护的能力,并且在无计划故障或运行错误时,不会发生机房运行过程中断的现象。

总部级一类数据中心机房的供电系统一般采取如下配置。

(1)交流输入配置了两种不同类型的电源——引自不同变电所的两路市电电源和备用柴油发电机,在两路市电电源故障时,柴油发电机有10~15秒的启动时间,转换开关也有百毫秒级的转换时间;在柴油发电机投入使用前,在后级UPS支撑下,不会对关键负载设备产生影响。

(2)UPS系统是完全独立的双总线系统,蓄电池满载后备时间一般不低于10分钟,两个系统中的所有设备包括输入转换开关都是相互隔离和冗余的。

(3)UPS输出配电也是冗余的,通过两条相互隔离和冗余的线路向双输入负载供电。

(4)机房照明、安全、空调制冷及其他设备的供电也实现了冗余容错功能。

总部级一类数据中心的供电系统架构如图1所示。

总部级一类数据中心的制冷系统经历了一个发展过程。

早期以中国工商银行西三旗数据中心、中国银行黑山扈数据中心、恒丰银行烟台数据中心,以及中信证券、民族证券机房等为代表的风冷直膨系统为主。2010年之后,一类数据中心制冷系统大多使用水冷系统,包括水冷冷水机组和风冷冷水机组。如广发银行南海信息中心机房、工商银行外高桥数据中心、农业银行稻香湖数据中心、建设银行武汉南湖数据中心、中国平安保险深圳观澜数据中心等,全部使用水冷冷水机组加末端下送风空调系统;建设银行稻香湖数据中心、工商银行嘉定数据中心、中信银行马坡数据中心等,全部或部分使用风冷冷水机组加末端下送风空调系统。

制冷系统一般冷水机组按照“N+X”(1或2)配置,末端空调按照2N冗余配置或“N+X”冗余配置,当然也有完全按照2N冗余配置的,如建设银行稻香湖数据中心、招商银行深圳平湖数据中心等。

总部级一类数据中心的供电系统构架等如图1所示。

图1 总部级一类数据中心的供电系统架构

(二)分行或分公司二类数据中心建设情况

传统金融业二类数据中心一般满足《数据中心设计规范》(GB 50174)中B级机房的要求。高低压供电系统一般为2N冗余配置,由引自不同变电所的两路市电电源或同一变电站不同变压器“引入两路市电+备用柴油发电机”。UPS供电系统一般为2N冗余配置,蓄电池满载后备时间一般不低于30分钟,UPS输出配电也是冗余的,通过两条相互隔离和冗余的线路向双输入负载供电。

传统金融业二类数据中心普遍使用的供电系统架构如图2所示。

二类数据中心使用的制冷系统大多数为风冷直膨系统,采用“N+1”或“1+1”冗余配置。个别使用水冷空调(如工商银行广东分行)、双循环氟泵空调(如工商银行内蒙古分行)、双冷源空调。

(三)三类机房或支行营业网点机房建设情况

传统金融业分行三类机房或营业部、支行营业网点机房一般满足《数据中心设计规范》(GB 50174)中C级机房的要求。高低压供电系统一般为“一路市电电源+备用柴油发电机”,大型商业银行机房一般配备备用柴油发电机,股份制银行支行网点大多共用或租赁移动发电车作为备用电源;大型银行二级分行机房UPS供电系统一般采用“N+1”并机或“1+1”冗余配置,其他股份制银行支行网点大多配置1台UPS,满载后备时间一般不低于2小时,通过冗余的输出开关、线路向双输入负载供电。

图2 传统金融业二类数据中心普遍使用的供电系统架构

三类机房或支行营业网点机房大多配置分体空调、1台小型精密空调,有的甚至可以不配置空调。

三、传统金融业数据中心建设存在的问题和面临的挑战

大型商业银行数据中心一般有以下几个特点:业务系统集中程度越来越高,基础架构规模庞大;外部监管、业务发展对生产系统稳定性与高可用性要求越来越高;全生命周期管理需求越来越强烈;前期的基础设施投入无法放弃,需要妥善整合。

基于上述因素,虽然我国大型商业银行数据中心发展势头良好,但由于发展速度过快,在数据中心建设管理方面也面临着以下几个问题和挑战。

(一)不断增加的成本压力

建造一个数据中心的基础环境往往需要规划10年或更久,尤其是对大型的商业银行来说,一方面,机房空间、电力及其他基础设施无法满足业务快速发展的需要,决策者们仍然面临着预算增速和业务支撑容量增速不匹配的情况;另一方面,数据中心集中了整个银行的所有数据,是高风险部门,如何确保基础设施安全稳定地运行,保证业务的连续性,商业银行仍在探索之中,如现阶段的“两地三中心”建设模式就是银行业探索出的保证业务连续性和数据高可靠性的一个方法,但其需要巨额投入和大量的技术支持。

(二)业务发展的不可预测性

虽然目前国家已出台《商业银行数据中心监管指引》,对商业银行数据中心的基础设施搭建要求及监管做出了大方向上的指导,但随着行业的快速发展,业务随着市场变化会出现规模、容量及IT的依赖关系的不确定性,大型商业银行就业务发展有着自己的理解,根据自己的战略规划和实际应用水平来摸索适合自己的基础设施管理和发展模式。虽然类似“因材施教”,但相信若是有相关的权威指导建议,可以避免错误的规划导致的额外投入,也可以促进后进银行的发展,使其在基础设施建设和管理上少走弯路。

(三)过度规划和能耗过高的问题

现在的数据中心供电系统规划实施多采用“一次到位”的方式,导致过度规划和设备利用率低下,在运行4~5年后负载量才逐渐增加到设计容量的80%左右,而供电设备的实际负载量只达到设计容量的30%左右。

伴随着数据中心建设的快速发展,数据中心能耗问题日益突出。一个大规模的数据中心3年的电能费用,大约相当于该数据中心的建设费用,由此可见,数据中心耗电量之大。另外,金融行业数据中心由于对可靠性要求比较高,基础设施普遍采用冗余配置,造成电能利用效率(PUE)较其他行业偏高的问题,节能任务较重。大集中、应用上收使得总行级数据中心规模越来越大,设备存储空间增加、计算能力增强,使得数据中心用电量和用电密度也有所增加。

(四)运行维护管理难度加大

随着服务器等设备的规模越来越大,机房空间、电力消耗规划及管理难度越来越大。传统的、手工方式的环境部署效率较低,难以满足业务服务对环境部署的时效性要求,特别是对于研发测试环境,环境变化频繁、全职环境维护人员少,此种矛盾更为突出。据某商业银行的数据,仅测试环境,每年新搭建环境及较大的环境调整近1 000次。应用系统在业务高峰期或版本测试的性能测试阶段,需要更多的系统资源支持,期望基础设施能够提供弹性的、动态的、自动化的供应手段。

四、金融行业数据中心建设及发展趋势

针对上述普遍存在的问题,随着分布式架构得到越来越多的应用,分行应用上收使得总行级数据中心规模越来越大,总行级数据中心维护的服务器数量与应用节点的数量急剧增加,而分行机房规模进一步缩小;中小型机房老化现象比较普遍,按照机房“新建—扩容—改造—再新建”约10~15年生命周期规律,一级、二级分行有50%以上的机房运行已超过10年,未来分行机房将进入相对集中的改造期;银行的容灾体系逐步从“主备模式”向“双活、多活模式”转化,“两地三中心”建设模式在不同程度上会出现新的变化。这些变化会让金融行业数据中心的建设随之变化。

(一)总部级数据中心机房建设发展趋势

金融行业总部级数据中心机房建筑设计变化不大,但建设规模越来越大,配套基础设施要求自主可控和绿色节能,将出现以下趋势和特点。

(1)金融行业总部级数据中心规模越来越大。分布式架构得到越来越多的应用,维护的服务器数量与应用节点的数量急剧增加,5万机架规模的数据中心随之出现,如中国工商银行、中国银行目前已规划建设超大规模云数据中心园区。

(2)模块化建设、分批启用。为了克服传统数据中心建设周期长、能效不高、架构复杂、灵活性和扩展性有限等种种弊端,模块化设计已成为建设数据中心的“几乎默认的方法”。

大型数据中心空间布局应按照模块化设计,模块化设计包括园区(园区总电力、经济用地、市政配套)、建筑单体(IT模块数量、配电、制冷)、IT模块和机柜几个维度,同时,数据中心各功能系统也采用模块化设计,在建造时可分模块、分楼层、分期建设。大型机房各个机房区域启用的时间要进行统筹考虑,按照需求分步投资建设和分步投入使用,有利于降低初期投资和减少资源浪费。同时,应充分考虑机房空间、动力、空调等因素的互相制约,避免出现有空间无空调、有空调无电力等状况。

(3)良好的灵活性与可扩展性。能够根据业务不断深入发展的需要满足机房区间模块分阶段的扩张需求,同时在模块扩展时,不影响已投入运行的机房模块的运行,在机房模块分阶段扩展时,相应的配套设施也可以同步扩展。

(4)更加绿色节能的基础设施产品或方案。选择优化的电气系统,双总线或双母线供电系统仍然是主要的供电模式,引自不同变电所的两路市电电源和备用柴油发电机作为电力供应的主要方式,采用组合电力模组设计可灵活扩充。制冷系统应优先采用高效率的水冷式空调系统、并使用变频的设备,随需应变,在场地条件有限和楼层较底低时,可考虑使用间接蒸发冷却技术。采用冷热通道隔离、辅助制冷系统、集中加湿、新风处理等技术,提高电源使用效率。

采用高效率和自主可控的UPS产品,如模块化UPS有着在线扩容、提供冗余、可在线维修维护等优势。目前,塔式(传统)UPS效率低下,对于大型数据中心,一般初期IT设备用电量都比较小,模块化UPS尤其适合前期无法准确规划业务需求的情况,可以按照IT设备需求变化逐步购置模块进行在线扩容,充分降低初期投资和提高UPS运行效率,实现节能目标。

(二)分行及分公司数据中心机房建设发展趋势

金融行业中各分行、分公司数据中心机房高低压供电系统一般仍为2N冗余配置,由引自不同变电所的两路市电电源或同一变电站不同变压器引入“两路市电+备用柴油发电机”,UPS供电系统一般仍为2N冗余配置。分行、分公司数据中心机房供电系统架构如图3所示。

规模较大的分行或分公司采用模块化机房设计(每个模块用电量都为15~40kW)已成为主流模式;制冷系统使用下送风空调或列间空调;可选用塔式、机架式和模块化UPS;消防系统采用无管网气体灭火系统。

较小的分行机房选用微模块机房(6~10kW)机房设计;使用行级空调或机架式空调(7.5~12.5kW,分别占用8U、10U);不间断公司系统采用机架式UPS、分布式锂电池;微模块中消防系统可选用机架式消防模块。微模块机房一般以单排为主,如图4所示。

图3 分行、分公司数据中心机房供电系统架构

图4 微模块机房

(三)营业部或支行营业网点机房建设发展趋势

金融行业营业部或支行营业网点主要布置网络设备和监控设备,数量较少,UPS一般满载后备时间较长,除使用本身楼层市电外,大多共用或租赁移动发电车作为备用电源;UPS供电系统一般采用“1+1”冗余配置,节点间大多无人值守,需要进行定期巡检,市电停电后主要依靠UPS配置的长延时蓄电池和应急发电机供电。

这种机房或设备间一般使用一体化机柜,规格为19英寸42U,可单柜或并柜使用;单柜用电量为3~10kW,采用机架式配电模块,C级防雷;机柜中配置机架式UPS,有后备电池续航;采用机架式制冷模块,冷热通道隔离设计;内置机架式消防模块;一体化机柜内设置温湿度、烟感等环境监控点,能被远程监控。

(作者单位:中国计算机用户协会数据中心分会)