农行试点x86服务器解决大数据多重挑战

金融数据中心一直以小型机为主。这是因为金融业务主要以可靠性和稳定性为导向。但随着大数据和分布式架构的普及，x86服务器正以与小型机相当的性能逐渐占领小型机的市场空间。 信息时代，数据对银行未来发展影响深远，谁掌握了数据，谁就拥有话语权。数据的价值来源于对海量客户交易数据、客户行为数据等的深入挖掘和分析，以实现精准定位和营销，然后根据不同的客户和市场需求设计不同的金融产品，提高金融产品的价值。银行的盈利能力。这种基于大数据的金融业务创新如今已经成为商业银行竞争的焦点之一。 中国农业银行是中国四大国有银行之一。据不完全统计，其应用系统每年产生的结构化数据已超过100TB，非结构化数据已突破1PB（1024TB）大关。这也促使农业银行积极引领行业大数据实践。 数据快速增长给IT架构带来严峻挑战 过去，农业银行业务系统操作平台多为小型机，小型机单机扩展能力有限。原有的架构越来越无法支持快速增长的业务应用的计算资源需求。 厂家来源单一也导致小型机的采购和维护成本较高。尤其是Unix小型机软件封闭，购买操作系统、虚拟化、数据库等软件的成本比x86架构高出几十倍，性价比较低。 因此，近年来在互联网行业广泛应用并持续创造价值的Hadoop大数据解决方案引起了农业银行的关注。 Hadoop框架的一个显着特点是，以前需要高性能小型机的计算任务被分解为由多台x86服务器（甚至PC）组成的计算集群。 2012年7月，农业银行正式推出Hadoop大数据解决方案，受到业界广泛关注。该方案首先用于支持历史交易数据的查询和分析，利用业界流行的Hadoop分布式计算框架处理海量的结构化和非结构化数据。 经过认真评估和论证，农行IT技术团队认为，x86服务器组成的计算集群在计算性能上可以满足Hadoop大数据解决方案的要求，但在经济性上比小型机更有优势。 与华为合作试点分布式计算架构，顺应U2L趋势 为了验证这一可行性，2012年下半年，农业银行IT技术团队与华为服务器研发团队成立了联合工作组。根据双方达成的合作协议，华为将提供x86服务器组成计算集群，农行将在华为计算平台上运行Hadoop相关软件并进行相关业务测试。农业银行与华为均希望通过试点“x86服务器”分布式并行计算架构，共同应对金融大数据业务带来的挑战。 首先，农行希望x86服务器在计算性能上具备“秒级响应”能力。目前，中国农业银行在全国设有23,400多家分支机构，服务超过4.2亿客户。各营业网点、自助终端设备、网上银行等对数据中心的访问高并发。对于历史交易数据的查询和分析，为了保证客户满意度和银行工作效率，农业银行要求大数据处理平台能够在秒级内响应交易明细的随机查询。 “这意味着，在1秒内，大数据处理平台必须将120TB的5年历史交易数据，也就是约650亿条历史交易记录，反馈给用户。”中国农业银行专家这样告诉华为。 其次，农行希望x86服务器具有良好的经济效益。在应用x86服务器之前，农业银行大多使用小型机来进行历史交易数据的查询和分析服务。为了满足业务需求，小型机首先需要存储120TB至少5年的历史数据。同时，每天新增交易记录超过4000万条，需要约100G的存储空间。然而小型机相对封闭的硬件架构设计极大地限制了其扩展性，使得每次扩展的成本都非常高。此外，小型机的非通用架构设计也给农业银行带来了高昂的维护成本。 “我们之所以选择x86服务器，一方面是因为近年来x86服务器的技术性能有了很大的提升；另一方面，采用通用架构的x86服务器采购成本、扩容成本更低，维护成本比小型机的优势也很明显。”中国农业银行专家指出。 x86服务器，金融大数据的选择 华为在深入分析农行对大数据处理平台的需求后，为农行提供了基于华为RH2288 V2服务器的分布式并行计算集群进行测试。测试结果表明，华为的解决方案完全满足中国农业银行海量数据分布式处理的要求。 x86服务器的分布式架构使得服务器节点可以按需灵活扩展和配置，以支持快速增长的业务和数据量，从而满足当前和未来的业务发展需求，充分保护农业银行的初期和长期投资。 x86服务器不仅在计算性能方面能够满足Hadoop大数据解决方案的要求，而且在成本方面也比小型机更具吸引力。与小型机方案相比，使用华为RH2288 V2可节省40%的运维成本，节省20%以上的总拥有成本（TCO）。