数造新实体系列专栏 |企业级全场景分析一体化平台

为推动数字经济与实体经济深度融合,加快传统产业数字化转型升级,人民网经济民生编辑部、人民网财经研究院数字经济研究中心发起的“数造新实体——数字技术赋能实体经济(2023)”项目完成了创新应用案例征集,兴业数金六项入选,本期主要介绍企业级全场景分析一体化平台。

企业级数据仓库系统作为兴业银行数据服务的“核心系统”,自2006年建设至今,业务数据处理和存储需求已呈现爆发式增长,系统升级迫在眉睫。为建设新一代数据处理平台,助力集团数字化转型并实现全栈国产,兴业银行开展建设企业级全场景分析一体化平台:MPP基础平台,在满足提升对软硬件产品的整体自主掌控能力的同时,完成企业级数据仓库的升级。通过搭建数据平台、调度平台、管理平台、服务平台,构建一套包括数据整合加工、数据灵活查询、API服务、数据建模分析、数据资产管理等功能的综合数据服务体系,构建起连接一切数据的能力,助力最佳生态赋能银行实现。

主要特点

(一)能力融合,横向扩展

为解决原数据架构中的装不下、架构重、流动慢、管理难等问题,基于MPP大规模分布式计算架构实现数据仓库全面升级:采用双集群加备份建设方案,提升业务连续性,通过数据比对和数据同步保证重要模型及指标数据的一致性,拥有极高的横向扩展能力、内在的故障容错能力和数据高可用保障机制的体系,构建在智能数据时代能满足多样性应用、海量数据、实时处理的新一代数据处理平台。

(二)一站服务,智能运维

通过搭建管理平台打通了项目管理、开发、下发、监控各传统关系/角色之间的壁垒,实现在同一平台内从项目管理到需求到开发到上线及运维等一系列的工作流程的操作,同时还能对各流程操作进行规范性约束,在大大提高工作效率的同时降低错误概率。同时打造全流程的数据可视化关系图谱,包括表级和字段级的依赖关系及血缘关系,实时在线展现数据流转情况及批处理状态,以及各个接口预估完成时间,为数据治理及运行维护赋能。支持企业级全场景分析一体化平台的元数据采集、数据资产管理、集群软硬件健康状态实时监控等。

(三)全面开放,助力转型

为使能人人用数,降低数据使用门槛,助力银行的数字化转型,以租户方式向开放新平台的数据存储与计算能力,提供基于用户资源池的资源管理功能,可弹性供给云化计算与存储能力,实现按租户对系统资源(CPU、内存、IO、存储空间)的隔离和作业的异常处理,打造绿色、安全、智简、敏捷的数据生态。

(四)全栈安全,自主掌控

该平台实现了从包括服务器、操作系统、中间件、数据库等在内自主掌控能力全面提升,保障数据安全、网络安全和信息安全,保护银行重要数据资产。

落地应用效果

商业银行数字化转型需要基于数据的采集、传输、存储和使用,而基于企业级全场景分析一体化平台升级的数据仓库正是银行的数据处理核心系统。企业级全场景分析一体化平台搭建的数据平台与管理平台可以有效提高数据价值产能,提升数据管理效率,协助应用系统更高效的获取数据分析结果进行经营策略优化,支持科技人员开展数据模型探索,同时利用元数据进行系统管理与预测,实现业务数字化、治理数字化、数据价值化,驱动银行经营模式的优化和创新。

(一)提升数据能力,保障数字化转型

1.强化数据基础能力

为打造现代化、可拓展的数据分析平台,助力向数字化、人工智能化商业银行转型,企业级全场景分析一体化平台基于大规模分布式计算架构,构建起集批量数仓、实时数仓、IOT数仓全场景分析于一体的分析平台,核心目的之一就是实现可扩展。通过此平台的建设,兴业银行具备了PB级的数据处理能力、千级节点的横向扩展能力、内在的故障容错能力和数据高可用保障机制,不仅可以有效满足银行数字化转型带来的爆发式增长的业务数据处理与存储需求,也提升了系统的安全性能。

2.强化数据应用赋能

Gartner将数据编织(Data Fabric)列为2022年重要战略技术趋势之一,作为一种跨平台的数据整合方式,可以实现数据的灵活交付。而企业级全场景分析一体化平台通过“四大平台”建设,打造了全流程的数据可视化关系图谱,支持实时数据服务,为银行业务部门提供了更加便利的取数用数体验,总体上符合数据编织理念所倡导的发展方向。

3.强化数据治理管控

数据治理是发挥数据资产价值的前提,也是实现数据安全的基础,近年来,从国家立法到行业监管,再到企业实践,对于数据治理的要求越来越高,强化制度与技术双轮驱动,实现系统硬控制成为数据治理的重要方向。企业级全场景分析一体化平台通过构建精准数据地图,支持精准数据溯源和数据价值评估,通过多维度的数据管理,形成一套合理、高效、创新的数据管理方案,助力提升数据治理水平。

(二)治理自动化,驱动数字化转型

1.一体化平台实现多方面自动化

一体化平台在迁移数据平台的同时新增了管理平台,服务平台与调度平台,分别提供了数据资产管理、API服务、作业调度校验的功能,并实现了多方面的自动化,包括作业调度自动化、代码发布自动化、故障修复自动和服务管理自动化。

2.自动化提升系统的可拓展性

(1)支持分布式数据库集群扩充实现数据计算能力的扩展,提高服务器处理高性能计算和大量数据的能力;

(2)支持分布式数据库集群扩充实现存储能力的扩展,满足大数据量、多种数据类型的存储和管理需求;

(3)以租户的方式进行作业调度管理,从而实现调度的扩展,满足不同领域、不同场景的数据解决和计算诉求。

(三)业务数字化,加速数字化转型

通过建设企业级全场景分析一体化平台,并基于此项目完成企业级数据仓库的迁移工作后,全行各系统、分行可借助新平台开展数据模型、算法在业务领域的研究与实践、深入开展数据挖掘课题,包括但不限于客户营销、风险管控、产品创新等领域,已经成为兴业银行管理决策、业务发展的重要支撑工具。

(四)一体化平台数字化转型提高生产力

企业级全场景分析一体化平台统筹数据驱动发展与数据安全,通过搭建MPP集群增强数据处理能力,通过加强数据管理防范安全问题,通过数据开放共享机制实现资源共享,进一步提升了数据资产价值,优化了数据服务体验,为创新金融服务提供了更具时效性的数据赋能,助力实现银行经营模式与盈利模式转型、客户体验与运营效率提升,完成交易所需的时长改善,运行时长平均缩短50%以上。

商业银行在新型金融业务场景的驱动下,当前正处于加速推进数字化转型的攻坚阶段,亟需提升数据应用能力、数据治理能力、数据安全能力与数据服务能力。企业级全场景分析一体化平台实践方案通过融合以上四种能力,实现资源共享普惠,拓宽发展数据仓库弹性能力,使能人人用数,进一步降低数据使用门槛,助力了兴业银行的数字化转型,支撑实现“构建连接一切数据的能力,打造最佳生态赋能银行”,相关成果及实践积累也为同业的数字化转型提供了可供借鉴的宝贵经验。

未来发展规划

根据《金融数据仓库发展报告(白皮书)》分享,随着人工智能技术的发展与普及,数据仓库要通过融合数流和智流,从“数字基建”往“数智基建”转变。我行的数据科创平台也正在朝着这个方向探索,目前正在“智慧运维”方面融合数据分析技术与AI技术,有效提升运维人员的工作效率与用户体验。未来我们将继续跟进金融数据仓库的智能化步伐,跟踪探索数智融合、湖仓一体、存算分离、数据编织等技术与发展趋势,不断向着运营型和智慧型数据仓库迈进。