星空综合体育app下载 技术应用｜基于分布式数据库的信贷管理系统改造

金融科技创新始终是商业银行实现自我革新的有力支撑，是推动其向高质量发展迈进的核心动力。特别是云计算、大数据、人工智能以及隐私计算等前沿技术的日益完善，使得越来越多的创新案例在众多商业银行中得以成功实施并取得成效。中国人民银行颁布了一系列关于金融科技发展的规划，强调银行需从战略高度出发，强化顶层架构的构建，密切关注金融科技的发展动向，并全面进行统筹规划、完善体制机制、加强人才队伍建设等方面的工作。

在此情形下，江西农信自2018年起吹响了向数字化转型进军的号角。经过将近四年的数字化体系建设，已初步构建起以数字风险控制为核心理念的新一代信贷业务系统集群，并对传统信贷业务流程体系进行了全面重构，实现了对贷款客户整个生命周期的精细化管理。随着江西农信在科技引领的攻坚战中不断深入，其数字化体系建设的工作已经进入了更为深层次的发展阶段。

在新的发展形势下，新一代信贷业务系统群扮演着关键角色。江西农信在确保业务迅猛增长的同时，适当地引入了新技术于业务系统之中。该行舍弃了传统的IOE架构，致力于实现软硬件的自主掌控，以此攻克了长期困扰的“卡脖子”技术难题。在此基础上，江西农信成功打造了独具特色的“百福云平台”，并对信贷管理系统实施了上云技术的升级改造。

经过行业外专家与内部技术精英的反复研讨，我们最终确立了信贷系统向云端迁移的“三阶段”战略规划，在这一规划中，关键的一步是采用自主开发的分布式数据库AnalyticDB（简称ADB）和OceanBase（简称OB）来替换现有的传统关系型数据库DB2。

应用场景

报表查询子系统是信贷管理系统的关键组成部分星空·综合体育官网入口，为全省三万名客户经理提供了报表查询及导出的服务。然而，随着信贷业务数据的持续增多，系统的查询和导数效率显著降低，尤其在处理大量并发慢查询交易时，甚至可能引发应用崩溃，这对客户经理的日常工作造成了严重影响。2023年，全省农村商业银行的贷款总额已经突破8000亿元大关，未偿还的贷款笔数达到了700万笔，而在单个数据库表中，存储的数据量更是超过了4000万条。不仅如此，贷款数据的数量每年还在以100万条的速率持续增长，导致应用数据库的数据存储容量已经急剧扩张至2T。

为了解决这一难题，江西农信计划将现有的传统关系型数据库DB2替换为ADB。依托蚂蚁集团所提供的金融级别云原生架构的中间件（Scalable Open Financial Architecture Stack，简称SOFAStack™），我们成功搭建了信贷管理系统上云的技术架构，其中涉及的关键技术元素有Sofaboot开发框架，ECS与应用服务器，Nginx，SLB流量负载均衡器，以及ADB数据库等。为确保系统迁移至云端期间业务运营的稳定性，并消除“一刀切”做法可能引发的技术隐患，我们决定实施系统“双活”运行模式，这包括对流量多路径路由策略的升级。

创新点

江西农信紧随大数据分析技术的潮流，积极投身于分布式数据库技术的应用研究，同时针对自身业务发展过程中遇到的难点问题，研发出具有江西农信特色的技术解决方案。这一举措显著改善了客户经理的工作体验，并为全省农商行的信贷业务迅猛发展提供了有力保障。

技术具备自主掌控能力。ECS、SLB、ADB等均为阿里巴巴集团自主研制的云服务组件，享有完整的知识产权，已在金融行业中成功应用，并积累了丰富的技术实施案例。这些产品的发展不受国外信息技术企业技术限制的影响，既保障了安全性，又能在新业务功能需求上迅速作出反应。自主可控化不仅是技术发展的一个方向，而且正日益成为趋势，它能持续满足监管机构对金融机构信用体系建设的各项需求。

高HTAP技术。混合事务分析处理（Hybrid Transaction Analytical Processing，简称HTAP）这一概念，由知名信息技术咨询与分析机构Gartner于2014年首次提出，它定义了一种新型的数据库系统，这种系统特别强调其同时具备在线事务处理（OLTP）和在线分析处理（OLAP）的能力。传统的数据库系统主要支持在线事务处理（OLTP），且数据通常通过离线导入、ETL（数据转换、加载、提取）或DTS（数据传输服务）等手段，在存在一定时间滞后后同步至在线分析处理（OLAP）系统。依据阿里云官方网站发布的技术文档，ADB自6.0版本起对在线事务处理（OLTP）进行了全面的性能升级，引入了多主架构。这种架构在针对OLTP场景横向扩展能力的TPC-B和TPC-C测试中，均展现了出色的性能表现。

信贷统计查询系统在云上升级时，采用了两套系统并行运行的方式，即双活模式，确保新旧业务能够同时进行，以此显著减少因系统切换引起的业务中断，同时确保关键业务的安全与稳定。此外，系统采用了ADB的双副本架构，确保只要有一个副本集的计算节点处于可用状态，就能保证实例能够正常提供服务。在公共云应用中，ADB依托云存储平台实施了数据三副本策略，确保每份数据被复制并分散存储三次，以此增强数据的安全性，防止数据丢失。至于混合云环境，ADB则是通过物理服务器上的磁盘构建RAID阵列来实现数据的冗余，以此达到与公共云场景类似的数据保护效果。

二级法人机构特有的数据管理策略，旨在实现报表系统数据库的更新换代。为此，必须克服DB2与ADB之间实时数据同步的难题，而DTS技术恰好具备处理异构数据源同步的能力。此外，DTS还支持异构数据源的全量迁移和增量迁移，确保业务运营受到的最小影响，从而实现了业务向云端平稳过渡。

鉴于数据存储的巨大规模，结合江西省农村信用社的具体情况，对全省86家法人行业务数据实施了分库管理。具体分为南昌、九江、赣州、新余、吉安等六个物理数据库。源数据库与各地区分库之间建立了数据同步通道，数据根据法人机构编号进行路由分配，单表数据量从千万级别压缩至十万级别或百万级别。各个数据库之间的同步通道各自独立运作，具备断点续传功能，能够进行时延监控和任务状态监控告警，同时配置十分灵活，有力地确保了业务流程的持续性和运维工作的效率（详见图示）。

图  源数据库与地区分库建立数据同步链路

技术实现特点

ADB系统是以开源项目Greenplum为基础构建的，经过阿里云的深度优化，其兼容ANSI SQL 2003标准，并与PostgreSQL/Oracle数据库生态系统相契合。它不仅支持行存储和列存储两种模式，还能提供卓越的离线数据处理能力，同时满足高并发在线分析查询的需求，成为具备竞争力的PB级实时数据仓库解决方案。

该产品具备高可靠性。具体而言，实例节点的高可靠性进一步凸显了产品的优势，在集群中，每个节点都采用了主备高可用架构进行设计，同时确保了主备之间的数据高度一致性。Master节点负责对各个服务节点的状态进行实时监控，每隔10秒钟进行一次Agent的探测。一旦出现异常情况，Master节点的高可用性（HA）功能能够在30秒内迅速切换，将从节点（Slave）提升为主节点，并重新构建从节点。同时，Segment节点的状态监控也由Master节点负责，同样每10秒钟进行一次，若Segment节点出现异常，Master节点将在30秒内切换到其备用节点（mirror）。

弹性计算能力卓越，ADB不仅支持横向扩展，还能实现纵向伸缩配置，旨在满足各种场景下对扩展性与弹性的多样化需求。

对计算节点的CPU与内存等资源进行垂直升降调整。此操作不涉及数据迁移，支持每分钟级别的升降配，有效应对业务高峰期。此外，垂直升降配可与弹性节点调度功能相结合星空·体育中国官方网，从而最大化地利用算力资源，并提升查询效率。

水平扩展主要采取两种途径，即原地扩充与迁移扩充。在原地扩充中，我们是在现有实例的基础上增添计算节点。这种扩充方式运用一致性哈希算法来调整数据位置，使得在扩充过程中所需迁移的数据量相对较少，从而加速了扩充的进程。通过创建新的实例并迁移原有数据至其中，实现了扩展容量，相较于直接在原地进行扩容，这种方法虽然成本较高，却提供了更大的灵活性，支持跨region和跨可用区的容量扩展。

兼容性极高。该系统兼容ANSI SQL2003标准，并在一定程度上支持Oracle的语法，同时还能处理PL/SQL存储过程。配备的新一代SQL优化器能够自动优化复杂语句，助力企业实现从集中式向分布式、低成本架构的平滑过渡，最大程度地保障客户的既有投资；此外，系统还提供了多样化的数据迁移工具和一键式数据迁移方案，确保业务在迁移过程中能够持续运行，实现无缝切换。此外，我们推崇并扶持国内自主研发的硬件与软件产品，包括海光、海思、飞腾等品牌芯片，以及中标麒麟、银河麒麟等国产操作系统。

该架构具备卓越性能，采用MPP水平扩展技术，能够实现PB级数据查询并迅速响应，仅需一秒钟。系统内置了阿里巴巴自主研发的“双引擎”，包括向量执行引擎和存储引擎星空综合体育app下载，具备向量化计算和智能列存储索引功能，相较于传统数据库引擎，在性能上有了显著提升。

成本较低，依托于分布式架构及通用服务器平台，不依赖于特定的硬件配置。它兼容行式和列式存储方式，并能适配非易失性存储、固态硬盘以及机械硬盘等多种存储介质。此外，单个节点能够支持高达10TB的存储容量。在此基础上，ADB拓展了存储压缩技术、支持OSS的表面存储功能、统一的存储格式以及存储层次化等功能，旨在满足用户多样化的应用场景需求，并全面降低客户的运营成本。

价值与成效

江西农信利用ADB卓越的计算实力，成功克服了DB2在多表关联操作中的性能瓶颈，大幅提高了报表文件的下载效率。此外，他们采纳了当前流行的前后端分离技术，摒弃了老旧的IOE架构，实现了前后台服务的有效解耦，从而对系统的后续迭代开发和服务发布的影响降至最低。

展望

信贷系统上云改造项目的第一阶段和第二阶段目标已顺利达成，并达到了预期效果。接下来，我们将集中精力研究信贷交易数据库的更新方案。这一方案对交易性能、响应速度以及事务一致性等方面提出了更为严格的要求。经过广泛的技术研究和多次测试，我们计划重点考虑使用分布式数据库产品OceanBase。

（此文刊发于《金融电子化》2024年5月上半月刊）