一种数据库横向扩展系统及方法技术方案

一种数据库横向扩展系统及方法，包含交易处理装置、数据访问路由装置、数据存储装置、数据方位扩展装置和交易访问装置；交易处理装置用于获得路由信息，根据路由信息于数据存储装置中完成交易数据读写，在交易完成后将交易结果返回给调用方；数据访问路由装置用于管理和推送路由策略，提供交易处理装置查询路由策略的数据接口，将路由信息推送至交易处理装置；数据存储装置用于存储及备份交易数据以及管理数据库并提供访问接口；数据方位扩展装置用于监控数据存储装置的性能容量并处理存储设备申请和数据迁移，以及通知数据访问装置进行路由策略信息更新；交易访问装置用于监控交易处理装置的状态信息，将客户请求分发至可用的交易处理装置。

【技术实现步骤摘要】

本专利技术涉及数据库
，特别是涉及系统在性能容量瓶颈场景下提供不停机高可用的数据库横向扩展系统及方法。
技术介绍
随着企业业务的增长和信息化建设，系统数据呈爆发式增长，特别是对客的OLTP系统交易压力日渐增大，数据库的负载也越来越高，应用数据库面临着容量能力提升的问题和挑战。传统的垂直扩展(提升硬件设备处理能力)的解决方案存在投入昂贵、无法弹性扩展的局限。通常，为了提升系统应对大业务量、业务发展，尤其是高并发下交易处理能力，各行业的系统设计时大多考虑了分布式数据库的技术，采用分库、分表的策略，将数据从单节点数据库分为多个数据库节点。针对数据库从单一节点分拆为多节点，衍生出数据路由、水平拆分等需求，通常需要在停机后完成大规模的数据迁移，而在目前的7*24小时高并发的对客交易系统中，停机维护的代价变的越来越大，数据迁移的复杂度越来越高，迁移耗时越来越长。为了实现无缝的持续服务，需要进一步采用数据库快速横向扩展系统和方法，在某个集群数据库性能遇到瓶颈、运行缓慢，或为预期的大并发进行准备时，实现不停机的数据库横向快速扩展，同时，因为集群环境复杂，需要有对应的机制来保证整个集群的多活高可用。
技术实现思路
本专利技术目的在于提供了一种数据库快速横向扩展提升系统性能容量的系统及方法，在需要进行数据库水平拆分时，通过本专利技术涉及的系统和方法，通过监控数据库运行状态，动态扩展数据库，并对路由策略进行实时调整，系统按路由规则对访问进行调整，确保不停机，实时调整数据库，实现对客服务“无缝”衔接，同时，多个数据库节点以并行及互备的方式提供服务，可发挥交易分流、负载均衡的作用，并减少灾难与故障对业务的影响，保证集群多活高可用。为达上述目的，本专利技术所提供的数据库横向扩展系统具体包含交易处理装置、数据访问路由装置、数据存储装置、数据方位扩展装置和交易访问装置；所述交易处理装置用于通过缓存路由策略获得路由信息，根据所述路由信息于所述数据存储装置中完成交易数据读写，在交易完成后将交易结果返回给调用方；所述数据访问路由装置与所述交易处理装置相连，用于管理和推送路由策略，提供所述交易处理装置查询路由策略的数据接口，以及将路由信息推送至所述交易处理装置；所述数据存储装置分别与所述交易处理装置和所述数据访问路由装置相连，用于存储及备份所述交易数据以及管理数据库并提供访问接口；所述数据方位扩展装置分别与所述数据访问路由装置和所述数据存储装置相连，用于监控所述数据存储装置的性能容量并处理所述数据存储装置的存储设备申请和数据迁移，以及通知所述数据访问装置进行路由策略信息更新；所述交易访问装置与所述交易处理装置相连，用于监控所述交易处理装置的状态信息，并根据所述状态信息将客户请求分发至可用的交易处理装置。在上述数据库横向扩展系统中，优选的，所述交易处理装置包含复数个交易处理模块，所述交易处理模块包含参数更新单元、交易处理单元、路由策略缓存单元和交易转发单元；所述参数更新单元用于周期访问所述数据访问路由装置获取路由策略；所述交易处理单元用于处理交易数据并与合作方、主机以及数据库通信交互；所述路由策略缓存单元用于缓存所述路由策略；所述交易转发单元用于根据交易访问装置的控制指令，将接受到的交易请求转发至其他交易处理模块。在上述数据库横向扩展系统中，优选的，所述数据访问路由装置包含路由更新单元、路由读取单元和路由推送单元；所述路由更新单元用于根据外部指令更新所述数据访问路由装置的路由策略信息；所述路由读取单元用于提供路由策略访问接口；所述路由推送单元用于在路由策略信息发生变化时，将当前的路由策略信息推送至交易处理装置。在上述数据库横向扩展系统中，优选的，所述路由策略包含：机构识别号、分组识别号、路由种类、路由关键字、路由表达式、路由说明、数据库连接池引用ID、路由名称和路由状态。在上述数据库横向扩展系统中，优选的，所述数据存储装置包含监控采集单元、数据访问单元和存储新增单元；所述监控采集单元用于采集数据存储装置中所有存储设备的性能监控指标数据；所述数据访问单元用于管理采集数据存储装置中所有存储设备的数据库连接池并提供数据访问接口；所述存储新增单元用于将新增的存储设备添加入所述数据存储装置，并交由数据访问单元提供数据访问接口。在上述数据库横向扩展系统中，优选的，所述数据访问装置包含：动态监测单元、数据库申请单元、路由策略通知单元和数据迁移单元；所述动态监测单元用于周期监测所述性能指标数据，将所述指标数据与预定阈值进行比较并输出比较结果；所述数据库申请单元用于根据所述比较结果向数据库服务器云获取全新的数据库，并将其提供给数据存储装置；所述路由策略通知单元用于通知所述数据访问路由装置更新路由策略；所述数据迁移单元用于对数据库的数据进行数据迁移。在上述数据库横向扩展系统中，优选的，所述交易访问装置包含心跳监测单元和交易分发单元；所述心跳监测单元用于周期监测所述交易处理模块的运行状态；所述交易分发单元用于将接收到的交易请求分发至交易处理装置中的各个交易处理模块进行处理。本专利技术还提供一种数据库横向扩展方法，所述方法包含：监控交易处理装置的状态信息，并根据所述状态信息将客户请求分发至可用的交易处理装置；所述交易处理装置根据所述客户请求获取路由策略，缓存所述路由策略获得路由信息，根据所述路由信息于所述数据存储装置中完成交易数据读写，在交易完成后将交易结果返回给调用方；通过数据访问路由装置管理和推送数据存储装置中存储的路由策略，提供所述交易处理装置查询路由策略的数据接口，以及将路由信息推送至所述交易处理装置；所述数据存储装置存储及备份所述交易数据以及管理数据库并提供访问接口；数据方位扩展装置监控所述数据存储装置的性能容量并处理所述数据存储装置的存储设备申请和数据迁移，以及通知所述数据访问装置进行路由策略信息更新。在上述数据库横向扩展方法中，优选的，所述数据方位扩展装置监控所述数据存储装置的性能容量并处理所述数据存储装置的存储设备申请还包含：采集所述数据存储装置的性能监控指标数据并保存；监测所述性能监控指标数据，将所述指标数据与预定阈值进行比较并输出比较结果；根据所述比较结果向数据库服务器云获取全新的数据库，并补入至数据存储装置；所述数据存储装置获得所述数据库的连接池，并根据所述连接池提供所述数据库的数据访问接口。在上述数据库横向扩展方法中，优选的，所述数据存储装置存储及备份所述交易数据以及管理数据库并提供访问接口还包含：当所述数据存储装置补入新的数据库时，更新所述路由策略。本专利技术提供的数据库横向扩展的系统和方法，减少了数据库横向扩展所需的服务停机、数据迁移、数据清理、网络调整等工作，主要具有如下效果与优点：(一)支持数据库快速横向扩展数据库横向扩展需进行大量的准备工作，本方法可不停机自动对生产数据库进行快速横向扩展，并支持按不同类型(如客户地区、合作方代码等)对交易进行路由，同时，装置无单点，多个交易集群间互不影响，降低集群故障时对业务的影响。(二)集群高可用，支持集群及数据库快速切换，处理效率高通过本专利技术的交易分发、交易路由、数据同步、数据扩展等方法，可以通过调整交易分发、交易路由，将交易分发到无故障的服务节点，大大提高了处理效率，可以确保业务在故障或灾难发生后在本文档来自技高网...

【技术保护点】
一种数据库横向扩展系统，其特征在于，所述系统包含交易处理装置、数据访问路由装置、数据存储装置、数据方位扩展装置和交易访问装置；所述交易处理装置用于通过缓存路由策略获得路由信息，根据所述路由信息于所述数据存储装置中完成交易数据读写，在交易完成后将交易结果返回给调用方；所述数据访问路由装置与所述交易处理装置相连，用于管理和推送路由策略，提供所述交易处理装置查询路由策略的数据接口，以及将路由信息推送至所述交易处理装置；所述数据存储装置分别与所述交易处理装置和所述数据访问路由装置相连，用于存储及备份所述交易数据以及管理数据库并提供访问接口；所述数据方位扩展装置分别与所述数据访问路由装置和所述数据存储装置相连，用于监控所述数据存储装置的性能容量并处理所述数据存储装置的存储设备申请和数据迁移，以及通知所述数据访问装置进行路由策略信息更新；所述交易访问装置与所述交易处理装置相连，用于监控所述交易处理装置的状态信息，并根据所述状态信息将客户请求分发至可用的交易处理装置。

【技术特征摘要】
1.一种数据库横向扩展系统，其特征在于，所述系统包含交易处理装置、数据访问路由装置、数据存储装置、数据方位扩展装置和交易访问装置；所述交易处理装置用于通过缓存路由策略获得路由信息，根据所述路由信息于所述数据存储装置中完成交易数据读写，在交易完成后将交易结果返回给调用方；所述数据访问路由装置与所述交易处理装置相连，用于管理和推送路由策略，提供所述交易处理装置查询路由策略的数据接口，以及将路由信息推送至所述交易处理装置；所述数据存储装置分别与所述交易处理装置和所述数据访问路由装置相连，用于存储及备份所述交易数据以及管理数据库并提供访问接口；所述数据方位扩展装置分别与所述数据访问路由装置和所述数据存储装置相连，用于监控所述数据存储装置的性能容量并处理所述数据存储装置的存储设备申请和数据迁移，以及通知所述数据访问装置进行路由策略信息更新；所述交易访问装置与所述交易处理装置相连，用于监控所述交易处理装置的状态信息，并根据所述状态信息将客户请求分发至可用的交易处理装置。2.根据权利要求1所述的数据库横向扩展系统，其特征在于，所述交易处理装置包含复数个交易处理模块，所述交易处理模块包含参数更新单元、交易处理单元、路由策略缓存单元和交易转发单元；所述参数更新单元用于周期访问所述数据访问路由装置获取路由策略；所述交易处理单元用于处理交易数据并与合作方、主机以及数据库通信交互；所述路由策略缓存单元用于缓存所述路由策略；所述交易转发单元用于根据交易访问装置的控制指令，将接受到的交易请求转发至其他交易处理模块。3.根据权利要求1所述的数据库横向扩展系统，其特征在于，所述数据访问路由装置包含路由更新单元、路由读取单元和路由推送单元；所述路由更新单元用于根据外部指令更新所述数据访问路由装置的路由策略信息；所述路由读取单元用于提供路由策略访问接口；所述路由推送单元用于在路由策略信息发生变化时，将当前的路由策略信息推送至交易处理装置。4.根据权利要求3所述的数据库横向扩展系统，其特征在于，所述路由策略包含：机构识别号、分组识别号、路由种类、路由关键字、路由表达式、路由说明、数据库连接池引用ID、路由名称和路由状态。5.根据权利要求1所述的数据库横向扩展系统，其特征在于，所述数据存储装置包含监控采集单元、数据访问单元和存储新增单元；所述监控采集单元用于采集数据存储装置中所有存储设备的性能监控指标数据；所述数据访问单元用于管理采集数据存储装置中所有存储设备的数据库连接池...

【专利技术属性】
技术研发人员：袁桂飞，杨洋，郑龙，单海原，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11