基于分布式环境的数据存储及处理系统技术方案

本发明专利技术提出了基于分布式环境的数据存储及处理系统，其包括数据库管理服务器、应用节点管理服务器、多个数据库、全量数据库以及多个应用节点，其中，所述数据库管理服务器接收来自数据源的数据，并基于所述数据的属性和数据切分表将所述数据存储到全量数据库以及多个数据库中的至少一个中，其中，所述数据切分表包含数据的属性与用于存储具有该属性的数据的目标数据库的映射关系。本发明专利技术所公开的基于分布式环境的数据存储及处理系统能够自动地进行节点故障处理以及负载均衡并且具有较高的可扩展性。

【技术实现步骤摘要】

本专利技术涉及数据存储及处理系统，更具体地，涉及基于分布式环境的数据存储及处理系统。
技术介绍
目前，随着计算机和网络应用的日益广泛以及不同领域的业务种类的日益丰富，分布式环境下的数据存储及处理变得越来越重要。在现有的技术方案中，当整个系统采用多个数据库和数据处理服务器时，为了实现高可用性(即在某一应用节点出现宕机等问题后，该应用节点的数据处理任务能够由其他应用节点接管以确保持续运转，以及在某一数据库出现宕机等问题后，能够从其他备份数据库中获取该数据库中的记录)，通常采取如下方式:使用冷备机器并以人工的方式在主备机之间切换。上述现有的技术方案存在如下问题:操作所用的时间较长，精度较低且易于出错。因此，存在如下需求:提供能够自动地进行节点故障处理以及负载均衡并且具有较高的可扩展性的基于分布式环境的数据存储及处理系统。
技术实现思路
为了解决上述现有技术方案所存在的问题，本专利技术提出了能够自动地进行节点故障处理以及负载均衡并且具有较高的可扩展性的基于分布式环境的数据存储及处理系统。本专利技术的目的是通过以下技术方案实现的: 一种基于分布式环境的数据存储及处理系统，所述基于分布式环境的数据存储及处理系统包括: 数据库管理服务器，所述数据库管理服务器接收来自数据源的数据，并基于所述数据的属性和数据切分表将所述数据存储到全量数据库以及多个数据库中的至少一个中，其中，所述数据切分表包含数据的属性与用于存储具有该属性的数据的目标数据库3的映射关系; 多个数据库，每个所述数据库存储符合由所述数据切分表所指示的映射关系的数据； 全量数据库，所述全量数据库存储来自所述数据源的所有数据； 应用节点管理服务器，所述应用节点管理服务器接收来自用户端的数据处理请求，并基于所述数据处理请求向每一个运行状态为“正常”的应用节点发送数据处理指令； 多个应用节点，每个所述应用节点在接收到所述数据处理指令后从任务切分表获取该应用节点针对该数据处理指令而需执行的任务，并随之执行所述任务，其中，所述任务切分表包含任务属性和用于执行具有该属性的任务的目标应用节点的映射关系。在上面所公开的方案中，优选地，所述数据库管理服务器能够在启动时或者在所述多个数据库中的一个数据库发生故障或者有新的数据库接入系统中时基于预定的数据切分规则及负载均衡算法自动地生成所述数据切分表，其中，所述数据切分规则用于将数据根据其属性进行分组，并基于此定义具有特定属性的数据与用于存储具有该属性的数据的目标数据库的对应关系。在上面所公开的方案中，优选地，所述应用节点管理服务器能够在启动时或者在所述多个应用节点中的一个应用节点发生故障或者有新的应用节点接入系统中时基于预定的任务切分规则及负载均衡算法自动地生成所述任务切分表，其中，所述任务切分规则用于将数据处理任务根据其属性进行分组，并基于此定义具有特定属性的任务与用于执行具有该属性的任务的目标应用节点的对应关系。在上面所公开的方案中，优选地，所述数据处理指令包含待处理的任务的属性信肩、Ο在上面所公开的方案中，优选地，所述数据库管理服务器周期性地检测每个数据库的运行状态，并且当检测到所述多个数据库中的一个或多个数据库发生故障或者检测到有新的数据库接入系统中时，所述数据库管理服务器基于所述预定的数据切分规则及负载均衡算法重新生成所述数据切分表，新生成的数据切分表不包含发生故障的数据库，并且包含新接入的数据库，随后基于新生成的数据切分表执行后续的数据存储过程。在上面所公开的方案中，优选地，所述应用节点管理服务器周期性地检测每个应用节点的运行状态，并且当检测到所述多个应用节点中的一个或多个应用节点发生故障或者检测到有新的应用节点接入系统中时，所述应用节点管理服务器基于所述预定的任务切分规则及负载均衡算法重新生成所述任务切分表，其中，新生成的任务切分表不包含发生故障的应用节点，并且包含新接入的应用节点，随后运行状态为“正常”的应用节点基于新生成的任务切分表执行后续的数据处理过程。在上面所公开的方案中，优选地，来自所述数据源的同一数据被分别存储到所述多个数据库中的两个以及所述全量数据库中。在上面所公开的方案中，优选地，所述数据库管理服务器由互为备份的两个物理主机构成。在上面所公开的方案中，优选地，所述应用节点管理服务器由互为备份的两个物理主机构成。在上面所公开的方案中，优选地，每个应用节点针对不同类型的数据处理任务运行多个进程，所述多个进程并行处理所述数据处理任务。本专利技术所公开的基于分布式环境的数据存储及处理系统具有以下优点:(1)由于能够在应用节点和/或数据库发生故障或者有新的应用节点和/或数据库接入系统中时基于预定的任务切分规则和/或数据切分规则及负载均衡算法重新生成任务切分表和/或数据切分表，故具有高度的可扩展性和高可用性和可靠性；(2)由于数据被存储到分布式的多个数据库中并且数据处理任务被多个应用节点执行，每个应用节点处理一部分数据处理任务，故整个系统具有较高的数据处理性能；(3)整个系统成本较低并且管理便捷。【附图说明】结合附图，本专利技术的技术特征以及优点将会被本领域技术人员更好地理解，其中:图1是根据本专利技术的实施例的基于分布式环境的数据存储及处理系统的示意性结构图。【具体实施方式】图1是根据本专利技术的实施例的基于分布式环境的数据存储及处理系统的示意性结构图。如图1所示，本专利技术所公开的基于分布式环境的数据存储及处理系统包括数据库管理服务器1、应用节点管理服务器2、多个数据库3、全量数据库4以及多个应用节点5。所述数据库管理服务器1接收来自数据源的数据，并基于所述数据的属性和数据切分表将所述数据存储到全量数据库4以及多个数据库3中的至少一个中，其中，所述数据切分表包含数据的属性与用于存储具有该属性的数据的目标数据库3的映射关系(即定义具有特定属性的数据由哪个或那些特定的数据库存储)。每个所述数据库3存储符合由所述数据切分表所指示的映射关系的数据。所述全量数据库4存储来自所述数据源的所有数据。所述应用节点管理服务器2接收来自用户端的数据处理请求，并基于所述数据处理请求向每一个运行状态为“正常”的应用节点5发送数据处理指令。每个所述应用节点5在接收到所述数据处理指令后从任务切分表获取该应用节点针对该数据处理指令而需执行的任务，并随之执行所述任务，其中，所述任务切分表包含任务属性和用于执行具有该属性的任务的目标应用节点5的映射关系(即定义具有特定属性的任务由哪个或那些特定的应用节点执行)。优选地，在本专利技术所公开的基于分布式环境的数据存储及处理系统中，所述数据库管理服务器1能够在启动时或者在所述多个数据库3中的一个数据库3发生故障或者有新的数据库3接入系统中时基于预定的数据切分规则(其由系统开发人员根据实际需求确定)及负载均衡算法自动地生成所述数据切分表，其中，所述数据切分规则用于将数据根据其属性进行分组(例如，在金融领域中，可以将交易数据按用户ID、商户代码、机构代码、交易地区等属性进行分组)，并基于此定义具有特定属性的数据与用于存储具有该属性的数据的目标数据库3的对应关系。优选地，在本专利技术所公开的基于分布式环境的数据存储及处理系统中，所述应用节点管理服务器2能够在启动时或者在所述多个应用节点5中的一个应用节点5发本文档来自技高网...

【技术保护点】
一种基于分布式环境的数据存储及处理系统，所述基于分布式环境的数据存储及处理系统包括：数据库管理服务器，所述数据库管理服务器接收来自数据源的数据，并基于所述数据的属性和数据切分表将所述数据存储到全量数据库以及多个数据库中的至少一个中，其中，所述数据切分表包含数据的属性与用于存储具有该属性的数据的目标数据库3的映射关系；多个数据库，每个所述数据库存储符合由所述数据切分表所指示的映射关系的数据；全量数据库，所述全量数据库存储来自所述数据源的所有数据；应用节点管理服务器，所述应用节点管理服务器接收来自用户端的数据处理请求，并基于所述数据处理请求向每一个运行状态为“正常”的应用节点发送数据处理指令；多个应用节点，每个所述应用节点在接收到所述数据处理指令后从任务切分表获取该应用节点针对该数据处理指令而需执行的任务，并随之执行所述任务，其中，所述任务切分表包含任务属性和用于执行具有该属性的任务的目标应用节点的映射关系。

【技术特征摘要】

【专利技术属性】
技术研发人员：戚跃民，吴金坛，冯哲，陈逢源，王文柏，张工厂，
申请(专利权)人：中国银联股份有限公司，
类型：发明
国别省市：上海;31