分布式数据处理方法、装置、计算机设备及存储介质制造方法及图纸

本申请提供一种分布式数据处理方法、装置、计算机设备及存储介质，涉及数据处理技术领域。该方法包括：接收多条记账请求，每条记账请求包括：记账参数和数据分片标识；根据数据分片标识，对多条记账请求进行分组，得到记账请求组，每个记账请求组的数据分片标识相同；根据每个记账请求组中的数据分片标识和各个服务器上数据分片的标识，在数据分片标识对应的服务器中确定记账请求组的目标数据分片；针对每个记账请求组在对应的目标数据分片中执行记账指令，记账指令用于指示目标数据分片根据每个记账请求组中记账请求的记账参数，执行对应的记账操作。本申请可以降低数据分片执行记账事务的次数，提高对记账请求进行处理的速度和性能。度和性能。度和性能。

【技术实现步骤摘要】
分布式数据处理方法、装置、计算机设备及存储介质


[0001]本专利技术涉及数据处理
，具体而言，涉及一种分布式数据处理方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着金融企业的业务量逐渐增大，为了保证服务质量，金融企业逐步开发了分布式单元化多地多活式的数据处理系统。
[0003]分布式单元化多地多活式的数据处理系统涉及在不同区域分布的应用服务节点和数据服务器，且数据服务器也由多个数据分片构成。
[0004]为了提高记账效率，每个应用服务节点每次会接收到多笔记账请求，当多笔记账请求涉及不同数据分片时，针对每个数据分片可能均要执行多次记账事务，导致对记账请求进行处理的速度和性能较差。

技术实现思路

[0005]本专利技术的目的在于，针对上述现有技术中的不足，提供一种分布式数据处理方法、装置、计算机设备及存储介质，以便降低数据分片执行记账事务的次数，提高对记账请求进行处理的速度和性能。
[0006]为实现上述目的，本申请实施例采用的技术方案如下：
[0007]第一方面，本申请实施例提供了一种分布式数据处理方法，应用于本地服务节点，所述方法包括：
[0008]接收多条记账请求，每条记账请求中包括：记账参数和数据分片标识；
[0009]根据所述数据分片标识，对所述多条记账请求进行分组，得到至少一个记账请求组，使得每个记账请求组中的数据分片标识相同；
[0010]根据所述每个记账请求组中的数据分片标识和各个服务器上数据分片的标识，在所述数据分片标识对应的服务器中确定所述每个记账请求组对应的目标数据分片；
[0011]针对所述目标数据分片属于同一服务器的记账请求组，调用对应的服务器，在对应的服务器中针对所述每个记账请求组在对应的目标数据分片中执行记账指令，所述记账指令用于指示所述目标数据分片根据所述每个记账请求组中记账请求的记账参数，执行对应的记账操作。
[0012]可选的，若所述至少一个记账请求组为所述数据分片标识属于本地服务器中同一目标数据分片的一个记账请求组，所述调用对应的服务器，在对应的服务器中针对所述每个记账请求组在对应的目标数据分片中执行记账指令，包括：
[0013]调用所述本地服务器，针对所述一个记账请求组在所述本地服务器对应的一个目标数据分片中执行一条本地记账指令。
[0014]可选的，若所述至少一个记账请求组为所述数据分片标识属于本地服务器中多个目标数据分片的多个记账请求组，所述调用对应的服务器，在对应的服务器中针对所述每
个记账请求组在对应的目标数据分片中执行记账指令，包括：
[0015]调用所述本地服务器，针对所述多个记账请求组在所述本地服务器对应的多个目标数据分片中执行多条本地记账指令，所述本地记账指令用于指示所述目标数据分片根据对应的记账请求组中记账请求的记账参数，执行所述记账操作的第一阶段操作；
[0016]接收所述多个目标数据分片的第一阶段操作的操作结果；
[0017]根据所述第一阶段操作的操作结果，分别在所述多个目标数据分片中执行多条第二阶段操作执行指令，所述第二阶段操作执行指令用于指示所述目标数据分片对所述记账请求组中的记账请求执行第二阶段操作。
[0018]可选的，若所述至少一个记账请求组中至少一个第一记账请求组对应的服务器为本地服务器，至少一个第二记账请求组对应的服务器为异地服务器，所述调用对应的服务器，在对应的服务器中针对所述每个记账请求组在对应的目标数据分片中执行记账指令，包括：
[0019]调用所述本地服务器，针对所述至少一个第一记账请求组在所述本地服务器对应的至少一个目标数据分片中执行至少一条本地记账指令，所述本地记账指令用于指示所述本地服务器对应的目标数据分片根据对应的记账请求组中记账请求的记账参数，执行所述记账操作的第一阶段操作；
[0020]调用所述异地服务器，针对所述至少一个第二记账请求组在所述异地服务器对应的至少一个目标数据分片中执行至少一条远程记账指令，所述远程记账指令用于指示所述异地服务器对应的目标数据分片根据对应的记账请求组中记账请求的记账参数，执行所述记账操作的第一阶段操作；
[0021]接收多个目标数据分片的第一阶段操作的操作结果；
[0022]根据所述第一阶段操作的操作结果，分别在所述本地服务器和所述异地服务器的多个目标数据分片中执行多条第二阶段操作执行指令，所述第二阶段操作执行指令用于指示所述目标数据分片对所述记账请求组中的记账请求执行第二阶段操作。
[0023]可选的，所述记账参数包括：记账账户和待记账数据，若所述第一阶段操作的操作结果为所有目标数据分片中所述记账账户的资源数据满足所述待记账数据，所述第二阶段操作执行指令用于指示所述目标数据分片根据所述记账账户的资源数据和所述待记账数据，修改所述记账账户的资源数据；
[0024]若所述第一阶段操作的操作结果为存在一个目标数据分片中所述记账账户的资源数据不满足所述待记账数据，所述第二阶段操作执行指令用于指示所述目标数据分片不修改所述记账账户的资源数据。
[0025]可选的，所述接收多个目标数据分片的第一阶段操作的操作结果之前，所述方法还包括：
[0026]若所述本地服务器的目标数据分片或所述异地服务器的目标数据分片执行所述第一阶段操作中断，或执行所述第一阶段操作的执行时间大于预设时间，分别向所述本地服务器和所述异地服务器发送回滚指令，所述回滚指令用于指示所述本地服务器的目标数据分片和所述异地服务器的目标数据分片取消已执行的记账请求组的操作数据。
[0027]可选的，所述方法还包括：
[0028]若检测到任一目标数据分片执行所述第二阶段操作的执行时间大于预设时间，向
所述任一目标数据分片发送操作重执行指令，以使得所述任一目标数据分片重新执行所述第二阶段操作。
[0029]第二方面，本申请实施例还提供一种分布式数据处理装置，应用于本地服务节点，所述装置包括：
[0030]记账请求接收模块，用于接收多条记账请求，每条记账请求中包括：记账参数和数据分片标识；
[0031]记账请求分组模块，用于根据所述数据分片标识，对所述多条记账请求进行分组，得到至少一个记账请求组，使得每个记账请求组中的数据分片标识相同；
[0032]数据分片确定模块，用于根据所述每个记账请求组中的数据分片标识和各个服务器上数据分片的标识，在所述数据分片标识对应的服务器中确定所述每个记账请求组对应的目标数据分片；
[0033]记账指令执行模块，用于针对所述目标数据分片属于同一服务器的记账请求组，调用对应的服务器，在对应的服务器中针对所述每个记账请求组在对应的目标数据分片中执行记账指令，所述记账指令用于指示所述目标数据分片根据所述每个记账请求组中记账请求的记账参数，执行对应的记账操作。
[0034]可选的，若所述至少一个记账请求组为所述数据分片标识属于本地服务器中同一目标数据分片的一个记账请求组，所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式数据处理方法，其特征在于，应用于本地服务节点，所述方法包括：接收多条记账请求，每条记账请求中包括：记账参数和数据分片标识；根据所述数据分片标识，对所述多条记账请求进行分组，得到至少一个记账请求组，使得每个记账请求组中的数据分片标识相同；根据所述每个记账请求组中的数据分片标识和各个服务器上数据分片的标识，在所述数据分片标识对应的服务器中确定所述每个记账请求组对应的目标数据分片；针对所述目标数据分片属于同一服务器的记账请求组，调用对应的服务器，在对应的服务器中针对所述每个记账请求组在对应的目标数据分片中执行记账指令，所述记账指令用于指示所述目标数据分片根据所述每个记账请求组中记账请求的记账参数，执行对应的记账操作。2.如权利要求1所述的方法，其特征在于，若所述至少一个记账请求组为所述数据分片标识属于本地服务器中同一目标数据分片的一个记账请求组，所述调用对应的服务器，在对应的服务器中针对所述每个记账请求组在对应的目标数据分片中执行记账指令，包括：调用所述本地服务器，针对所述一个记账请求组在所述本地服务器对应的一个目标数据分片中执行一条本地记账指令。3.如权利要求1所述的方法，其特征在于，若所述至少一个记账请求组为所述数据分片标识属于本地服务器中多个目标数据分片的多个记账请求组，所述调用对应的服务器，在对应的服务器中针对所述每个记账请求组在对应的目标数据分片中执行记账指令，包括：调用所述本地服务器，针对所述多个记账请求组在所述本地服务器对应的多个目标数据分片中执行多条本地记账指令，所述本地记账指令用于指示所述目标数据分片根据对应的记账请求组中记账请求的记账参数，执行所述记账操作的第一阶段操作；接收所述多个目标数据分片的第一阶段操作的操作结果；根据所述第一阶段操作的操作结果，分别在所述多个目标数据分片中执行多条第二阶段操作执行指令，所述第二阶段操作执行指令用于指示所述目标数据分片对所述记账请求组中的记账请求执行第二阶段操作。4.如权利要求1所述的方法，其特征在于，若所述至少一个记账请求组中至少一个第一记账请求组对应的服务器为本地服务器，至少一个第二记账请求组对应的服务器为异地服务器，所述调用对应的服务器，在对应的服务器中针对所述每个记账请求组在对应的目标数据分片中执行记账指令，包括：调用所述本地服务器，针对所述至少一个第一记账请求组在所述本地服务器对应的至少一个目标数据分片中执行至少一条本地记账指令，所述本地记账指令用于指示所述本地服务器对应的目标数据分片根据对应的记账请求组中记账请求的记账参数，执行所述记账操作的第一阶段操作；调用所述异地服务器，针对所述至少一个第二记账请求组在所述异地服务器对应的至少一个目标数据分片中执行至少一条远程记账指令，所述远程记账指令用于指示所述异地服务器对应的目标数据分片根据对应的记账请求组中记账请求的记账参数，执行所述记账操作的第一阶段操作；接收多个目标数据分片的第一阶段操作的操作结果；根...

【专利技术属性】
技术研发人员：华煜，
申请(专利权)人：中电金信软件上海有限公司，
类型：发明
国别省市：