事务处理方法、系统、装置、电子设备及存储介质制造方法及图纸

本申请实施例公开了一种事务处理方法、系统、装置、电子设备及存储介质，涉及云技术及大数据技术领域。本申请实施例中，接收事务处理指令后，生成事务处理指令的执行计划，进而将执行计划分成至少两个任务分片，将每个任务分片发送至分段服务器执行，这样，由至少两个分段服务器并行执行上述执行计划的任务分片，由此可以提升事务处理的执行效率。此外，每个任务分片在被第一分段服务器执行且第一分段服务器的状态参数满足预设条件时，任务分片被重新分配至第二分段服务器执行，这样，通过上述重分配机制，保障了在服务器出现异常的情况下，仍可正常执行任务分片，提升了事务处理的容错能力。容错能力。容错能力。

【技术实现步骤摘要】
事务处理方法、系统、装置、电子设备及存储介质


[0001]本申请涉及云技术及大数据
，尤其涉及一种事务处理方法、系统、装置、电子设备及存储介质。

技术介绍

[0002]在互联网技术中，众多应用系统在运行过程中会产生大量数据，其中，应用系统例如电商平台系统、媒体平台系统、游戏平台系统等等；由此导致应用系统的数据库中存储的数据量非常可观。
[0003]对于上述数据库，通常涉及多种事务处理，例如，在数据库操作过程中，通常涉及针对数据或数据表的增加、删除、修改、查询等事务处理，以及针对多个数据表的连接、聚合等事务处理；因此，针对海量数据，如何准确、高效的处理事务已成为巨大的挑战。

技术实现思路

[0004]本申请实施例提供了一种事务处理方法，以解决相关技术中，事务处理效率低的技术问题。
[0005]相应的，本申请实施例还提供了一种事务处理系统、一种事务处理装置、一种电子设备以及一种存储介质，用以保证上述方法的实现及应用。
[0006]一方面，本申请实施例提供一种事务处理方法，该方法包括：接收事务处理指令，生成事务处理指令的执行计划；将执行计划分成至少两个任务分片，将每个任务分片发送至分段服务器执行，分段服务器至少包括第一分段服务器和第二分段服务器；其中，每个任务分片在被第一分段服务器执行且第一分段服务器的状态参数满足预设条件时，任务分片被重新分配至第二分段服务器执行。
[0007]另一方面，本申请实施例提供一种事务处理方法，该方法包括：接收任务分片；其中，任务分片为对执行计划进行划分得到分片；执行计划为响应于接收到的事务处理指令而生成的执行计划；对任务分片进行任务处理；其中，每个任务分片分别被至少一个分段服务器执行，分段服务器至少包括第一分段服务器和第二分段服务器；在第一分段服务器执行任务分片过程中，若第一分段服务器的状态参数满足预设条件，则第一分段服务器执行的任务分片被重新分配至第二分段服务器执行。
[0008]另一方面，本申请实施例提供了一种事务处理系统，该系统包括：协调服务器，用于接收事务处理指令，生成事务处理指令的执行计划；将执行计划分成至少两个任务分片，将每个任务分片发送至分段服务器执行；分段服务器，用于接收任务分片；对任务分片进行任务处理；
其中，分段服务器至少包括第一分段服务器和第二分段服务器；每个任务分片分别被至少一个分段服务器执行；且分段服务器中的第一分段服务器的状态参数满足预设条件时，第一分段服务器所执行的任务分片被重新分配至第二分段服务器执行。
[0009]另一方面，本申请实施例提供了一种事务处理装置，该装置包括：指令接收模块，用接收事务处理指令，生成事务处理指令的执行计划；分片发送模块，用于将执行计划分成至少两个任务分片，将每个任务分片发送至分段服务器执行；其中，分段服务器至少包括第一分段服务器和第二分段服务器；每个任务分片在被第一分段服务器执行且第一分段服务器的状态参数满足预设条件时，任务分片被重新分配至第二分段服务器执行。
[0010]可选的，分片发送模块将每个任务分片发送至分段服务器时，用于根据执行任务分片所需的处理资源参数及分段服务器的空闲资源参数，将任务分片分配至对应的分段服务器进行执行；将任务分片平均分配给至少两个分段服务器执行；随机将任务分片分配给至少两个分段服务器执行。
[0011]可选的，装置还包括标识模块，用于为执行计划创建第一事务标识，以及指示分段服务器为所执行的任务分片创建第二事务标识；第二事务标识为分段服务器的本地事务标识；创建第一事务标识第一事务标识与第二事务标识之间的映射关系。
[0012]可选的，装置还包括收集模块，用于在将每个任务分片发送至分段服务器之后，获取分段服务器返回的结果反馈信息，其中，结果反馈信息包括任务分片的分片执行结果，或者，确认完成信息和任务分片的分片执行结果；根据每个任务分片的分片执行结果，确定执行计划的事务处理结果。
[0013]可选的，装置还包括合并模块，用于在获取分段服务器返回的结果反馈信息之前，将结果查询指令与任务执行的确认指令进行合并处理，得到结果反馈指令；其中，结果查询指令为协调服务器对任务分片的多个中间处理结果分别进行查询中，最后一次查询对应的查询指令；确认指令用于向分段服务器确认任务分片是否执行完成。
[0014]可选的，装置还包括创建模块，用于在接收事务处理指令之前，在协调服务器所属的数据库中创建至少一项以下数据表：本地堆表，行存储表，列存储表；其中，本地堆表的存储方式包括面向行存储；行存储表和列存储表均支持数据追加操作。
[0015]另一方面，本申请实施例提供了一种事务处理装置，该装置包括：分片接收模块，用于接收任务分片；其中，任务分片为对执行计划进行划分得到分片；执行计划为响应于接收到的事务处理指令而生成的执行计划；任务处理模块，用于对任务分片进行任务处理；其中，每个任务分片分别被至少一个分段服务器执行，分段服务器至少包括第一
分段服务器和第二分段服务器；在第一分段服务器执行任务分片过程中，若第一分段服务器的状态参数满足预设条件，则第一分段服务器执行的任务分片被重新分配至第二分段服务器执行。
[0016]可选的，任务处理模块对任务分片进行任务处理时用于：获取任务分片的任务数据；根据分段服务器的上下文参数、状态参数，对任务数据进行任务处理，得到分片执行结果；上下文参数包括环境变量、配置信息中的至少一项；状态参数包括执行进程状态、执行位置、程序堆栈信息中的至少一项。
[0017]可选的，任务处理模块获取任务分片的任务数据时用于：接收移动服务器发送的任务数据；其中，任务数据通过移动服务器自第三分段服务器获取，任务数据包括第三分段服务器的原始任务数据或第三分段服务器对原始任务数据进行处理得到的处理结果数据。
[0018]可选的，装置还包括反馈模块，用于接收结果反馈指令；其中，结果反馈指令由结果查询指令与确认指令进行合并得到；结果查询指令为协调服务器对任务分片的多个中间处理结果分别进行查询中，最后一次查询对应的查询指令；确认指令用于向分段服务器确认任务分片是否执行完成；向协调服务器反馈分片执行结果及确认完成信息。
[0019]另一方面，本申请实施例提供了一种电子设备，包括处理器和存储器，该处理器和存储器相互连接；上述存储器用于存储计算机程序；上述处理器被配置用于在调用上述计算机程序时，执行本申请实施例提供的事务处理方法。
[0020]另一方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行以实现本申请实施例提供的事务处理方法。
[0021]另一方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序，上述计算机程序被处理器执行时实现本申请实施例提供的事务处理方法。
[0022]本申请实施例中，接收事务处理指令后，生成事务处理指令的执行计划，进而将执行计划分成至少两个任务分片，将每个任务分片发送至分段服务器执行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种事务处理方法，应用于协调服务器，其特征在于，所述方法包括：接收事务处理指令，生成所述事务处理指令的执行计划；将所述执行计划分成至少两个任务分片，将每个所述任务分片发送至分段服务器执行，所述分段服务器至少包括第一分段服务器和第二分段服务器；其中，所述每个任务分片在被第一分段服务器执行且第一分段服务器的状态参数满足预设条件时，所述任务分片被重新分配至第二分段服务器执行。2.根据权利要求1所述的事务处理方法，其特征在于，所述将每个所述任务分片发送至分段服务器执行，包括以下至少一项：根据执行所述任务分片所需的处理资源参数及所述分段服务器的空闲资源参数，将所述任务分片分配至对应的分段服务器进行执行；将所述任务分片平均分配给至少两个分段服务器执行；随机将所述任务分片分配给至少两个分段服务器执行。3.根据权利要求1所述的事务处理方法，其特征在于，所述方法还包括：为所述执行计划创建第一事务标识，以及指示分段服务器为所执行的任务分片创建第二事务标识；所述第二事务标识为所述分段服务器的本地事务标识；创建所述第一事务标识与所述第二事务标识之间的映射关系。4.根据权利要求1所述的事务处理方法，其特征在于，所述将每个所述任务分片发送至分段服务器执行之后，所述方法包括：获取所述分段服务器返回的结果反馈信息，其中，结果反馈信息包括所述任务分片的分片执行结果，或者，确认完成信息和所述任务分片的分片执行结果；根据每个任务分片的分片执行结果，确定所述执行计划的事务处理结果。5.根据权利要求4所述的事务处理方法，其特征在于，所述获取所述分段服务器返回的结果反馈信息之前，所述方法包括：将结果查询指令与任务执行的确认指令进行合并处理，得到结果反馈指令；其中，所述结果查询指令为所述协调服务器对所述任务分片的多个中间处理结果分别进行查询中，最后一次查询对应的查询指令；所述确认指令用于向所述分段服务器确认所述任务分片是否执行完成。6.根据权利要求1所述的事务处理方法，其特征在于，在接收事务处理指令之前，所述方法包括：在所述协调服务器所属的数据库中创建至少一项以下数据表：本地堆表，行存储表，列存储表；其中，所述本地堆表的存储方式包括面向行存储；所述行存储表和所述列存储表均支持数据追加操作。7.一种事务处理方法，应用于分段服务器，其特征在于，所述方法包括：接收任务分片；其中，所述任务分片为对执行计划进行划分得到分片；所述执行计划为响应于接收到的事务处理指令而生成的执行计划；对所述任务分片进行任务处理；其中，每个所述任务分片分别被至少一个所述分段服务器执行，所述分段服务器至少
包括第一分段服务器和第二分段服务器；在所述第一分段服务器执行所述任务分片过程中，若所述第一分段服务器的状态参数满足预设条件，则所述第一分段服务器执行的任务分片被重新分配至第二分段服务器执行。8.根据权利要求7所述的事务处理方法，其特征在于，所述对所述任务分片进行任务处理，包括：获取任务分片的任务数据；根据所述分段服务器的上下文参数、状态参数，对所述任务数据进行任务处理，得到分片执行结果；所述上下文参数包括环境变量、配置信息中的至少一项；所述状...

【专利技术属性】
技术研发人员：石志林，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：