【技术实现步骤摘要】
本说明书涉及分布式，尤其涉及一种分布式系统中的业务处理方法、装置以及设备。
技术介绍
1、大型互联网系统为了实现实时处理海量数据的场景，需要解决数据单点瓶颈的问题，往往采用分布式存储技术。基于数据分布式存储的前提，在实际应用中，有需求在所存储的大规模数据中进行全局数据统计，以便基于全局数据统计结果进行质量检测、灰度测试、回访调查、奖励投放等业务用途。
2、针对这种需求，目前往往是基于离线计算实现的，具体包括：将分布式存储的数据导入离线数仓中，通过数仓汇总统计后，再回流到在线存储中。但是这种方案时效性较差，从而也可能影响结果可靠性。
3、基于此，在分布式存储的前提下，需要更高时效性以及更可靠的全局数据统计方案以更好地实现相应业务用途的方案。
技术实现思路
1、本说明书一个或多个实施例提供一种分布式系统中的业务处理方法、装置、设备以及存储介质，用以解决如下技术问题：在分布式存储的前提下，需要更高时效性以及更可靠的全局数据统计方案以更好地实现相应业务用途的方案。
2、为解决上述技术问题，本说明书一个或多个实施例是这样实现的：
3、本说明书一个或多个实施例提供的一种分布式系统中的业务处理方法，包括：
4、通过任务调度总控单元，确定数据统计任务所涉及的多个分布式存储单元，并将所述数据统计任务进行分片处理，得到多个任务分片，分别将各所述任务分片调度至多个业务单元中负责管控对应的所述分布式存储单元的业务单元；
5、通过各所述
6、通过所述任务调度总控单元，根据各所述数据统计结果，确定汇总数据统计结果，以完成所述数据统计任务。
7、本说明书一个或多个实施例提供的一种分布式系统中的业务处理装置，包括：
8、任务分片调度模块，通过任务调度总控单元，确定数据统计任务所涉及的多个分布式存储单元，并将所述数据统计任务进行分片处理，得到多个任务分片，分别将各所述任务分片调度至多个业务单元中负责管控对应的所述分布式存储单元的业务单元；
9、任务分片执行模块，通过各所述业务单元，将其得到的所述任务分片，针对对应的所述分布式存储单元执行，得到针对所述分布式存储单元的数据统计结果，并将所述数据统计结果返回给所述任务调度总控单元；
10、汇总数据确定模块，通过所述任务调度总控单元，根据各所述数据统计结果，确定汇总数据统计结果，以完成所述数据统计任务。
11、本说明书一个或多个实施例提供的一种分布式系统中的业务处理设备，包括：
12、至少一个处理器；以及，
13、与所述至少一个处理器通信连接的存储器；其中，
14、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
15、通过任务调度总控单元，确定数据统计任务所涉及的多个分布式存储单元，并将所述数据统计任务进行分片处理，得到多个任务分片，分别将各所述任务分片调度至多个业务单元中负责管控对应的所述分布式存储单元的业务单元；
16、通过各所述业务单元，将其得到的所述任务分片，针对对应的所述分布式存储单元执行，得到针对所述分布式存储单元的数据统计结果，并将所述数据统计结果返回给所述任务调度总控单元；
17、通过所述任务调度总控单元，根据各所述数据统计结果，确定汇总数据统计结果，以完成所述数据统计任务。
18、本说明书一个或多个实施例提供的一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：
19、通过任务调度总控单元，确定数据统计任务所涉及的多个分布式存储单元，并将所述数据统计任务进行分片处理，得到多个任务分片，分别将各所述任务分片调度至多个业务单元中负责管控对应的所述分布式存储单元的业务单元；
20、通过各所述业务单元，将其得到的所述任务分片，针对对应的所述分布式存储单元执行，得到针对所述分布式存储单元的数据统计结果，并将所述数据统计结果返回给所述任务调度总控单元；
21、通过所述任务调度总控单元，根据各所述数据统计结果，确定汇总数据统计结果，以完成所述数据统计任务。
22、本说明书一个或多个实施例采用的上述至少一个技术方案能够达到以下有益效果：能够适应于多个分布式存储单元相应地拆分数据统计任务，进行实时性更好的任务分片调度，从而能够在保证数据真实可靠的同时，较为高效地分别在各分布式存储单元中进行局部的数据统计，之后再通过局部结果的调度来汇总得到全局的数据统计结果，进而有助于更好地实现相应业务用途。
本文档来自技高网...【技术保护点】
1.一种分布式系统中的业务处理方法，包括：
2.如权利要求1所述的方法，所述将所述数据统计任务进行分片处理，得到多个任务分片，具体包括：
3.如权利要求2所述的方法，所述通过所述任务调度总控单元，根据各所述数据统计结果，确定汇总数据统计结果，以完成所述数据统计任务，具体包括：
4.如权利要求1所述的方法，所述将所述数据统计结果返回给所述任务调度总控单元之后，所述方法还包括：
5.如权利要求4所述的方法，所述指示已返回数据统计结果的至少部分业务单元重新执行其得到的任务分片之前，所述方法还包括：
6.如权利要求4所述的方法，所述通过所述任务调度总控单元，计算已接收到的各所述数据统计结果之间的时间同步度之前，所述方法还包括：
7.如权利要求1所述的方法，所述将所述数据统计任务进行分片处理，得到多个任务分片，具体包括：
8.如权利要求7所述的方法，所述大的任务分片对应的各数据统计结果由所述分布式存储单元集合对应的多个业务单元中一个业务单元汇总得到后返回给所述任务调度总控单元；
9.如权利要求4
10.如权利要求1～8任一项所述的方法，所述数据统计任务包括统计已完成指定任务的用户的总数量；
11.一种分布式系统中的业务处理装置，包括：
12.如权利要求11所述的装置，所述任务分片调度模块，按照所述多个分布式存储单元的数量，将所述数据统计任务进行分片处理，得到所述数量的任务分片，以便将每一个所述任务分片调度至对应的一个业务单元；
13.如权利要求12所述的装置，所述汇总数据确定模块，通过所述任务调度总控单元，将各所述数据统计结果发送给所述多个业务单元以外的另一个业务单元；
14.如权利要求11所述的装置，所述任务分片执行模块，在所述将所述数据统计结果返回给所述任务调度总控单元之后，通过所述任务调度总控单元，计算已接收到的各所述数据统计结果之间的时间同步度；
15.如权利要求14所述的装置，所述任务分片执行模块，在所述指示已返回数据统计结果的至少部分业务单元重新执行其得到的任务分片之前，通过至少部分所述业务单元，在其已将所述数据统计结果返回给所述任务调度总控单元之后，对所述数据统计结果涉及的被统计数据的继续变化情况进行监控；
16.如权利要求14所述的装置，所述任务分片执行模块，在所述通过所述任务调度总控单元，计算已接收到的各所述数据统计结果之间的时间同步度之前，计算所述数据统计任务所涉及的被统计数据在所述分布式系统中的变化剧烈度；
17.如权利要求11所述的装置，所述任务分片调度模块，计算所述数据统计任务所涉及的被统计数据在所述分布式系统中的变化剧烈度；
18.如权利要求17所述的装置，所述大的任务分片对应的各数据统计结果由所述分布式存储单元集合对应的多个业务单元中一个业务单元汇总得到后返回给所述任务调度总控单元；
19.如权利要求14～16任一项所述的装置，所述任务分片执行模块，根据已返回数据统计结果的各业务单元的返回顺序，指示其中的部分所述返回顺序靠前的业务单元重新执行其得到的任务分片。
20.如权利要求11～18任一项所述的装置，所述数据统计任务包括统计已完成指定任务的用户的总数量；
21.一种分布式系统中的业务处理设备，包括：
...【技术特征摘要】
1.一种分布式系统中的业务处理方法，包括：
2.如权利要求1所述的方法，所述将所述数据统计任务进行分片处理，得到多个任务分片，具体包括：
3.如权利要求2所述的方法，所述通过所述任务调度总控单元，根据各所述数据统计结果，确定汇总数据统计结果，以完成所述数据统计任务，具体包括：
4.如权利要求1所述的方法，所述将所述数据统计结果返回给所述任务调度总控单元之后，所述方法还包括：
5.如权利要求4所述的方法，所述指示已返回数据统计结果的至少部分业务单元重新执行其得到的任务分片之前，所述方法还包括：
6.如权利要求4所述的方法，所述通过所述任务调度总控单元，计算已接收到的各所述数据统计结果之间的时间同步度之前，所述方法还包括：
7.如权利要求1所述的方法，所述将所述数据统计任务进行分片处理，得到多个任务分片，具体包括：
8.如权利要求7所述的方法，所述大的任务分片对应的各数据统计结果由所述分布式存储单元集合对应的多个业务单元中一个业务单元汇总得到后返回给所述任务调度总控单元；
9.如权利要求4～6任一项所述的方法，所述指示已返回数据统计结果的至少部分业务单元重新执行其得到的任务分片，具体包括：
10.如权利要求1～8任一项所述的方法，所述数据统计任务包括统计已完成指定任务的用户的总数量；
11.一种分布式系统中的业务处理装置，包括：
12.如权利要求11所述的装置，所述任务分片调度模块，按照所述多个分布式存储单元的数量，将所述数据统计任务进行分片处理，得到所述数量的任务分片，以便将每一个所述任务分片调度至对应的一个业务单元；
13.如权利要求12所...
【专利技术属性】
技术研发人员：闫钊，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。