【技术实现步骤摘要】
本专利技术涉及数据汇总，并且更具体地，涉及一种用于任务大数据的汇总方法及系统。
技术介绍
1、随着计算机技术的快速发展，各行业中的业务系统趋向完善，并积累了大量的业务数据。在一些管理系统中，为了实现分组汇总查询，通常直接使用sql的group by查询数据。这样一来，对于数据量超大的业务来说，即使进行sql优化、硬件扩容等，都会是查询性能不高，从而导致应用中用户体验较差。
技术实现思路
1、针对上述问题，本专利技术提出了一种用于任务大数据的汇总方法，包括：
2、针对待执行的任务，确认若执行待执行的任务，所述待执行的任务产生的每种数据类型的数据量及每种数据类型所访问的数据表，若所述某一数据类型的数据量大于预设值，且所述某一数据类型的数据访问数据表的访问量大于预设访问量，则将某一数据类型数据所访问的数据表拆分为多个子数据表；
3、将所述待执行的任务，作为当前任务进行执行，对所述当前任务产生的所述某一数据类型的数据进行拆分，得到多个子数据，将所述多个子数据分别存入多个子数据表中；
4、对存入多个子数据的多个子数据表，进行汇总，得到所述当前任务的某一数据类型的汇总表，将每个数据类型所对应的汇总表进行汇总，得到所述当前任务产生的数据的总汇总表。
5、可选的，待执行的任务包括至少一个，若所述待执行的任务为多个，则对存储汇总数据的数据库进行分库，使每个待执行的任务对应一个数据库。
6、可选的，当前任务在执行时，若所述当前任务的执行步骤大
7、可选的，若以多线程异步执行方式所述当前任务，通过监控所述当前任务的每个步骤的执行状态，来确认所述当前任务是否执行完成。
8、可选的，当前任务若是包括多个，且是由不同的用户端执行，则得到的为全部用户端执行的当前任务产生的数据的总汇总表；
9、根据不同用户端，对得到的全部用户端执行的当前任务产生的数据的总汇总表，重新分组，得到每个用户端执行的当前任务产生的数据的总汇总表。
10、可选的，多个子数据的量与多个子数据表的量相等。
11、可选的，总汇总表对应存有多个数据类型的汇总数据。
12、可选的，汇总数据，具体为：每个数据类型所对应的多个子数据的汇总数据。
13、再一方面，本专利技术提出了一种用于任务大数据的汇总系统，包括：
14、拆分单元，用于针对待执行的任务，确认若执行待执行的任务，所述待执行的任务产生的每种数据类型的数据量及每种数据类型所访问的数据表，若所述某一数据类型的数据量大于预设值，且所述某一数据类型的数据访问数据表的访问量大于预设访问量，则将某一数据类型数据所访问的数据表拆分为多个子数据表；
15、存储单元，用于将所述待执行的任务，作为当前任务进行执行，对所述当前任务产生的所述某一数据类型的数据进行拆分，得到多个子数据，将所述多个子数据分别存入多个子数据表中；
16、汇总单元，用于对存入多个子数据的多个子数据表，进行汇总，得到所述当前任务的某一数据类型的汇总表，将每个数据类型所对应的汇总表进行汇总，得到所述当前任务产生的数据的总汇总表。
17、可选的，待执行的任务包括至少一个，若所述待执行的任务为多个，则对存储汇总数据的数据库进行分库，使每个待执行的任务对应一个数据库。
18、可选的，当前任务在执行时，若所述当前任务的执行步骤大于预设步骤数量，则以多线程异步执行方式，执行所述当前任务的多个步骤。
19、可选的，若以多线程异步执行方式所述当前任务，通过监控所述当前任务的每个步骤的执行状态，来确认所述当前任务是否执行完成。
20、可选的，当前任务若是包括多个，且是由不同的用户端执行，则得到的为全部用户端执行的当前任务产生的数据的总汇总表；
21、根据不同用户端，对得到的全部用户端执行的当前任务产生的数据的总汇总表，重新分组，得到每个用户端执行的当前任务产生的数据的总汇总表。
22、可选的，多个子数据的量与多个子数据表的量相等。
23、可选的，总汇总表对应存有多个数据类型的汇总数据。
24、可选的，汇总数据，具体为：每个数据类型所对应的多个子数据的汇总数据。
25、再一方面，本专利技术还提供了一种计算设备，包括：一个或多个处理器；
26、处理器，用于执行一个或多个程序；
27、当所述一个或多个程序被所述一个或多个处理器执行时，实现如上述所述的方法。
28、再一方面，本专利技术还提供了一种计算机可读存储介质，其上存有计算机程序，所述计算机程序被执行时，实现如上述所述的方法。
29、与现有技术相比，本专利技术的有益效果为：
30、本专利技术提出了一种用于任务大数据的汇总方法，包括：针对待执行的任务，确认若执行待执行的任务，所述待执行的任务产生的每种数据类型的数据量及每种数据类型所访问的数据表，若所述某一数据类型的数据量大于预设值，且所述某一数据类型的数据访问数据表的访问量大于预设访问量，则将某一数据类型数据所访问的数据表拆分为多个子数据表；将所述待执行的任务，作为当前任务进行执行，对所述当前任务产生的所述某一数据类型的数据进行拆分，得到多个子数据，将所述多个子数据分别存入多个子数据表中；对存入多个子数据的多个子数据表，进行汇总，得到所述当前任务的某一数据类型的汇总表，将每个数据类型所对应的汇总表进行汇总，得到所述当前任务产生的数据的总汇总表。本专利技术的汇总方法，可以解决任务数据量大时，数据的查询效率低下的问题。
本文档来自技高网...【技术保护点】
1.一种用于任务大数据的汇总方法，其特征在于，所述汇总方法，包括：
2.根据权利要求1所述的汇总方法，其特征在于，所述待执行的任务包括至少一个，若所述待执行的任务为多个，则对存储汇总数据的数据库进行分库，使每个待执行的任务对应一个数据库。
3.根据权利要求1所述的汇总方法，其特征在于，所述当前任务在执行时，若所述当前任务的执行步骤大于预设步骤数量，则以多线程异步执行方式，执行所述当前任务的多个步骤。
4.根据权利要求3所述的汇总方法，其特征在于，若以多线程异步执行方式所述当前任务，通过监控所述当前任务的每个步骤的执行状态，来确认所述当前任务是否执行完成。
5.根据权利要求1所述的大数据汇总方法，其特征在于，所述当前任务若是包括多个，且是由不同的用户端执行，则得到的为全部用户端执行的当前任务产生的数据的总汇总表；
6.根据权利要求1所述的汇总方法，其特征在于，所述多个子数据的量与多个子数据表的量相等。
7.根据权利要求1所述的汇总方法，其特征在于，所述总汇总表对应存有多个数据类型的汇总数据。
8.根
9.一种用于任务大数据的汇总系统，其特征在于，所述汇总系统，包括：
10.根据权利要求9所述的汇总系统，其特征在于，所述待执行的任务包括至少一个，若所述待执行的任务为多个，则对存储汇总数据的数据库进行分库，使每个待执行的任务对应一个数据库。
11.根据权利要求9所述的汇总系统，其特征在于，所述当前任务在执行时，若所述当前任务的执行步骤大于预设步骤数量，则以多线程异步执行方式，执行所述当前任务的多个步骤。
12.根据权利要求11所述的汇总系统，其特征在于，若以多线程异步执行方式所述当前任务，通过监控所述当前任务的每个步骤的执行状态，来确认所述当前任务是否执行完成。
13.根据权利要求9所述的汇总系统，其特征在于，所述当前任务若是包括多个，且是由不同的用户端执行，则得到的为全部用户端执行的当前任务产生的数据的总汇总表；
14.根据权利要求9所述的汇总系统，其特征在于，所述多个子数据的量与多个子数据表的量相等。
15.根据权利要求9所述的汇总系统，其特征在于，所述总汇总表对应存有多个数据类型的汇总数据。
16.根据权利要求9所述的汇总系统，其特征在于，所述汇总数据，具体为：每个数据类型所对应的多个子数据的汇总数据。
17.一种计算机设备，其特征在于，包括：
18.一种计算机可读存储介质，其特征在于，其上存有计算机程序，所述计算机程序被执行时，实现如权利要求1-8中任一所述的方法。
...【技术特征摘要】
1.一种用于任务大数据的汇总方法，其特征在于，所述汇总方法，包括：
2.根据权利要求1所述的汇总方法，其特征在于，所述待执行的任务包括至少一个，若所述待执行的任务为多个，则对存储汇总数据的数据库进行分库，使每个待执行的任务对应一个数据库。
3.根据权利要求1所述的汇总方法，其特征在于，所述当前任务在执行时，若所述当前任务的执行步骤大于预设步骤数量，则以多线程异步执行方式，执行所述当前任务的多个步骤。
4.根据权利要求3所述的汇总方法，其特征在于，若以多线程异步执行方式所述当前任务，通过监控所述当前任务的每个步骤的执行状态，来确认所述当前任务是否执行完成。
5.根据权利要求1所述的大数据汇总方法，其特征在于，所述当前任务若是包括多个，且是由不同的用户端执行，则得到的为全部用户端执行的当前任务产生的数据的总汇总表；
6.根据权利要求1所述的汇总方法，其特征在于，所述多个子数据的量与多个子数据表的量相等。
7.根据权利要求1所述的汇总方法，其特征在于，所述总汇总表对应存有多个数据类型的汇总数据。
8.根据权利要求1所述的汇总方法，其特征在于，所述汇总数据，具体为：每个数据类型所对应的多个子数据的汇总数据。
9.一种用于任务大数据的汇总系统，其特征在于，所述汇总系统，包括：
10.根据权利...
【专利技术属性】
技术研发人员：马慧敏，梁丽，张殿臣，郝建茹，潘竞旭，鲁龙，刘鹏，
申请(专利权)人：航天信息股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。