【技术实现步骤摘要】
本专利技术涉及数据处理的，特别涉及一种多任务处理方法、装置、计算机设备和存储介质。
技术介绍
1、中台数据系统是一种集数据存储、计算、处理、分析、服务于一体的数据处理平台。它可以将业务系统的数据存储和计算能力进行抽离，由单独的数据处理平台提供存储和计算能力，从而简化业务系统的复杂性。
2、现有技术中，中台数据系统是基于go语言和redis的队列实现，其中，所有的任务是通过数据分析师提交clickhouse sql任务，再对clickhouse sql任务进行执行，得到相关的报表数据，再将报表数据重新写回到clickhouse(高性能的列式数据库管理系统)，并通过后台呈现给运营查看报表数据。然而，由于clickhouse集群对并发和实时性计算能力都存在一定的瓶颈，当中台数据系统的报表任务数量急剧增加时，执行任务的速率较慢，从而导致服务器的压力增加。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种多任务处理方法、装置、计算机设备和存储介质。
2、一种多任务处理方法，包括：
3、将待处理数据输入至分布处理模块进行处理，得到任务报表数据；
4、将经过所述分布处理模块处理的所述任务报表数据输入至并行处理模块进行处理，得到报表数据；
5、将经过所述并行处理模块处理得到的所述报表数据输入至存储模块。
6、在其中一个实施例中，所述将待处理数据输入至分布处理模块进行处理，得到任务报表数据的步骤之前，还包括：
<...【技术保护点】
1.一种多任务处理方法，其特征在于，包括：
2.根据权利要求1所述的多任务处理方法，其特征在于，所述将待处理数据输入至分布处理模块进行处理，得到任务报表数据的步骤之前，还包括：
3.根据权利要求2所述的多任务处理方法，其特征在于，还包括：
4.根据权利要求3所述的多任务处理方法，其特征在于，所述将所述待处理数据写入至所述分布式消息发布模块进行削峰处理的步骤包括：
5.根据权利要求3所述的多任务处理方法，其特征在于，还包括：
6.根据权利要求1所述的多任务处理方法，其特征在于，所述将经过所述并行处理模块处理得到的所述报表数据输入至存储模块的步骤之后，还包括：
7.根据权利要求1所述的多任务处理方法，其特征在于，所述分布处理模块包括flink模块。
8.一种多任务处理装置，其特征在于，包括：
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上
...【技术特征摘要】
1.一种多任务处理方法，其特征在于，包括：
2.根据权利要求1所述的多任务处理方法，其特征在于，所述将待处理数据输入至分布处理模块进行处理，得到任务报表数据的步骤之前，还包括：
3.根据权利要求2所述的多任务处理方法，其特征在于，还包括：
4.根据权利要求3所述的多任务处理方法，其特征在于，所述将所述待处理数据写入至所述分布式消息发布模块进行削峰处理的步骤包括：
5.根据权利要求3所述的多任务处理方法，其特征在于，还包括：
6.根据权利要求1所述的多任务处理方法，其特征在于，所述将经...
【专利技术属性】
技术研发人员：舒伟，郭曼丽，曾志海，
申请(专利权)人：广州仰望星空云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。