【技术实现步骤摘要】
本专利技术涉及大数据计算，特别是指一种移动互联网大数据多业务高效并行计算方法及装置。
技术介绍
1、移动互联网数据规模增加，同时支撑的数据业务迅速增加，现有的烟囱式建设模式和垂直化业务系统，并未考虑数据业务间共性的计算逻辑，例如社会治安疫情防控业务中特定目标漫入预警逻辑，导致多个数据业务重复订阅和计算处理数据，使本来就紧张的数据库资源被严重浪费，无法满足数据业务高效分析处理和预警响应的需求。
2、现有技术虽然公开了若干相关专利，如专利技术专利申请cn108052646a公开了实时计算大数据系统和方法，cn110492988a公开了一种多路并行复用的大数据系统及其处理方法，cn115904674a公开了智能化并行处理的清算任务执行方法、装置、设备及介质，然而现有技术仍未有效解决上述问题，有进一步改进的空间。
技术实现思路
1、本专利技术要解决的技术问题是提供一种移动互联网大数据多业务高效并行计算方法及装置，以提高大数据业务的并行计算性能。
2、为解决上述技术问题，本专利技术提供技术方案如下：
3、一方面，提供一种移动互联网大数据多业务高效并行计算方法，包括：
4、步骤s101：确定每个数据业务的数据源，所述数据源包括数据的类型、格式、结构和获取方式；
5、步骤s102：对每个数据业务的计算任务进行逻辑和过程分析，包括数据的输入、处理和输出；
6、步骤s103：对多个数据业务计算任务的执行逻辑和过程进行全局分析和全
7、另一方面，提供一种实现上述方法的移动互联网大数据多业务高效并行计算装置，包括数据源订阅模块、单计算任务执行逻辑分析模块、多计算任务相同逻辑识别模块、多计算任务计算过程全局合并模块、多计算任务全局计算过程统一执行模块和计算结果分发模块，其中：
8、数据源订阅模块，用于订阅多个数据源；
9、单计算任务执行逻辑分析模块，用于对每个数据业务分析其计算任务的逻辑和流程；
10、多计算任务相同逻辑识别模块，用于识别多个数据业务中具有相同逻辑的操作，以减少重复计算；
11、多计算任务计算过程全局合并模块，用于负责将不同数据业务的计算任务整合到一个全局执行计划中；
12、多计算任务全局计算过程统一执行模块，用于执行全局计算过程，包括多个数据业务的计算任务；
13、计算结果分发模块，用于负责将计算结果分发到相应的业务或输出目标。
14、本专利技术具有以下有益效果：
15、本专利技术提供的移动互联网大数据多业务高效并行计算方法及装置，首先确定每个数据业务的数据源，然后对每个数据业务的计算任务进行逻辑和过程分析，之后对多个数据业务计算任务的执行逻辑和过程进行全局分析和全局合并，同时将本操作相同数据源的相同原子逻辑操作进行约定，最后形成多数据业务的全局统一执行逻辑过程，通过对全局统一执行逻辑过程的执行实现了对多数据业务的高效执行，实现了对相同数据源的一次订阅，相同逻辑操作的一次执行，从而有效避免了资源浪费，提高计算资源的效能，实现移动互联网多数据业务高效处理。故本专利技术能够提高大数据业务的并行计算性能。
本文档来自技高网...【技术保护点】
1.一种移动互联网大数据多业务高效并行计算方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述步骤S103包括：
3.根据权利要求2所述的方法，其特征在于，所述利用Cannon并行矩阵算法执行多业务并行计算，包括：
4.根据权利要求1-3中任一所述的方法，其特征在于，所述步骤S103包括：
5.根据权利要求4所述的方法，其特征在于，所述步骤S1036之后包括：
6.一种实现权利要求1-5中任一所述方法的移动互联网大数据多业务高效并行计算装置，其特征在于，包括数据源订阅模块、单计算任务执行逻辑分析模块、多计算任务相同逻辑识别模块、多计算任务计算过程全局合并模块、多计算任务全局计算过程统一执行模块和计算结果分发模块，其中：
7.根据权利要求6所述的装置，其特征在于，所述数据源订阅模块，用于在订阅数据时，区分支持的订阅类型，消费支持的数据格式；针对相同数据源的订阅，在数据订阅工具中指定要订阅的数据源；配置工具定期或实时地提取数据源中的数据，然后将提取的数据传送到目标位置；配置监控和错误处理机制，
8.根据权利要求6所述的装置，其特征在于，所述单计算任务执行逻辑分析模块，用于根据计算架构区分任务执行逻辑，其中，Flink执行计算程序通过client解析程序代码，优化数据流生成JobGraph，将job提交至JobManager，收到job后生成执行流图，申请TaskManager资源，后进行分配资源及启动执行任务；Spark利用RDD封装计算，通过不同的算子来组装构建较为复杂的计算；
9.根据权利要求6所述的装置，其特征在于，所述多计算任务计算过程全局合并模块，用于识别到逻辑相同的计算任务后，确保任务的参数和输入可以被通用化，使它们适用于不同情况，其中，需要将任务中的硬编码值替换为可配置的参数；将相同逻辑的部分整合到一个单一的计算任务中；将代码从原始任务中提取并组合到一个新的任务中，或者创建一个通用的代码库，以供多个任务共享；
10.根据权利要求6所述的装置，其特征在于，所述计算结果分发模块，用于并行计算各个数据业务后，将计算结果存储在适当的数据存储系统中；将计算结果保存为文件；使用消息队列系统；将计算结果发送到消息队列中，以供其他应用订阅消息队列接收结果；创建用于访问计算结果的API端点，以供其他应用获取数据；如果计算结果是实时生成的，使用实时流技术将数据流式传输到其他应用；以及定期运行批处理作业，将计算结果转移到其他存储位置，以供其他应用查询和访问。
...【技术特征摘要】
1.一种移动互联网大数据多业务高效并行计算方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述步骤s103包括：
3.根据权利要求2所述的方法，其特征在于，所述利用cannon并行矩阵算法执行多业务并行计算，包括：
4.根据权利要求1-3中任一所述的方法，其特征在于，所述步骤s103包括：
5.根据权利要求4所述的方法，其特征在于，所述步骤s1036之后包括：
6.一种实现权利要求1-5中任一所述方法的移动互联网大数据多业务高效并行计算装置，其特征在于，包括数据源订阅模块、单计算任务执行逻辑分析模块、多计算任务相同逻辑识别模块、多计算任务计算过程全局合并模块、多计算任务全局计算过程统一执行模块和计算结果分发模块，其中：
7.根据权利要求6所述的装置，其特征在于，所述数据源订阅模块，用于在订阅数据时，区分支持的订阅类型，消费支持的数据格式；针对相同数据源的订阅，在数据订阅工具中指定要订阅的数据源；配置工具定期或实时地提取数据源中的数据，然后将提取的数据传送到目标位置；配置监控和错误处理机制，以跟踪数据提取和传送的状态，并在出现问题时采取相应措施，包括错误日志、警报和重试机制，当重复订阅数据时进行提示；
8.根据权利要求6所述的装置，其特征在于，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。