基于多模型驱动的并行任务快速处理方法及系统技术方案

技术编号:40465509 阅读:20 留言:0更新日期:2024-02-22 23:19
本发明专利技术提供了基于多模型驱动的并行任务快速处理方法及系统,涉及数据处理技术领域,方法包括:根据并行任务集合将根据数据源模块接收每个数据源的数据所输出的多个数据源与根据多个驱动模型分别进行封装得到多个驱动模块进行数据源匹配,输出多个驱动负载指标,获取异常驱动模块对多个驱动模块进行适应度寻优,输出寻优驱动模块,建立寻优驱动模块与异常驱动模块的数据传输通道获取转移任务队列,基于寻优驱动模块对转移任务队列进行处理,获取转移任务队列的处理返回结果传输至异常驱动模块中,解决现有技术中缺乏对多模型驱动并行任务处理的管控,导致并行任务处理效率低的技术问题,实现合理化精准管控并行任务处理,提高并行任务处理效率。

【技术实现步骤摘要】

本专利技术涉及数据处理,具体涉及基于多模型驱动的并行任务快速处理方法及系统


技术介绍

1、随着科学技术的发展,特别是并行任务处理领域的发展,在人工智能领域中,使用并行计算技术可以极大地提高计算效率,使得模型的训练和推理速度更快、准确度也更高,计算资源的动态分配和任务调度是实现高效利用资源的关键。而并行计算任务调度算法则是其中的核心问题,但在现有技术中存在缺乏对多模型驱动并行任务处理的管控,导致并行任务处理效率低的技术问题。


技术实现思路

1、本申请提供了基于多模型驱动的并行任务快速处理方法及系统,用于针对解决现有技术中存在的缺乏对多模型驱动并行任务处理的管控,导致并行任务处理效率低的技术问题。

2、鉴于上述问题,本申请提供了基于多模型驱动的并行任务快速处理方法及系统。

3、第一方面,本申请提供了基于多模型驱动的并行任务快速处理方法,所述方法包括:根据多个驱动模型分别进行封装,得到多个驱动模块,其中,所述多个驱动模块与数据源模块通信连接;根据所述数据源模块接收每个数据源的数据,输出多个本文档来自技高网...

【技术保护点】

1.基于多模型驱动的并行任务快速处理方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,所述方法还包括:

3.如权利要求1所述的方法,其特征在于,根据所述异常驱动模块对所述多个驱动模块进行适应度寻优,输出寻优驱动模块,方法包括:

4.如权利要求3所述的方法,其特征在于,所述方法还包括:

5.如权利要求1所述的方法,其特征在于,得到每个驱动模型在基于多个匹配数据源的任务驱动下对应的驱动负载指标,方法包括:

6.如权利要求5所述的方法,其特征在于,根据所述任务进程队列进行计算复杂度识别,得到模块计算复杂度,其中...

【技术特征摘要】

1.基于多模型驱动的并行任务快速处理方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,所述方法还包括:

3.如权利要求1所述的方法,其特征在于,根据所述异常驱动模块对所述多个驱动模块进行适应度寻优,输出寻优驱动模块,方法包括:

4.如权利要求3所述的方法,其特征在于,所述方法还包括:

5.如权利要求1所述的方法,其特...

【专利技术属性】
技术研发人员:陈冀琛翟正军申思远
申请(专利权)人:西北工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1