数据处理方法、数据处理装置以及计算机可读存储介质制造方法及图纸

技术编号:37609825 阅读:23 留言:0更新日期:2023-05-18 12:01
本申请提供一种数据处理方法、数据处理装置以及计算机可读存储介质。包括:利用当前处理节点内若干并行的算法对待处理数据进行处理,获取算法处理结果;将已完成的当前处理任务放入下一个处理节点的任务调度队列,并唤醒下一个处理任务,直至当前处理节点的任务调度队列中的所有处理任务处理完成;利用下一个处理节点内的算法继续对当前处理节点的算法处理结果进行处理,直至所有处理节点处理完所有处理任务,将算法输出数据保存至对应算法的内存节点。通过上述方式,将多处理任务的调度任务分配到各个处理节点中,实现了分布式的任务调度框架,提升了整个框架的执行效率和空间效率,节约了不同算法在不同处理器上切换时产生的上下文切换的开销。的上下文切换的开销。的上下文切换的开销。

【技术实现步骤摘要】
数据处理方法、数据处理装置以及计算机可读存储介质


[0001]本申请涉及算法调度
,特别是涉及一种数据处理方法、数据处理装置以及计算机可读存储介质。

技术介绍

[0002]在图像处理领域中,为了在图像中提取更多的信息,往往需要依次将多个来源的图像数据按照一定的算法排列顺序进行处理;其中,算法之间的并行和串行关系会根据处理方案的差异而发生变化,给业务代码的框架的灵活性设计带来了挑战;同时,处理多批次数据时,如何保证流式数据的可以按照到来的顺序依次得到处理,以及如何使用并发编程技术安全、高效地进行数据管理也成为一个设计难点。因此,设计一种简单、快捷和轻便的算法集成框架,对于多场景下的图像处理业务开发有重要意义。

技术实现思路

[0003]本申请提供了一种数据处理方法、数据处理装置以及计算机可读存储介质。
[0004]本申请提供了一种数据处理方法,所述数据处理方法包括:
[0005]获取当前处理节点的任务调度队列;
[0006]按照所述任务调度队列中的当前处理任务获取待处理数据;/>[0007]利用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法,其特征在于,所述数据处理方法包括:获取当前处理节点的任务调度队列;按照所述任务调度队列中的当前处理任务获取待处理数据;利用所述当前处理节点内若干并行的算法对所述待处理数据进行处理,获取算法处理结果;将已完成的当前处理任务放入下一个处理节点的任务调度队列,并唤醒下一个处理任务,直至所述当前处理节点的任务调度队列中的所有处理任务处理完成;利用下一个处理节点内的算法继续对所述当前处理节点的算法处理结果进行处理,直至所有处理节点处理完所有处理任务,将算法输出数据保存至对应算法的内存节点。2.根据权利要求1所述的数据处理方法,其特征在于,所述数据处理方法,还包括:建立数据处理节点链表;获取处理所述待处理数据所需的若干算法;在所述数据处理节点链表新建初始处理节点,按照所述若干算法的处理顺序的第一个算法放入初始处理节点;按照所述处理顺序将剩余算法按照以下方式放入处理节点;在当前算法为并行算法时,将所述当前算法放入当前处理节点;在当前算法为串行算法时,新建处理节点,并将所述当前算法放入新建的处理节点。3.根据权利要求1所述的数据处理方法,其特征在于,所述按照所述任务调度队列中的当前处理任务获取待处理数据之前,所述数据处理方法还包括:给所述任务调度队列中的当前处理任务分配乒乓锁;在持有所述乒乓锁时,控制所述当前处理节点并行执行所述当前处理任务的不同操作。4.根据权利要求3所述的数据处理方法,其特征在于,所述数据处理方法,包括:给所述当前处理节点分配操作锁和控制锁;在持有所述控制锁时,控制所述当前处理节点取出所述任务调度队列中的当前处理任务;在持有所述操作锁时,控制所述当前处理节点取出算法对所述待处理数据...

【专利技术属性】
技术研发人员:孙舒婷李世豪黄鹏杨坤兴程淼符哲蔚丁乃英刘明邓志吉
申请(专利权)人:浙江大华技术股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1