计算资源调度方法、装置及电子设备制造方法及图纸

本发明专利技术提供了一种计算资源调度方法、装置及电子设备，该方法由调度设备执行，该方法包括：在应用计算流程图对目标计算任务的待处理对象进行计算处理过程中，监测计算流程图中的各个计算节点的当前计算负荷；其中，计算流程图中包括多个计算节点和相互连接的计算节点之间的数据传输管道；计算节点用于通过调度设备中的线程执行目标计算任务的子任务，并将执行子任务后的数据通过数据传输管道传输至下游计算节点；当目标计算节点的当前计算负荷达到预设的算力瓶颈状态时，向目标计算节点调度计算资源。本发明专利技术能够在有限的计算资源条件下提升调度设备的计算效率。

【技术实现步骤摘要】
计算资源调度方法、装置及电子设备
本专利技术涉及计算机
，尤其是涉及一种计算资源调度方法、装置及电子设备。
技术介绍
随着机器学习技术的日渐成熟，机器学习技术已经广泛应用于各个领域。由于在使用机器学习技术进行视频或图像处理时，诸如视频结构化，计算量较大，然而在计算资源(诸如调度设备的运算单元数或内存数不变)有限时，容易影响到计算速度，进而导致计算效率低下，为了尽可能地节省硬件成本，如何在有限的计算资源条件下提升调度设备的计算效率成为亟待解决的问题。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种计算资源调度方法、装置及电子设备，能够在有限的计算资源条件下提升调度设备的计算效率。为了实现上述目的，本专利技术实施例采用的技术方案如下：第一方面，本专利技术实施例提供了一种计算资源调度方法，所述方法由调度设备执行，所述方法包括：在应用计算流程图对目标计算任务的待处理对象进行计算处理过程中，监测所述计算流程图中的各个计算节点的当前计算负荷；其中，所述计算流程图中包括多个计算节点和相互连接的所述计算节点之间的本文档来自技高网...

【技术保护点】
1.一种计算资源调度方法，其特征在于，所述方法由调度设备执行，所述方法包括：/n在应用计算流程图对目标计算任务的待处理对象进行计算处理过程中，监测所述计算流程图中的各个计算节点的当前计算负荷；其中，所述计算流程图中包括多个计算节点和相互连接的所述计算节点之间的数据传输管道；所述计算节点用于通过所述调度设备中的线程执行所述目标计算任务的子任务，并将执行所述子任务后的数据通过所述数据传输管道传输至下游计算节点；/n当目标计算节点的当前计算负荷达到预设的算力瓶颈状态时，向所述目标计算节点调度计算资源。/n

【技术特征摘要】
1.一种计算资源调度方法，其特征在于，所述方法由调度设备执行，所述方法包括：
在应用计算流程图对目标计算任务的待处理对象进行计算处理过程中，监测所述计算流程图中的各个计算节点的当前计算负荷；其中，所述计算流程图中包括多个计算节点和相互连接的所述计算节点之间的数据传输管道；所述计算节点用于通过所述调度设备中的线程执行所述目标计算任务的子任务，并将执行所述子任务后的数据通过所述数据传输管道传输至下游计算节点；
当目标计算节点的当前计算负荷达到预设的算力瓶颈状态时，向所述目标计算节点调度计算资源。


2.根据权利要求1所述的方法，其特征在于，所述计算流程图为预先通过以下方式构建：
获取目标计算任务的各个子任务，为各个所述子任务分配计算节点；
根据各个所述子任务之间的依赖关系设置各个所述计算节点之间的数据传输管道，得到所述目标计算任务的计算流程图。


3.根据权利要求2所述的方法，其特征在于，所述数据传输管道包括数据输入管道和数据输出管道；所述数据输入管道是当前计算节点用于接收待处理数据的管道；所述待处理数据是上一级计算节点的输出数据；所述数据输出管道是当前计算节点用于输出目标数据的管道；所述目标数据是当前计算节点执行所述子任务后得到的数据；
所述根据各个所述子任务之间的依赖关系设置各个所述计算节点之间的数据传输管道，得到所述目标计算任务的计算流程图的步骤，包括：
根据各个计算节点之间的数据流向关系设置数据传输管道；
通过以下方式中的至少一种设置数据传输管道的类型：
当存在第一目标计算节点时，将所述第一目标计算节点的数据输出管道设置为广播管道；其中，所述第一目标计算节点为将执行所述子任务后的数据同时传输至多个下一级计算节点的节点；
当存在第二目标计算节点时，将所述第二目标计算节点的数据输出管道设置为多支路管道；其中，所述第二目标计算节点为需要根据预设条件选择接收目标数据的下一级计算节点的节点，所述目标数据为所述第二目标计算节点执行所述子任务后产生的数据；
当存在第三目标计算节点时，将所述第三目标计算节点的数据输入管道设置为合并管道；其中，所述第三目标计算节点为能够接收多个上一级计算节点执行所述子任务后的数据的节点；
当存在第四目标计算节点时，将所述第四目标计算节点的数据输出管道设置为保序管道；其中，所述第四目标计算节点为数据的接收顺序与数据的输出顺序须保持一致的节点。


4.根据权利要求2所述的方法，其特征在于，所述获取目标计算任务的各个子任务，为各个所述子任务分配计算节点的步骤，包括：
判断各个所述子任务是否能进一步分裂为多个子任务；
如果是，将能够进一步分裂的子任务的计算节点对应分裂为多个计算节点。


5.根据权利要求1所述的方法，其特征在于，所述监测所述计算流程图中的各个计算节点的当前计算负荷的步骤，包括：
获取所述计算流程图中的各个计算节点的线程记录的日志信息；其中，所述日志信息包括各个所述线程在执行所述计算节点对应的子任务时接收或发送的数据信息以及各个所述线程执行所述子任务的时间信息；
根据各个所述线程记录的日志信息，确定各个所述计算节点的当前计算负荷。


6.根据权利要求5所述的方法，其特征在于，所述数据传输管道包括数据输入管道和数据输出管道，其中，所述数据输入管道是当前计算节点用于接收待处理数据的管道；所述待处理数据是上一级计算节点的输出数据；所述数据输出管道是当前计算节点用于输出目标数据的管道；所述目标数据是当前计算节点执行所述子任务后得到的数据；
所述根据各个所述线程记录的日志信息，确定各个所述计算节点的当前计算负荷的步骤，包括...

【专利技术属性】
技术研发人员：高鹏远，王祎，李百恩，
申请(专利权)人：北京旷视科技有限公司，
类型：发明
国别省市：北京;11