一种任务部署方法、装置、系统及可读存储介质制造方法及图纸

本申请公开了一种任务部署方法、装置、系统及可读存储介质，方法包括：获取异构计算设备反馈的应用中各层计算任务被对应的计算组件执行后的状态信息及异构计算设备的奖惩信息；根据状态信息及奖惩信息，确定各层计算任务对应的计算组件，并由各计算组件执行对应的计算任务；执行获取异构计算设备反馈的应用中各层计算任务被对应的计算组件执行后的状态信息及异构计算设备的奖惩信息的步骤，直至状态信息及奖惩信息稳定为止，以得到各层计算任务对应的计算组件，并由各计算组件执行对应的计算任务。本申请公开的技术方案，利用强化学习自动从顶层应用的角度来进行计算任务的部署，以提高任务部署的合理性、效率及异构计算设备的任务执行性能。设备的任务执行性能。设备的任务执行性能。

【技术实现步骤摘要】
一种任务部署方法、装置、系统及可读存储介质


[0001]本申请涉及任务部署
，更具体地说，涉及一种任务部署方法、装置、系统及可读存储介质。

技术介绍

[0002]考虑到神经网络的计算量比较大，因此，专用的深度学习芯片或者人工智能芯片成为近年来各大科技公司竞相发展的热点之一。
[0003]目前，在将基于神经网络的应用中的各计算任务部署在包含有专用芯片的异构计算设备中时，常用的方式是由人工配置各计算任务在计算设备中所对应的计算硬件，然后，分析各计算硬件的开启和关闭时间，并利用电源管理工具根据各计算硬件的开启和关闭时间进行控制，以优化异构计算设备的性能和功耗。但是，这种采用人工进行任务部署方式的效率及合理性均比较低，而且其是从底层的硬件控制角度来优化异构计算设备的性能和功耗，一旦计算任务部署不够合理，那么硬件底层的电源管理工具再怎么优化，对异构计算设备性能优化也只能起到很小的作用。
[0004]综上所述，如何提高任务部署的合理性，是目前本领域技术人员亟待解决的技术问题。

技术实现思路

[0005]有鉴于此，本申请的目的是提供一种任务部署方法、装置、系统及可读存储介质，用于提高任务部署的合理性。
[0006]为了实现上述目的，本申请提供如下技术方案：
[0007]一种任务部署方法，包括：
[0008]获取异构计算设备反馈的应用中各层计算任务被对应的计算组件执行后的状态信息及所述异构计算设备的奖惩信息；
[0009]根据所述状态信息及所述奖惩信息，确定各层所述计算任务对应的计算组件，并由各所述计算组件执行对应的所述计算任务；
[0010]执行所述获取异构计算设备反馈的应用中各层计算任务被对应的计算组件执行后的状态信息及所述异构计算设备的奖惩信息的步骤，直至所述状态信息及所述奖惩信息稳定为止，以得到各层所述计算任务对应的计算组件，并由各所述计算组件执行对应的所述计算任务。
[0011]优选的，获取异构计算设备反馈的应用中各层计算任务被对应的计算组件执行后的状态信息及所述异构计算设备的奖惩信息，包括：
[0012]获取控制设备发送的所述异构计算设备反馈的所述应用中各层所述计算任务被对应的计算组件执行后的状态信息及所述异构计算设备的奖惩信息；
[0013]在确定各层所述计算任务对应的计算组件之后，还包括：
[0014]将各层所述计算任务对应的计算组件的信息发送至所述控制设备，由所述控制设
备向第一层计算任务对应的计算组件发送执行命令，在接收所述第一层计算任务对应的计算组件反馈的执行完成通知后，向下一层计算任务对应的计算组件发送执行命令，直至接收到最后一层计算任务对应的计算组件发送的执行完成通知为止。
[0015]优选的，将各层所述计算任务对应的计算组件发送至所述控制设备，包括：
[0016]将各层所述计算任务对应的计算组件部署图发送至所述控制设备。
[0017]优选的，获取异构计算设备反馈的应用中各层计算任务被对应的计算组件执行后的状态信息，包括：
[0018]获取所述异构计算设备反馈的所述应用中各层计算任务被对应的计算组件执行后的状态信息O
k
：
[0019]O
k
＝(k,s
in
,s
out
,n
params
,i
c
,a
k
‑1)
[0020]其中，k为所述计算任务的层数编号，s
in
和s
out
分别为第k层计算任务输入和输出的特征图，n
params
为第k层计算任务的参数或权重的数量，i
c
为第k层计算任务的计算类型，a
k
‑1为第k
‑
1层计算任务的执行动作。
[0021]优选的，获取异构计算设备反馈的所述异构计算设备的奖惩信息，包括：
[0022]获取所述异构计算设备反馈的奖励函数R：
[0023]R＝α
×
(energy
pro
‑
energy
origin
)+β
×
(latency
pro
‑
latency
origin
)
[0024]其中，α和β分别为能耗系数和延迟系数，energy
pro
为各层所述计算任务被对应的计算组件执行时消耗的总能耗，energy
origin
为初始设置下所述异构计算设备反馈的能耗，latency
pro
为各层所述计算任务被对应的计算组件执行时消耗的总计算时间，latency
origin
为初始设置下所述异构计算设备反馈的计算时间。
[0025]优选的，根据所述状态信息及所述奖惩信息，确定各层所述计算任务对应的计算组件，包括：
[0026]根据所述状态信息及所述奖惩信息，确定各层所述计算任务对应的执行动作；
[0027]利用h
k
＝round(a
k
×
(h
max
‑
h
min
)+h
min
‑
0.5)，确定第k层计算任务对应的计算组件的编号h
k
；其中，round()表示返回四舍五入整数值，a
k
为第k层计算任务对应的执行动作，h
max
为所述异构计算设备中最大的计算组件编号，h
min
为所述异构计算设备中最小的计算组件编号。
[0028]优选的，根据所述状态信息及所述奖惩信息，确定各层所述计算任务对应的执行动作，包括：
[0029]根据所述状态信息及所述奖惩信息，利用DDPG算法确定各层所述计算任务对应的执行动作。
[0030]一种任务部署装置，包括：
[0031]获取模块，用于获取异构计算设备反馈的应用中各层计算任务被对应的计算组件执行后的状态信息及所述异构计算设备的奖惩信息；
[0032]确定模块，用于根据所述状态信息及所述奖惩信息，确定各层所述计算任务对应的计算组件，并由各所述计算组件执行对应的所述计算任务；
[0033]执行模块，用于执行所述获取异构计算设备反馈的应用中各层计算任务被对应的计算组件执行后的状态信息及所述异构计算设备的奖惩信息的步骤，直至所述状态信息及所述奖惩信息稳定为止，以得到各层所述计算任务对应的计算组件，并由各所述计算组件
Unit，图形处理器)计算设备在运行神经网络时，要么因为算力太小，使得运行时间过长，不能满足应用的实时性需要，要么运算效率低，运算能耗过大，使得一个基于深度学习的应用运行起来需要耗费大量的能源成本。因此，专用的深度学习芯片或者人工智能芯片(简称AI芯片)成为近年来各大科技公司竞相发展的热点之一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务部署方法，其特征在于，包括：获取异构计算设备反馈的应用中各层计算任务被对应的计算组件执行后的状态信息及所述异构计算设备的奖惩信息；根据所述状态信息及所述奖惩信息，确定各层所述计算任务对应的计算组件，并由各所述计算组件执行对应的所述计算任务；执行所述获取异构计算设备反馈的应用中各层计算任务被对应的计算组件执行后的状态信息及所述异构计算设备的奖惩信息的步骤，直至所述状态信息及所述奖惩信息稳定为止，以得到各层所述计算任务对应的计算组件，并由各所述计算组件执行对应的所述计算任务。2.根据权利要求1所述的任务部署方法，其特征在于，获取异构计算设备反馈的应用中各层计算任务被对应的计算组件执行后的状态信息及所述异构计算设备的奖惩信息，包括：获取控制设备发送的所述异构计算设备反馈的所述应用中各层所述计算任务被对应的计算组件执行后的状态信息及所述异构计算设备的奖惩信息；在确定各层所述计算任务对应的计算组件之后，还包括：将各层所述计算任务对应的计算组件的信息发送至所述控制设备，由所述控制设备向第一层计算任务对应的计算组件发送执行命令，在接收所述第一层计算任务对应的计算组件反馈的执行完成通知后，向下一层计算任务对应的计算组件发送执行命令，直至接收到最后一层计算任务对应的计算组件发送的执行完成通知为止。3.根据权利要求2所述的任务部署方法，其特征在于，将各层所述计算任务对应的计算组件发送至所述控制设备，包括：将各层所述计算任务对应的计算组件部署图发送至所述控制设备。4.根据权利要求1所述的任务部署方法，其特征在于，获取异构计算设备反馈的应用中各层计算任务被对应的计算组件执行后的状态信息，包括：获取所述异构计算设备反馈的所述应用中各层计算任务被对应的计算组件执行后的状态信息O
k
：O
k
＝(k,s
in
,s
out
,n
params
,i
c
,a
k
‑1)其中，k为所述计算任务的层数编号，s
in
和s
out
分别为第k层计算任务输入和输出的特征图，n
params
为第k层计算任务的参数或权重的数量，i
c
为第k层计算任务的计算类型，a
k
‑1为第k
‑
1层计算任务的执行动作。5.根据权利要求1所述的任务部署方法，其特征在于，获取异构计算设备反馈的所述异构计算设备的奖惩信息，包括：获取所述异构计算设备反馈的奖励函数R：R＝α
×
(energy
pro
‑
energy
origin
)+β
×
(latency
p...

【专利技术属性】
技术研发人员：沈付旺，
申请(专利权)人：山东云海国创云计算装备产业创新中心有限公司，
类型：发明
国别省市：