一种DNN任务卸载的方法技术

本发明专利技术实施例提供了一种DNN任务卸载的方法，包括：B1、移动端向边缘服务器发出任务卸载请求，获取边缘服务器反馈的将任务时段划分为多个时隙的信息；B2、移动端根据多个时隙的信息生成预期策略并获取邻居移动端的预期策略，预期策略中将DNN任务按层划分为在移动端本地执行的前期任务和在边缘服务器的相应时隙处理的后期任务；B3、移动端根据自身的预期策略和最新获得的邻居移动端的预期策略估算各时隙的服务处理时延，以自身成本最小化为优化目标更新预期策略，重复该步骤直至获得边缘服务器按照预设的规则确认移动端已获得最优预期策略的信号并将最新的预期策略作为卸载策略；B4、移动端根据卸载策略将后期任务中的子任务卸载到指定的时隙执行。卸载到指定的时隙执行。卸载到指定的时隙执行。

【技术实现步骤摘要】
一种DNN任务卸载的方法


[0001]本专利技术涉及深度神经网络任务处理领域，具体来说涉及深度神经网络任务的任务拆分卸载领域，更具体地说，涉及一种DNN任务卸载的方法。

技术介绍

[0002]深度学习现在广泛应用于各种移动端，然而，大多数深度学习模型需要进行复杂的计算，在移动端上使用有限的计算资源很难计算其推理结果。因此，目前常用的方法是将深度学习任务卸载到云上，即移动云计算(Mobile Cloud Computing，简称MCC)，它具有丰富的计算资源和强大的计算能力，可以处理复杂的计算任务。然而，由于云通常远离移动端，处理时延通常大于100ms。这导致用户在使用对时延敏感的应用程序时的用户体验很差，这也是移动云计算的瓶颈。为了缓解这一问题，移动边缘计算(Mobile Edge Computing，简称MEC)应运而生，通过布置在移动端附近的单个或者多个边缘服务器接收并处理移动端卸载的任务，从而加快计算密集型任务的处理过程来减轻移动端的计算负担。
[0003]目前，随着深度学习技术的发展和移动端计算能力的不断增强，一些基于深度学习的应用被部署在移动端中，如苹果智能语音助手(Siri)和谷歌助理(Google Assistant)。但是，移动端的计算能力有限，一些移动端处理深度学习任务的时延较高，也可能让移动端的电量消耗过快，因此，将移动端上的深度学习任务卸载到边缘服务器上，是满足深度学习任务高计算量和低时延需求的一种可行方法。移动边缘计算中最直接的方法是将所有的计算从移动端转移到边缘服务器，目前已有许多研究。虽然将数据卸载到附近的边缘服务器通常是节省计算时间的，但是由于移动端的计算能力没有得到充分的利用，又或者多个移动端同时卸载数据导致边缘服务器的计算时延增加，再加上传输时延，使得整体的效率不高。特别是大量移动端的任务卸载顺序彼此独立时，则某一时刻可能这些移动端同时将所有数据都卸载到边缘服务器上，那么此时传输时延和边缘服务器的计算时延都可能大幅增加，而该时刻之后，边缘服务器又可能较长时间处于空闲的状态，不仅没有充分利用边缘服务器的资源，还可能影响用户体验。
[0004]为了提高移动边缘计算的资源的利用率，部分卸载是一种可行的方法。实际上，部分卸载在移动云计算中已经得到了很好的研究，但在移动边缘计算中，部分卸载深度学习的任务存在很多的挑战。
[0005]首先，由于深度学习任务计算复杂度极高，很难进行自动程序分析。如何在没有集中控制的情况下完成部分卸载更是一大挑战。MEC不具有MCC中的云所具有的所有移动端的全局视图，MCC中通常采用集中式调度策略，MEC中的边缘服务器是地理分布的，难以掌握所有移动端的全局信息。因此，在MEC中获取全局最优调度策略是不切实际的。为了解决这一问题，许多学者对MEC的分布式调度策略进行了研究。一些研究者提出了一种用于边缘计算的分布式应用程序任务调度框架Petrel，其实现了基于样本的负载均衡技术，并根据任务类型进一步采用了自适应调度策略。这种应用感知调度不仅提供了QoE保证，而且提高了整体的调度性能。在另一些研究中，研究者试图在MEC难以实现调度信息和网络状态时进行负
载均衡，提出了一种自适应神经模糊推理系统，该系统可以处理信息受限的调度问题，提高用户的服务质量。但是上述工作通常基于历史调度信息制定调度策略，增加了移动端的存储负担。
[0006]其次，如何对多个移动端任务进行联合优化调度，特别是对复杂的执行顺序决策。虽然联合优化调度算法在单用户场景中得到了广泛的研究，但在多用户场景中联合优化调度的研究却很少。
[0007]总的来说，目前很少有工作考虑到多个移动端的任务的执行顺序决策，而且，在边缘服务场景下，设备间连接并非是持续的，策略迭代更新过程难以每次迭代时都能即时获得更新所需的全局信息，难以在这种情况下保障迭代更新正常进行。因此，有必要对现有技术进行改进。

技术实现思路

[0008]因此，本专利技术的目的在于克服上述现有技术的缺陷，提供一种DNN任务卸载的方法。
[0009]本专利技术的目的是通过以下技术方案实现的：
[0010]根据本专利技术的第一方面，提供一种DNN任务卸载的方法，用于移动端的DNN任务卸载到边缘服务器的过程，其特征在于，该方法包括：B1、移动端向边缘服务器发出任务卸载请求，获取边缘服务器反馈的将任务时段划分为多个时隙的信息；B2、所述移动端根据多个时隙的信息生成预期策略并获取邻居移动端的预期策略，其中，预期策略中将DNN任务按层划分为在移动端本地执行的前期任务和在边缘服务器的相应时隙处理的后期任务；B3、所述移动端根据自身的预期策略和最新获得的邻居移动端的预期策略估算各时隙的服务处理时延，以自身成本最小化为优化目标更新预期策略，重复该步骤直至获得边缘服务器按照预设的规则确认移动端已获得最优预期策略的信号并将最新的预期策略作为卸载策略；B4、所述移动端根据卸载策略将后期任务中的子任务卸载到指定的时隙执行。
[0011]在本专利技术的一些实施例中，预期策略采用以下拆分矩阵的形式设置：
[0012][0013]其中，y
i
表示移动端i的预期策略，i∈{1,
…
,N}，N表示移动端的数量，对于该拆分矩阵中的任意一个元素y
ijh
，j∈{1,
…
,M}，M表示DNN任务的层数，该拆分矩阵的各个行对应于DNN任务的各个子任务，h∈{0,1,
…
,H}，H表示时隙的数量，拆分矩阵的列包括对应于子任务在本地处理的列和对应于子任务卸载到边缘服务器的对应时隙的列，在拆分矩阵的元素中用第一数值表示该元素所在的行对应子任务按照该元素所在列对应的方式处理，用不同于第一数值的第二数值表示该元素所在的行对应子任务不由该元素所在列对应的方式处理。
[0014]在本专利技术的一些实施例中，按照以下多个约束条件对移动端更新预期策略的范围进行限制：第一约束条件：DNN任务中在前执行的子任务分配的时隙不能位于在后执行的子
任务分配的时隙之后；第二约束条件：更新的预期策略需要满足移动端的时延需求；第三约束条件：每个时隙内的子任务数量不能大于边缘服务器并行执行的子任务的最大数量；第四约束条件：一个移动端分配到同一个时隙的所有子任务的处理时延之和不能大于时隙的长度。
[0015]在本专利技术的一些实施例中，所述步骤B3包括：B31、移动端对自身的预期策略和最新获得的邻居移动端的预期策略按照预设的时隙时延估算方式估算各时隙的服务处理时延；B32、所述移动端获取各个时隙的服务单价，根据最新估算的各时隙的服务处理时延以自身成本最小化为优化目标更新预期策略，该成本包括时延成本、能耗成本和边缘服务价格成本；B33、所述移动端确认是否获得边缘服务器按照预设的规则确认移动端已获得最优预期策略的信号，其中，该信号是在边缘服务器根据一次迭代更新前后所有移动端的平均成本变化量的绝对值小于中止迭代参数或者迭代更新的次数达到预设上限次数时发出的。
[0016]在本专利技术的一些实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种DNN任务卸载的方法，用于移动端的DNN任务卸载到边缘服务器的过程，其特征在于，该方法包括：B1、移动端向边缘服务器发出任务卸载请求，获取边缘服务器反馈的将任务时段划分为多个时隙的信息；B2、所述移动端根据多个时隙的信息生成预期策略并获取邻居移动端的预期策略，其中，预期策略中将DNN任务按层划分为在移动端本地执行的前期任务和在边缘服务器的相应时隙处理的后期任务；B3、所述移动端根据自身的预期策略和最新获得的邻居移动端的预期策略估算各时隙的服务处理时延，以自身成本最小化为优化目标更新预期策略，重复该步骤直至获得边缘服务器按照预设的规则确认移动端已获得最优预期策略的信号并将最新的预期策略作为卸载策略；B4、所述移动端根据卸载策略将后期任务中的子任务卸载到指定的时隙执行。2.根据权利要求1所述的DNN任务卸载的方法，其特征在于，预期策略采用以下拆分矩阵的形式设置：其中，y
i
表示移动端i的预期策略，i∈{1,
…
,N}，N表示移动端的数量，对于该拆分矩阵中的任意一个元素y
ijh
，j∈{1,
…
,M}，M表示DNN任务的层数，该拆分矩阵的各个行对应于DNN任务的各个子任务，h∈{0,1,
…
,H}，H表示时隙的数量，拆分矩阵的列包括对应于子任务在本地处理的列和对应于子任务卸载到边缘服务器的对应时隙的列，在拆分矩阵的元素中用第一数值表示该元素所在的行对应子任务按照该元素所在列对应的方式处理，用不同于第一数值的第二数值表示该元素所在的行对应子任务不由该元素所在列对应的方式处理。3.根据权利要求2的DNN任务卸载的方法，其特征在于，按照以下多个约束条件对移动端更新预期策略的范围进行限制：第一约束条件：DNN任务中在前执行的子任务分配的时隙不能位于在后执行的子任务分配的时隙之后；第二约束条件：更新的预期策略需要满足移动端的时延需求；第三约束条件：每个时隙内的子任务数量不能大于边缘服务器并行执行的子任务的最大数量；第四约束条件：一个移动端分配到同一个时隙的所有子任务的处理时延之和不能大于时隙的长度。4.根据权利要求2所述的DNN任务卸载的方法，其特征在于，所述步骤B3包括：B31、移动端对自身的预期策略和最新获得的邻居移动端的预期策略按照预设的时隙时延估算方式估算各时隙的服务处理时延；B32、所述移动端获取各个时隙的服务单价，根据最新估算的各时隙的服务处理时延以
自身成本最小化为优化目标更新预期策略，该成本包括时延成本、能耗成本和边缘服务价格成本；B33、所述移动端确认是否获得边缘服务器按照预设的规则确认移动端已获得最优预期策略的信号，其中，该信号是在边缘服务器...

【专利技术属性】
技术研发人员：高明晋，沈茹婧，齐文，周一青，石晶林，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：