当前位置: 首页 > 专利查询>东南大学专利>正文

用于边缘计算环境中面向深度学习应用的任务卸载方法技术

技术编号:22329885 阅读:19 留言:0更新日期:2019-10-19 12:14
本发明专利技术公开一种用于边缘计算环境中面向深度学习应用的任务卸载方法,首先将深度神经网络划分为若干个模型分块,采集系统中的相关数据并分析相应的特征;将得到的特征数据作为输入参数,建立M/M/n排队模型,得到终端设备层和边缘服务器层的平均任务数的期望,及任务在终端设备上开始执行以及将任务直接卸载到边缘服务器上开始执行的任务完成时间期望;以上述两个期望的最小最大值为目标函数,构建最小化任务执行时间的优化模型;使用启发式算法求解优化模型,得到最优卸载方案。此种方法能够实现针对不同的深度学习应用提出多模式,细粒度的个性化任务卸载方案,最小化任务完成时间,提高终端设备的资源利用率,从而满足高精度、低延迟的应用需求。

【技术实现步骤摘要】
用于边缘计算环境中面向深度学习应用的任务卸载方法
本专利技术属于边缘计算和深度学习领域,特别涉及一种在边缘计算环境中实现面向深度学习应用的任务卸载策略。
技术介绍
近年来,随着深度学习技术的不断发展以及智能摄像头、智能传感器等智能终端的快速普及,在智能终端上运行深度学习应用已成为当前发展的必然趋势。智能终端实时采集、感知周围环境和用户行为信息等海量数据,并通过深度学习算法对这些环境与用户数据进行挖掘分析,以实现智能终端的智能化。随着智能应用的趋势朝实时处理的方向发展,对应用的执行性能提出了更高的需求:例如,在自动驾驶应用中,为了实现对周围环境的实时感知及操作反馈,需要在100毫秒内完成对车载摄像头及相关传感器输入数据的分析处理;而在智能安防应用中,为了实现对环境的实时监控及人员实时追踪,需要每秒识别24张视频帧才能完成对摄像头采集的视频数据进行及时处理,即在50毫秒左右就应该完成一张图片的处理。因此,如何对智能终端的输入数据进行高精确度、低延时的分析与处理成为实现深度学习应用在智能终端上高效执行的关键。然而,由于智能终端上的能源、计算资源相对有限,如果直接在智能终端上运行深度学习应用,将无法满足高精度、低延迟的应用需求。针对这个问题,目前在智能终端上执行与部署深度学习应用的方案可以分为两类:(1)在智能终端上部署适用于终端环境的深度学习框架,利用模型压缩的方法获得轻量化模型以降低深度学习的计算量和存储空间以及利用GPU等计算架构对模型推断任务的执行进行优化。(2)利用云数据中心近似无限的计算和存储能力,将终端上的推断任务全部卸载到云数据中心进行处理,以满足深度学习应用对计算与存储资源的需求。以上两种方法初步实现了深度学习应用在智能终端上的执行,但是仍然存在如下局限:(1)对于终端执行模式,采用模型压缩的方法,由于简化了模型,导致其推断精度将受到极大影响,无法满足应用对高精度的需求。(2)如果将全部终端数据发送到云端处理,虽然能支持复杂深度学习模型的计算以保证推断的精度,但由于需要将大量数据传输到云数据中心处理,终端和云之间的长距且不稳定的主干网络将导致较高的传输延时,难以满足深度学习应用的低延迟需求。因此上述执行模式受到计算资源以及网络传输性能等方面的制约,无法同时满足深度学习应用推断精度与实时性的需求。为了解决上述问题,研究人员提出了一种新型的计算模式--边缘计算。边缘计算是指在网络边缘执行计算的一种新型计算模型,边缘计算中边缘的下行数据表示云服务,上行数据表示万物互联服务。边缘计算在靠近终端的位置部署一层计算资源较强的边缘层,通过对智能终端设备上的任务做出卸载决策,将计算量较大的部分迁移到边缘服务器甚至云上进行处理,以此扩展终端的计算能力和存储能力,有效提高应用的执行效率并实现高精度低延时的计算要求。目前,已有部分工作关注于利用边缘计算架构支持智能终端智能应用,其大多是将通用的计算架构与任务卸载算法直接应用于推断任务的卸载决策与调度。由于通用的计算架构与任务卸载算法无法有效适用于深度学习应用,必将导致能源以及计算资源的浪费,增大应用的响应时间。现有边缘计算执行框架以及卸载机制的局限性主要体现在以下两点:(1)根据深度神经网络的特征,简单的输入数据只需要经过浅层模型网络即可完成推断。但是现有工作通常认为每次模型推断都必需经过完整的模型网络才能得到结果。因此会造成大量不必要的计算开销,且影响模型推断任务的响应速度;(2)现有的工作通常认为机器学习计算任务不可分割,并且只能进行0-1模式的任务卸载,这种卸载模式过于单一,即单个推断任务要么全在终端执行,要么在全在边缘或云端执行。这种粗粒度的卸载方式无法有效利用终端的计算能力,将导致任务的执行时间延长,同时还将大大增加边缘端的负载。故现有边缘计算执行框架及卸载机制还存在较大的局限性,在计算资源以及能源相对有限的终端设备上仍然无法满足深度学习应用高精度低延时的需求,本案由此产生。
技术实现思路
本专利技术的目的,在于提供一种用于边缘计算环境中面向深度学习应用的任务卸载方法,其可克服
技术介绍
中所指出的现有边缘计算环境中粗粒度、模式单一的任务卸载模式无法有效利用终端的计算能力,导致任务执行时间延长、边缘端负载增加,以及传统深度神经网络的推断默认必需经过完整的网络模型,造成额外计算开销大、响应速度低的问题,该方法能够实现针对不同的深度学习应用提出多模式,细粒度的个性化任务卸载方案,最小化任务完成时间,提高终端设备的资源利用率,从而满足高精度、低延迟的应用需求。为了达成上述目的,本专利技术的解决方案是:一种用于边缘计算环境中面向深度学习应用的任务卸载方法,包括如下步骤:步骤1,在边缘计算环境中,利用深度神经网络分支网络的思想将深度神经网络划分为可级联的若干个模型分块,每个分块都对应一个出口,并分布式地部署在“端-边缘-云”中不同的位置,由此构建面向深度学习应用的边缘计算执行框架;步骤2,基于步骤1所构建的边缘计算执行框架,采集系统中的相关数据并分析相应的特征,具体包括:边缘计算环境中计算资源、能源限制数据特征、深度学习分支网络模型的推断能力特征、终端所到达任务的数据特征;边缘计算环境下当前网络传输能力特征;步骤3,将步骤2中所得到的特征数据作为输入参数,使用马尔科夫理论,建立M/M/n排队模型,得到终端设备层和边缘服务器层的平均任务数的期望;进一步分析得到任务在终端设备上开始执行以及将任务直接卸载到边缘服务器上开始执行的总任务完成时间期望;并以上述两个期望的最小最大值为目标函数,以终端设备层的能源以及计算资源作为限制条件,构建最小化任务执行时间的优化模型;步骤4,使用启发式算法求解步骤3中所得到的优化模型,得到最优卸载方案。上述步骤1中,将深度神经网络划分为3个分块,部署方案是:将第一分块部署在终端设备上,将第一、第二分块部署在边缘服务器上,最后在云数据中心部署第一至第三分块。上述步骤1中,在构建边缘计算执行框架时,任务卸载决策器处于终端设备层,终端设备接收到任务之后决定将任务放在本地开始执行或是直接将任务迁移到边缘服务器开始执行,具体包括以下步骤:步骤11,终端设备接收到任务后,任务卸载决策器判断其是否是延迟敏感型任务,若是进入步骤12,否则直接将任务迁移至云数据中心进行计算;步骤12,任务卸载决策器根据步骤4中得到的最优卸载方案决定是否将其卸载至边缘服务器,若是进入步骤13,否则进入步骤14;步骤13,终端设备将任务通过网络传输到边缘服务器层,从第一分块开始执行,到第一分块对应的第一出口时判断推断结果是否满足识别精度阈值,若是则返回结果给终端设备,否则进入步骤15;步骤14,任务在终端设备开始执行,使用第一分块对其进行推断,在第一出口判断推断结果是否满足识别精度阈值,若是则结束任务,否则将第一出口的输出数据传输到边缘服务器,进入步骤15;步骤15,接收任务在第一出口的输出数据,作为第二分块的输入数据,在第二分块对应的第二出口判断是否满足识别精度阈值,若是则返回推断结果给终端设备,否则将第二出口的输出数据传输到云数据中心,进入步骤16;步骤16,接收来自边缘服务器的任务,运行分支网络模型的第三分块对接收数据进一步推断,将输出结果返回给终端设备。上述步骤3中,构建最小本文档来自技高网
...

【技术保护点】
1.一种用于边缘计算环境中面向深度学习应用的任务卸载方法,其特征在于包括如下步骤:步骤1,在边缘计算环境中,利用深度神经网络分支网络的思想将深度神经网络划分为可级联的若干个模型分块,每个分块都对应一个出口,并分布式地部署在“端‑边缘‑云”中不同的位置,由此构建面向深度学习应用的边缘计算执行框架;步骤2,基于步骤1所构建的边缘计算执行框架,采集系统中的相关数据并分析相应的特征,具体包括:边缘计算环境中计算资源、能源限制数据特征、深度学习分支网络模型的推断能力特征、终端所到达任务的数据特征;边缘计算环境下当前网络传输能力特征;步骤3,将步骤2中所得到的特征数据作为输入参数,使用马尔科夫理论,建立M/M/n排队模型,得到终端设备层和边缘服务器层的平均任务数的期望;进一步分析得到任务在终端设备上开始执行以及将任务直接卸载到边缘服务器上开始执行的任务完成时间期望;并以上述两个期望的最小最大值为目标函数,以终端设备层的能源以及计算资源作为限制条件,构建最小化任务执行时间的优化模型;步骤4,使用启发式算法求解步骤3中所得到的优化模型,得到最优卸载方案。

【技术特征摘要】
1.一种用于边缘计算环境中面向深度学习应用的任务卸载方法,其特征在于包括如下步骤:步骤1,在边缘计算环境中,利用深度神经网络分支网络的思想将深度神经网络划分为可级联的若干个模型分块,每个分块都对应一个出口,并分布式地部署在“端-边缘-云”中不同的位置,由此构建面向深度学习应用的边缘计算执行框架;步骤2,基于步骤1所构建的边缘计算执行框架,采集系统中的相关数据并分析相应的特征,具体包括:边缘计算环境中计算资源、能源限制数据特征、深度学习分支网络模型的推断能力特征、终端所到达任务的数据特征;边缘计算环境下当前网络传输能力特征;步骤3,将步骤2中所得到的特征数据作为输入参数,使用马尔科夫理论,建立M/M/n排队模型,得到终端设备层和边缘服务器层的平均任务数的期望;进一步分析得到任务在终端设备上开始执行以及将任务直接卸载到边缘服务器上开始执行的任务完成时间期望;并以上述两个期望的最小最大值为目标函数,以终端设备层的能源以及计算资源作为限制条件,构建最小化任务执行时间的优化模型;步骤4,使用启发式算法求解步骤3中所得到的优化模型,得到最优卸载方案。2.如权利要求1所述的方法,其特征在于:所述步骤1中,将深度神经网络划分为3个分块,部署方案是:将第一分块部署在终端设备上,将第一、第二分块部署在边缘服务器上,最后在云数据中心部署第一至第三分块。3.如权利要求2所述的方法,其特征在于:所述步骤1中,在构建边缘计算执行框架时,任务卸载决策器处于终端设备层,终端设备接收到任务之后决定将任务放在本地开始执行或是直接将任务迁移到边缘服务器开始执行,具体包括以下步骤:步骤11,终端设备接收到任务后,任务卸载决策器判断其是否是延迟敏感型任务,若是进入步骤12,否则直接将任务迁移至云数据中心进行计算;步骤12,任务卸载决策器根据步骤4中得到的最优卸载方案决定是否将其卸载至边缘服务器,若是进入步骤13,否则进入步骤14;步骤13,终端设备将任务通过网络传输到边缘服务器层,从第一分块开始执行,到第一分块对应的第一出口时判断推断结果是否满足识别精度阈值,若是则返回结果给终端设备,否则进入步骤15;步骤14,任务在终端设备开始执行,使用第一分块对其进行推断,在第一出口判断推断结果是否满足识别精度阈值,若是则结束任务,否则将第一出口的输出数据传输到边缘服务器,进入步骤15;步骤15,接收任务在第一出口的输出数据,作为第二分块的输入数据,在第二分块对应的第二出口判断是否满足识别精度阈值,若是则返回推断结果给终端设备,否则将第二出口的输出数据传输到云数据中心,进入步骤16;步骤16,接收来自边缘服务器的任务,运行分支网络模型的第三分块对接收数据进一步推断,将输出结果返回给终端设备。4.如权利要求2所述的方法,其特征在于:所述步骤3中,构建最小化任务执行时间的...

【专利技术属性】
技术研发人员:东方黄兆武沈典郭晓琳罗军舟
申请(专利权)人:东南大学
类型:发明
国别省市:江苏,32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1