【技术实现步骤摘要】
用于边缘计算环境中面向深度学习应用的任务卸载方法
本专利技术属于边缘计算和深度学习领域,特别涉及一种在边缘计算环境中实现面向深度学习应用的任务卸载策略。
技术介绍
近年来,随着深度学习技术的不断发展以及智能摄像头、智能传感器等智能终端的快速普及,在智能终端上运行深度学习应用已成为当前发展的必然趋势。智能终端实时采集、感知周围环境和用户行为信息等海量数据,并通过深度学习算法对这些环境与用户数据进行挖掘分析,以实现智能终端的智能化。随着智能应用的趋势朝实时处理的方向发展,对应用的执行性能提出了更高的需求:例如,在自动驾驶应用中,为了实现对周围环境的实时感知及操作反馈,需要在100毫秒内完成对车载摄像头及相关传感器输入数据的分析处理;而在智能安防应用中,为了实现对环境的实时监控及人员实时追踪,需要每秒识别24张视频帧才能完成对摄像头采集的视频数据进行及时处理,即在50毫秒左右就应该完成一张图片的处理。因此,如何对智能终端的输入数据进行高精确度、低延时的分析与处理成为实现深度学习应用在智能终端上高效执行的关键。然而,由于智能终端上的能源、计算资源相对有限,如果直接在智能终端上运行深度学习应用,将无法满足高精度、低延迟的应用需求。针对这个问题,目前在智能终端上执行与部署深度学习应用的方案可以分为两类:(1)在智能终端上部署适用于终端环境的深度学习框架,利用模型压缩的方法获得轻量化模型以降低深度学习的计算量和存储空间以及利用GPU等计算架构对模型推断任务的执行进行优化。(2)利用云数据中心近似无限的计算和存储能力,将终端上的推断任务全部卸载到云数据中心进行处理,以满足 ...
【技术保护点】
1.一种用于边缘计算环境中面向深度学习应用的任务卸载方法,其特征在于包括如下步骤:步骤1,在边缘计算环境中,利用深度神经网络分支网络的思想将深度神经网络划分为可级联的若干个模型分块,每个分块都对应一个出口,并分布式地部署在“端‑边缘‑云”中不同的位置,由此构建面向深度学习应用的边缘计算执行框架;步骤2,基于步骤1所构建的边缘计算执行框架,采集系统中的相关数据并分析相应的特征,具体包括:边缘计算环境中计算资源、能源限制数据特征、深度学习分支网络模型的推断能力特征、终端所到达任务的数据特征;边缘计算环境下当前网络传输能力特征;步骤3,将步骤2中所得到的特征数据作为输入参数,使用马尔科夫理论,建立M/M/n排队模型,得到终端设备层和边缘服务器层的平均任务数的期望;进一步分析得到任务在终端设备上开始执行以及将任务直接卸载到边缘服务器上开始执行的任务完成时间期望;并以上述两个期望的最小最大值为目标函数,以终端设备层的能源以及计算资源作为限制条件,构建最小化任务执行时间的优化模型;步骤4,使用启发式算法求解步骤3中所得到的优化模型,得到最优卸载方案。
【技术特征摘要】
1.一种用于边缘计算环境中面向深度学习应用的任务卸载方法,其特征在于包括如下步骤:步骤1,在边缘计算环境中,利用深度神经网络分支网络的思想将深度神经网络划分为可级联的若干个模型分块,每个分块都对应一个出口,并分布式地部署在“端-边缘-云”中不同的位置,由此构建面向深度学习应用的边缘计算执行框架;步骤2,基于步骤1所构建的边缘计算执行框架,采集系统中的相关数据并分析相应的特征,具体包括:边缘计算环境中计算资源、能源限制数据特征、深度学习分支网络模型的推断能力特征、终端所到达任务的数据特征;边缘计算环境下当前网络传输能力特征;步骤3,将步骤2中所得到的特征数据作为输入参数,使用马尔科夫理论,建立M/M/n排队模型,得到终端设备层和边缘服务器层的平均任务数的期望;进一步分析得到任务在终端设备上开始执行以及将任务直接卸载到边缘服务器上开始执行的任务完成时间期望;并以上述两个期望的最小最大值为目标函数,以终端设备层的能源以及计算资源作为限制条件,构建最小化任务执行时间的优化模型;步骤4,使用启发式算法求解步骤3中所得到的优化模型,得到最优卸载方案。2.如权利要求1所述的方法,其特征在于:所述步骤1中,将深度神经网络划分为3个分块,部署方案是:将第一分块部署在终端设备上,将第一、第二分块部署在边缘服务器上,最后在云数据中心部署第一至第三分块。3.如权利要求2所述的方法,其特征在于:所述步骤1中,在构建边缘计算执行框架时,任务卸载决策器处于终端设备层,终端设备接收到任务之后决定将任务放在本地开始执行或是直接将任务迁移到边缘服务器开始执行,具体包括以下步骤:步骤11,终端设备接收到任务后,任务卸载决策器判断其是否是延迟敏感型任务,若是进入步骤12,否则直接将任务迁移至云数据中心进行计算;步骤12,任务卸载决策器根据步骤4中得到的最优卸载方案决定是否将其卸载至边缘服务器,若是进入步骤13,否则进入步骤14;步骤13,终端设备将任务通过网络传输到边缘服务器层,从第一分块开始执行,到第一分块对应的第一出口时判断推断结果是否满足识别精度阈值,若是则返回结果给终端设备,否则进入步骤15;步骤14,任务在终端设备开始执行,使用第一分块对其进行推断,在第一出口判断推断结果是否满足识别精度阈值,若是则结束任务,否则将第一出口的输出数据传输到边缘服务器,进入步骤15;步骤15,接收任务在第一出口的输出数据,作为第二分块的输入数据,在第二分块对应的第二出口判断是否满足识别精度阈值,若是则返回推断结果给终端设备,否则将第二出口的输出数据传输到云数据中心,进入步骤16;步骤16,接收来自边缘服务器的任务,运行分支网络模型的第三分块对接收数据进一步推断,将输出结果返回给终端设备。4.如权利要求2所述的方法,其特征在于:所述步骤3中,构建最小化任务执行时间的...
【专利技术属性】
技术研发人员:东方,黄兆武,沈典,郭晓琳,罗军舟,
申请(专利权)人:东南大学,
类型:发明
国别省市:江苏,32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。