System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于推理请求卸载的能耗优化方法及系统技术方案_技高网

一种基于推理请求卸载的能耗优化方法及系统技术方案

技术编号:40869404 阅读:11 留言:0更新日期:2024-04-08 16:35
本发明专利技术提出一种基于推理请求卸载的能耗优化方法及系统,包括:构建用户推理请求在本地执行的移动设备能耗模型、移动设备将用户推理清求发送至可协作移动设备执行的移动设备能耗模型,以及移动设备将用户推理请求发送至边缘服务器执行的移动设备能耗模型;求解各次迭代中卸载方案所对应的设备资源配置方案与移动设备总能耗;若连续多次调整卸载方案都无法降低移动设备总能耗,则将当前最低总能耗所对应的卸载方案与设备资源配置方案确立为最终方案;边缘服务器将推理请求的卸载方案和设备资源配置方案结果发送至各个移动设备。本发明专利技术使用D2D技术来利用移动设备的空闲资源以协作提供多类型推理服务,降低移动设备总能耗。

【技术实现步骤摘要】

本专利技术属于边缘智能领域,涉及一种基于推理请求卸载的能耗优化方法及系统


技术介绍

1、随着深度学习技术的蓬勃发展,多种新型人工智能应用例如图像分类、视频分析、人脸识别等已经逐渐成为日常生活的一部分,用户对不同智能应用的需求随之增加。为了实现移动设备独立完成推理任务,目前已出现了各种能够提高移动设备计算能力的技术。但是,由于移动设备的存储资源有限,自身无法部署所需要的所有模型。移动边缘计算被公认为是一种有前途的解决方案。然而,独立边缘服务器的资源有限,当较多的用户将推理请求卸载至边缘服务器时,可能会引起激烈的资源竞争,从而导致分配到的资源无法满足用户服务体验要求。

2、针对此问题,考虑引入d2d技术来充分利用部署在移动设备上的模型和空闲资源,从而协作获得多类型推理服务。但是,由于移动设备的电池容量有限,不能忽略d2d协作推理所消耗的能量。

3、现有技术针对用户的推理请求提出了一系列的卸载决策和资源配置方案。然而,没有考虑到用户的推理请求可能与其移动设备中部署的模型不兼容的情况,忽略了移动设备可以通过d2d技术来共享现有技术提供的推理服务和空闲资源,从而减少独立服务器的资源竞争。

4、因此,如何找到一种能够在降低移动设备能耗的同时,通过d2d协作和端边协作为用户提供多类型推理服务的有效方法,是本领域技术人员需解决的技术问题。


技术实现思路

1、鉴于以上所述现有技术的缺点,本专利技术提供一种基于推理请求卸载的能耗优化方法及系统。考虑到用户对不同深度学习应用的需求多样性,使用d2d技术来充分利用移动设备的空闲资源以协作提供多类型推理服务,使得移动设备总能耗降低。

2、第一个方面,本专利技术提供一种基于推理请求卸载的能耗优化方法,包括以下步骤:

3、步骤1:将推理请求信息、移动设备的模型部署信息和计算资源信息发送至边缘服务器;

4、步骤2:构建用户推理请求在本地执行的移动设备能耗模型、移动设备将用户推理清求发送至可协作移动设备执行的移动设备能耗模型,以及移动设备将用户推理请求发送至边缘服务器执行的移动设备能耗模型;

5、步骤3:边缘服务器迭代调整推理请求的卸载方案,并求解各次迭代中卸载方案所对应的设备资源配置方案与移动设备总能耗;若连续多次调整卸载方案都无法降低移动设备总能耗,则将当前最低总能耗所对应的卸载方案与设备资源配置方案确立为最终方案;

6、步骤4:边缘服务器将推理请求的卸载方案和设备资源配置方案结果发送至各个移动设备。

7、第二个方面,本专利技术提供一种基于推理请求卸载的能耗优化系统,包括:

8、信息发送模块,用于将推理请求信息、移动设备的模型部署信息和计算资源信息发送至边缘服务器;

9、推理请求构建模块,用于构建用户推理请求在本地执行的移动设备能耗模型、移动设备将用户推理清求发送至可协作移动设备执行的移动设备能耗模型,以及移动设备将用户推理请求发送至边缘服务器执行的移动设备能耗模型;

10、卸载方案调整模块,用于边缘服务器迭代调整推理请求的卸载方案,并求解各次迭代中卸载方案所对应的设备资源配置方案与移动设备总能耗;若连续多次调整卸载方案都无法降低移动设备总能耗,则将当前最低总能耗所对应的卸载方案与设备资源配置方案确立为最终方案;

11、卸载方案分配模块,用于边缘服务器将推理请求的卸载方案和设备资源配置方案结果发送至各个移动设备。

12、第三个方面,本专利技术提供一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行本专利技术第一方面实施例所述的方法。

13、第四个方面,本专利技术提供一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,所述计算机程序运行时执行本专利技术第一方面实施例所述的方法。

14、与现有技术相比,本专利技术技术方案的有益效果是:

15、本专利技术考虑了用户对不同深度学习应用的需求多样性,构建用户推理请求在本地执行的移动设备能耗模型、移动设备将用户推理清求发送至可协作移动设备执行的移动设备能耗模型,以及移动设备将用户推理请求发送至边缘服务器执行的移动设备能耗模型,边缘服务器迭代调整推理请求的卸载方案,并求解各次迭代中卸载方案所对应的设备资源配置方案与移动设备总能耗;使用d2d技术来充分利用移动设备的空闲资源以协作提供多类型推理服务,降低移动设备总能耗。

本文档来自技高网...

【技术保护点】

1.一种基于推理请求卸载的能耗优化方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的方法,其特征在于,所述步骤1具体为:

3.根据权利要求1所述的方法,其特征在于,步骤2所述获取所有移动设备的总能耗,具体为:

4.根据权利要求3所述的方法,其特征在于,所述步骤3具体为:

5.根据权利要求4所述的方法,其特征在于,步骤3.1,具体为:

6.根据权利要求5所述的方法,其特征在于,步骤3.2所述迭代地调整推理请求的卸载方案,具体为:

7.根据权利要求6中所述的方法,其特征在于,所述步骤3.3具体为:

8.一种基于推理请求卸载的能耗优化系统,使用上述权利要求1~7任一项所述基于推理请求卸载的能耗优化方法,其特征在于,包括:

9.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,所述计算机程序运行时执行所述权利要求1至7中任一项所述的方法。

...

【技术特征摘要】

1.一种基于推理请求卸载的能耗优化方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的方法,其特征在于,所述步骤1具体为:

3.根据权利要求1所述的方法,其特征在于,步骤2所述获取所有移动设备的总能耗,具体为:

4.根据权利要求3所述的方法,其特征在于,所述步骤3具体为:

5.根据权利要求4所述的方法,其特征在于,步骤3.1,具体为:

6.根据权利要求5所述的方法,其特征在于,步骤3.2所述迭代地调整推理请求的卸载方案,具体为:

7.根据权利要求...

【专利技术属性】
技术研发人员:武继刚曾梓榆黄家乐吴嘉鑫
申请(专利权)人:广东工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1