物联网边缘计算任务卸载方法及系统技术方案

本发明专利技术实施例提供物联网边缘计算任务卸载方法及系统。该方法包括：获取物联网边缘计算网络的场景模型；基于深度强化学习PPO算法，设计任务卸载策略，定义环境状态向量和行为向量；根据环境状态变量和行为向量设定预设任务请求规定，基于预设任务请求规定完成所述场景模型中若干网元的计算任务卸载请求。本发明专利技术实施例通过在物联网场景下引入边缘计算技术和深度强化学习技术，利用深度强化学习中的PPO算法逐步学习，完善其神经网络模型，应用更优的边缘计算任务卸载策略，在保证复杂度不高的情况下，可以灵活地降低网络时延。

【技术实现步骤摘要】
物联网边缘计算任务卸载方法及系统
本专利技术涉及网络资源分配
，尤其涉及物联网边缘计算任务卸载方法及系统。
技术介绍
云计算作为一种网络的重要计算应用模式，快速推动互联网的发展，高速且可靠的空中接口使得远端的云数据中心可以对应用设备进行计算服务。然而，云数据中心与边缘设备之间较长的数据传输链路导致了移动互联网应用的长响应时延，无法满足现如今大部分时延敏感性互联网应用的需求，由此产生了边缘计算技术。边缘计算技术具有低时延、低带宽成本、高安全性、高弹性等特点，这些特点使得边缘计算的应用场景十分广泛，目前常被应用到智能穿戴设备、视频流分析、语言语音处理、物联网无线传感器、增强现实技术等多种场景。边缘计算通过部署多个边缘服务器，将数据中心的部分计算、存储能力下放到网络的边缘侧，从而大幅缩短数据的传输链路长度，减小网络的传递时延。传统物联网场景主要是将设备、环境以及人在生产生活时所产生的数据采集统计到远端的云数据中心，随后利用云服务器的软件系统以及强大的计算能力对数据进行筛选、分析或者预测，从而获得场景的状况，移动物联网在此基础上更增加了设本文档来自技高网...

【技术保护点】
1.物联网边缘计算任务卸载方法，其特征在于，包括：/n获取物联网边缘计算网络的场景模型；/n基于深度强化学习PPO算法，在所述场景模型中设计任务卸载策略，定义环境状态向量和行为向量；/n根据所述环境状态变量和所述行为向量设定预设任务请求规定，基于所述预设任务请求规定完成所述场景模型中若干网元的计算任务卸载请求。/n

【技术特征摘要】
1.物联网边缘计算任务卸载方法，其特征在于，包括：
获取物联网边缘计算网络的场景模型；
基于深度强化学习PPO算法，在所述场景模型中设计任务卸载策略，定义环境状态向量和行为向量；
根据所述环境状态变量和所述行为向量设定预设任务请求规定，基于所述预设任务请求规定完成所述场景模型中若干网元的计算任务卸载请求。


2.根据权利要求1所述的物联网边缘计算任务卸载方法，其特征在于，所述获取物联网边缘计算网络的场景模型，具体包括：
将所述物联网边缘计算网络划分为远端云中心层、边缘层和边缘设备层；
所述边缘层包括边缘服务器，所述边缘服务器包括基站型边缘服务器和接入型边缘服务器；
所述边缘设备层包括智能移动设备、传感设备、智能生产设备和智能车辆。


3.根据权利要求2所述的物联网边缘计算任务卸载方法，其特征在于，所述获取物联网边缘计算网络的场景模型，还包括：
将网络时延定义为计算时延、传递时延、传输时延和排队时延；
所述计算时延基于计算任务的计算量大小和边缘服务器的计算性能指标所获得；
所述传递时延基于发送方与接收方之间的地理距离和发送方与接收方之间的网络传递速度所获得；
所述传输时延基于被传输数据大小和网络节点的网络传输速度所获得；
所述排队时延基于边缘服务器的总计算容量、计算速度和当前任务到达边缘服务器之前的任务计算量所获得。


4.根据权利要求1所述的物联网边缘计算任务卸载方法，其特征在于，所述基于深度强化学习PPO算法，在所述场景模型中设计任务卸载策略，定义环境状态向量和行为向量，具体包括：
初始化网络策略参数，将更新的网络策略参数输入环境并进行交互，从所述环境中收集状态信息数据和行动信息数据，计算当前奖励值，并对目标函数进行更新；
针对所述深度强化学习PPO算法的Actor-Critic模式，定义所述环境状态向量包括服务器向量、智能车辆向量和终端向量，所述行为向量包括智能车辆向量行为向量和智能终端行为向量。


5.根据权利要求4所述的物联网边缘计算任务卸载方法，其特征在于，所述目标函数包括将KL散度加入至PPO模型的似然函数中所获得，所述KL散度表示若干网络策略参数之间的差距，并由预设适应性限制条件所限制。


6.根据权利要求2所述的物联网边缘计算任务卸载方法，其特征在于，...

【专利技术属性】
技术研发人员：徐思雅，胡博，赵景宏，郭少勇，尚立，杨超，苑经纬，金垒，亢松，
申请(专利权)人：北京邮电大学，国网辽宁省电力有限公司信息通信分公司，国网河北省电力有限公司信息通信分公司，国家电网有限公司，
类型：发明
国别省市：北京;11