基于部分可观测多智能体强化学习的计算卸载方法及装置制造方法及图纸

本申请提出一种基于部分可观测多智能体强化学习的计算卸载方法及装置，涉及强化学习技术领域，其中，方法包括：获取用户智能体生成的计算任务，并将所述计算任务输入策略神经网络以生成卸载决策；根据所述卸载决策将计算任务卸载到计算节点，通过排队论的方式定义传输延迟和计算延迟并反馈给用户智能体；得到基于概率控制的反馈信息；根据所述反馈信息优化评价神经网络对当前状态的评估结果。使用户智能体在部分可观测的前提下分布式地做出决策，以概率控制的方式将无模型的优化问题转换为有模型的优化问题以更有效地搜索迭代逼近全局最优解，保障任务卸载的高效性与用户卸载策略的隐私性。

【技术实现步骤摘要】

本申请涉及强化学习，尤其涉及一种基于部分可观测多智能体强化学习的计算卸载方法及装置。

技术介绍

1、近几年，人工智能(ai)、自动驾驶、工业物联网(iot)、区块链等移动应用的激增正在重塑我们的生活风格，并获得了工业界和学术界的广泛关注。然而，这些应用程序都是计算密集和延迟敏感的。这使得这些应用程序的计算任务不太可能被资源有限的手持设备处理。云边端(cloud-edge-device,ced)系统是一种融合了云计算和边缘计算优点的新的计算范式。与传统计算范式相比，云边端系统提供弹性资源的移动设备，可以同时克服资源短缺、边缘计算经济效益低和延迟问题。此外，在云和边缘计算的支持下，云边端系统还可以提供稳定的计算资源以满足用户服务质量需求。然而，云边端系统中的移动端设备具有异构性以及其提供的计算资源具有较高的随机性，这使得如何高性能地将用户的计算任务卸载到云边端系统中合适的计算节点是困难的。

技术实现思路

1、本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

2、为此，本申请的第一个目的在于提出本文档来自技高网...

【技术保护点】

1.一种基于部分可观测多智能体强化学习的计算卸载方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述将所述计算任务输入策略神经网络以生成卸载决策，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据当前的可观测环境输入得到策略概率分布，包括：

4.根据权利要求3所述的方法，其特征在于，所述通过排队论的方式定义传输延迟和计算延迟并反馈给用户智能体，包括：

5.根据权利要求4所述的方法，其特征在于，所述对策略进行分布式地随机优化以获取所述卸载决策，包括：

6.根据权利要求5所述的方法，其特征在于，所...

【技术特征摘要】

1.一种基于部分可观测多智能体强化学习的计算卸载方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述将所述计算任务输入策略神经网络以生成卸载决策，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据当前的可观测环境输入得到策略概率分布，包括：

4.根据权利要求3所述的方法，其特征在于，所述通过排队论的方式定义传输延迟和计算延迟并反馈给用户智能体，包括：

5.根据权利要求4所述的方法，其特征在于，所述对策略进行分布式地随机优化以获取所述卸载决策，包括：

6.根据权利要求5所述...

【专利技术属性】
技术研发人员：姚苏，徐恪，罗松，高翔宇，
申请(专利权)人：清华大学，
类型：发明
国别省市：