用于绿色移动边缘计算的深度强化学习资源分配方法组成比例

本发明专利技术公开了一种用于绿色移动边缘计算的深度强化学习资源分配方法，通过建立一个通信网络模型，初始化通信环境、基站数量、用户数量以及子载波数；确定优化目标以及约束条件；将优化问题转换为马尔科夫决策过程，确定智能体、状态空间、动作空间以及奖励函数，使用深度强化学习算法训练，为每个智能体分配最优的策略；智能体通过PPO和D3QN算法与环境不断交互，优化更新网络参数；得到最优的资源分配方案；通过基于分散式多智能体深度强化学习的资源分配算法，实现长期平均能源效率的最大化，促进多智能体之间的策略协调，从而优化资源分配，为未来边缘计算和通信网络的发展提供一种高效、可持续的资源管理解决方案。

【技术实现步骤摘要】

本专利技术涉及无线通信，特别是涉及一种用于绿色移动边缘计算的深度强化学习资源分配方法。

技术介绍

1、随着移动用户数量和计算密集型应用的指数级增长，现代通信系统面临着更为动态的网络环境和更为严格的用户服务质量要求。为了应对这一挑战，资源分配成为优化网络性能的基本问题之一。然而，到目前为止，阻碍了5g等关键技术发展的一个主要障碍是大量增加的能源消耗。

2、能源效率的提升已成为近年来通信
的重要关注点。能源效率指的是在完成相同任务的同时最大限度地减少能源消耗。通过在不牺牲网络性能的情况下降低能源浪费和成本，节能通信系统在生态和经济方面都比现有的通信系统更为可持续和健全。因此，针对通信系统的能源效率问题，需要寻求一种创新的解决方案，既能提高网络性能，又能降低能源消耗。

技术实现思路

1、为了解决以上技术问题，本专利技术提供一种用于绿色移动边缘计算的深度强化学习资源分配方法，包括以下步骤：

2、s1、建立一个通信网络模型，初始化通信环境、基站数量、用户数量以及子载波数；

3、本文档来自技高网...

【技术保护点】

1.一种用于绿色移动边缘计算的深度强化学习资源分配方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的用于绿色移动边缘计算的深度强化学习资源分配方法，其特征在于：所述步骤S1中，通信环境为一个支持下行边缘计算MEC的异构网络HetNet，通信网络模型包括一个宏基站和M个小基站，每个基站配备指定的MEC服务器；基站和MEC服务器通过有线网络连接，基站通过有线网络将计算密集型任务卸载到MEC服务器；通信网络模型还包括L个正交频分复用子载波和两种类型的用户，即主用户和辅助用户；所有主用户直接由宏基站提供服务，而辅助用户则分别由其关联的小基站提供服务。>

3.根据权利...

【技术特征摘要】

1.一种用于绿色移动边缘计算的深度强化学习资源分配方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的用于绿色移动边缘计算的深度强化学习资源分配方法，其特征在于：所述步骤s1中，通信环境为一个支持下行边缘计算mec的异构网络hetnet，通信网络模型包括一个宏基站和m个小基站，每个基站配备指定的mec服务器；基站和mec服务器通过有线网络连接，基站通过有线网络将计算密集型任务卸载到mec服务器；通信网络模型还包括l个正交频分复用子载波和两种类型的用户，即主用户和辅助用户；所有主用户直接由宏基站提供服务，而辅助用户则分别由其关联的小基站提供服务。

3.根据权利要求1所述的用于绿色移动边缘计算的深度强化学习资源分配方法，其特征在于：所述步骤s2中，将优化目标设置为通过优化资源分配策略，最大限度地提高支持mec的hetnet的能源效率；

4.根据权利要求3所述的用于绿色移动边缘计算的深度强化学习资源分配方法，其特征在于：所述步骤s3中，

5.根据权利要求1所述的用于绿色移动边缘计算的深度强化学习资源分配方法，其特征在于：所述步骤s4中，使用卷积神经网络模拟策略函数和q函数，并用深度学习的方法来训练，将d3qn扩展到了连续的动作空间或高维度的离散值；使用d3qn架构来分配子载波，并用ppo架构来分配传输功率，当模型训练结束后，每个智能体进行分布式执行以获得自己的动作输出。

6.根据权利要求5所述的用于绿色移动边缘计算的深度强化学习资源分配方法，其特征在于：所述步骤s4中，通过负责子带选择的d3qn网络作为顶层的强化学习组件，底层使用ppo算法来训练actor网络负责发射功率的选择；顶层使用由子带索引组成的离散动作空间，底层由一个连续动作空间定义为apower＝[0，1]；底层在顶层之后执行，定义动作为底层actor网络在设置智能体的发射功率之前需要顶层的...

【专利技术属性】
技术研发人员：徐钰龙，李君，张圣，胡静，
申请(专利权)人：无锡学院，
类型：发明
国别省市：