一种基于智能云边协同的异构网高能效功率控制方法技术

本发明专利技术属于无线通信和深度强化学习技术领域，具体涉及一种基于智能云边协同的异构网高能效功率控制方法。本发明专利技术设定目标为在一个典型异构网络中优化基站的发射功率以此最大化网络的全局能量效率。通过建立目标优化模型，本发明专利技术提出一种轻量级云端

【技术实现步骤摘要】
一种基于智能云边协同的异构网高能效功率控制方法


[0001]本专利技术属于无线通信和深度强化学习
，具体涉及一种基于智能云边协同的异构网高能效功率控制方法。

技术介绍

[0002]智能设备数量的增长带来了数据吞吐量需求的显著增加，并给传统蜂窝网络系统带来了沉重的负担。为了解决这个问题，一种称为异构网络的新型网络已经成为通过在服务区域中部署不同类型的基站来增强网络容量和覆盖的有效解决方案。然而，由于异构基站的超密集部署，网络的能量消耗将进一步增加，这可能降低能量效率。能量效率是下一代无线通信系统中的关键指标之一，因为它被定义为总吞吐量与总功耗的比率，以比特/焦耳为单位测量。最大限度地提高无线网络中的能量消耗对于减少碳排放和创建可持续的通信系统至关重要。
[0003]能量效率最大化的联合功率控制在数学上已经被证明是一个具有挑战性的非确定型多项式难题，使得难以获得最优解。为了解决这个问题，当前已经提出了各种节能算法。现有的能量效率功率控制方法可以大致分为三类：基于迭代优化的方法、基于深度学习的方法、基于深度强化学习的方法。基于迭代优化的方法包括以下几种。例如，通过结合分式规划和序列优化技术提出了一种用于联合功率优化的序列分式规划(Sequential Fractional Programming，SFP)算法，该算法解决了全局能量效率的最大化问题，并取得了接近最优的性能。另一种算法基于分支定界可以用来解决常见的高能效功率控制问题，并获得了全局最优解。此外，还有一种用于求解分数阶多项式问题的优化框架，它可以应用于蜂窝网络的能量效率最大化问题。然而，这些传统的功率控制优化算法需要从所有基站收集瞬时信道状态信息，这在实际场景中是具有挑战性的。此外，它们通常以迭代方式运行，这意味着高计算复杂度并且可能使得优化结果过时。
[0004]近年来，基于深度学习和基于深度强化学习的方法，逐渐在无线通信领域展现出了巨大的优势。一些研究已经成功地采用这些方法来解决能量效率最大化问题。具体包括，利用无监督方法来训练深度神经网络进行功率优化，与传统优化技术相比，该方法实现了更高的能效公平性性能。提出了基于深度强化学习的集中式，分布式和基于迁移学习的解决方案，以研究5G认知异构网络中的能效最大化问题。在这些解决方案中，由于智能体之间的有效协调，多智能体分布式解决方案实现了最佳的能效性能。
[0005]然而，基于深度学习的算法容易受到典型异构网络中离线训练数据集和在线测试数据集之间的不一致性问题的影响，特别是当异构网络环境快速变化时。基于深度强化学习的优化算法，可以实现高能效性能，但是需要核心网和不同基站之间进行大量的信息交换。

技术实现思路

[0006]为了解决上述问题，本专利技术提出了一个智能功率控制方法，使得每个基站可以只
利用本地信息独立地控制其发射功率，以提高全局能量效率。
[0007]A问题描述
[0008]本专利技术考虑一个典型的异构网络，它包含一个宏基站和N个微基站，如图1所示。每个基站服务一个对应的用户，其中所有基站和用户使用单个天线。本专利技术将基站n服务的用户表示为用户n，其中n∈{0,1,2,...,N}，并且索引0对应于宏基站及其被服务用户。注意，宏基站和微基站共享用于同步下行链路传输的频谱带。
[0009]本专利技术将基站和用户之间的无线信道建模为由两个部分：大尺度衰落(路径损耗和阴影)和小尺度块状瑞利衰落。路径损耗由基站和用户之间的距离确定，而阴影衰落由基站
‑
用户链路的物理阻塞引起。本专利技术将大规模衰落表示为路径损耗和阴影的总和，表示为χ
n
→
k
＝L
n
→
k
+φ
n
→
k
，其中L
n
→
k
和φ
n
→
k
分别是从基站n到用户k是路径损耗衰减和阴影衰减。小尺度块瑞利衰落是由于基站
‑
用户链路的多径传输引起，并且是快速变化的随机变量。具体来讲，从基站n到用户k的块瑞利衰落被表示为h
n
→
k
，并且它遵循具有零均值和单位方差的循环对称复高斯分布，即
[0010]然后，信道增益可以表示为g
n
→
k
＝φ
n
→
k
|h
n
→
k
|2，在用户n处测得的信干噪比可以表示为
[0011][0012]其中，p
n
(t)为时隙t时刻基站n的发射功率，σ2是用户处存在的噪声功率谱密度。那么，在时隙t时从基站n到用户n的下行链路速率可以建模为
[0013]r
n
(t)＝Blog2(1+γ
n
(t))，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0014]其中B是频谱带宽。考虑到总功耗由基站发射功率以及基站中消耗的硬件电路功率组成。因此，时隙t时异构网络的全局能量效率可以表示为
[0015][0016]其中ψ
n
是基站n的功率放大器效率的倒数，p
c
是总电路的功率。
[0017]如上所述，全局能量效率的最大化问题可以被公式化为联合功率优化问题，即，
[0018][0019][0020]其中，p
n,max
是基站n的最大发射功率约束。考虑到一般的异构网络是通过部署不同的基站以服务不同区域中的用户，因此，这些基站可能对它们的最大发射功率具有不同的限制。
[0021]B高能效功率控制方法框架
[0022]从(4)可以看出，异构网络中的全局能量效率优化问题与网络的全局瞬时信息高度相关，其中包括所有基站的下行数据速率和能量损耗信息。然而，构建该全局瞬时信息需要在不同基站之间进行大量信息交换，从而会带来显著的信息交换开销。因此，本专利技术设计
让核心网络(云端)和不同基站(边缘)之间进行轻量级的协作，具体来讲，边缘基站不需要与彼此交换本地瞬时信息，同时云端只需要从每个边缘基站收集历史的本地能效相关数据并计算历史全局奖励，进而利用全局奖励反馈改进本地基站的功率控制策略。
[0023]基于上述讨论，本专利技术提出了一个轻量级的云端
‑
边缘协作框架，如图2所示。在该框架中，每个边缘基站经由具有延迟的双向有线或无线链路连接到云端。
[0024]在边缘，本专利技术为每个基站建立了一个独立的行动者
‑
评论家结构以及两个经验缓冲区，即本地经验回放缓冲区和本地
‑
全局经验回放缓冲区。每个边缘基站将利用其本地行动者神经网络来确定一个合适的下行发射功率，并将对应的本地经验和时间戳存储到其本地经验回放缓存中，然后只需将本地能效相关数据上传到云端。
[0025]在云端中，本专利技术建立一组队列(接收队列和发送队列)用于与本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于智能云边协同的异构网高能效功率控制方法，用于异构网络，包括一个宏基站和N个微基站，每个基站服务一个对应的用户，所有基站和用户使用单个天线，将基站n服务的用户表示为用户n，其中n∈{0,1,2,...,N}，并且索引0对应于宏基站及其被服务用户；宏基站和微基站共享用于同步下行链路传输的频谱带；其特征在于，所述功率控制方法为：设定目标为联合优化每个宏基站与微基站的发射功率，并最大化整个异构网络的全局能量效率，建立目标模型为：能量效率，建立目标模型为：其中，p
n
(t)是时隙t时基站n的发射功率，p
n,max
是微基站n的最大发射功率约束；基于目标模型，采用深度强化学习让基站联合优化发射功率，设计轻量级云端
‑
边缘协作框架，具体为：令边缘基站不需要与彼此交换本地瞬时信息，同时云端只从每个边缘基站收集历史的本地能效相关数据并计算历史全局奖励，进而利用全局奖励反馈改进本地基站的功率控制策略；在边缘，为每个基站建立一个独立的行动者
‑
评论家结构以及两个经验缓冲区，即本地经验回放缓冲区和本地
‑
全局经验回放缓冲区，每个边缘基站将利用其本地行动者神经网络来确定下行发射功率，并将对应的本地经验和时间戳存储到其本地经验回放缓存中，然后将本地能效相关数据上传到云端；在云端中，建立一组队列用于与每个边缘基站交换历史数据，还利用一个全局计算模块来调度接收队列中的接收数据，并计算历史全局奖励；所计算的历史全局奖励将连同对应的时间戳一起被放置在每个发送队列中，然后发送队列将以先进先出的方式将其发送到每个边缘基站；从云端接收到数据后，每个边缘基站将从其本地经验回放缓存中检索具有相同时间戳的本地经验，并且将其与全局奖励反馈组合形成本地
‑
全局经验，最后该本地
‑
全局经验会被存储在本地
‑
全局经验回放缓存中；通过这种方式，每个边缘基站在每个更新周期采样小批量的本地
‑
全局经验，然后周期性地训练行动者深度神经网络和批评者深度神经网络，该过程将训练至每个深度神经网络收敛为止；至此，每个行动者深度神经网络学习到较优的本地功率控制策略以提升全局能量效率性能；位于边缘的基站和位于云端的核心网络具体设计如下：1)边缘网络：边缘状态设计：行动者深度神经网络n的状态由前一时隙中的历史本地信息，当前时隙中的本地瞬时信息和本地辅助信息组成，即：其中历史本地信息包括信道增益g
n
...

【专利技术属性】
技术研发人员：张蔺，彭剑豪，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：