一种基于强化学习的蜂窝移动通信系统协作式信号发送方法技术方案

本发明专利技术公开了一种基于强化学习的蜂窝移动通信系统协作式信号发送方法，包括以下步骤：(1)在基站发射端，每个基站首先收集本基站下用户的干扰信息和等效信道信息，并将这些信息以及上一个时刻的各个用户分配得到功率信息发送给其他基站；(2)每个基站根据本地用户的信道信息确定各个用户的波束方向；(3)根据其他基站交互的信息通过训练好的强化学习神经网络中，神经网络经过运算后输出该基站下给每个用户分配的功率；(4)每个基站就根据波束方向和功率来生成波束赋形向量，并用该波束赋形向量为发送信号做处理。本发明专利技术适用于配置了大规模天线阵列的移动蜂窝网络，能提高整个蜂窝网络的总传输速率。窝网络的总传输速率。窝网络的总传输速率。

【技术实现步骤摘要】
一种基于强化学习的蜂窝移动通信系统协作式信号发送方法


[0001]本专利技术属于无线通信领域，具体涉及一种基于强化学习的蜂窝移动通信系统协作式信号发送方法。

技术介绍

[0002]蜂窝移动通信(Cellular Mobile Communication)是目前世界上最主要的无线通信系统。随着移动通信技术的发展，蜂窝小区正在朝密集化发展，小区间的距离逐渐缩短，同频小区间干扰成为了影响通信质量的主要问题。传统的协作式解决方案首先需要基站之间交互大量的信道状态信息(Channel State Information,CSI)，然后每个基站独立设计波束赋形(Beamforming)方案来尽量避免小区间干扰。然而现在的基站往往具备大规模天线阵列，需要基站间交互的CSI信息量相当大，使得这类方案不易实现。

技术实现思路

[0003]本专利技术的目的，就是针对降低同频小区间干扰的问题，提出一种基于强化学习的蜂窝移动通信系统协作式信号发送方法，使得小区间只需要交互较少的信息就可以避免小区间干扰。
[0004]为了解决以上技术问题，本专利技术采用如下技术方案：
[0005]一种基于强化学习的蜂窝移动通信系统协作式信号发送方法，包括以下步骤：
[0006](1)在基站发射端，每个基站首先收集本基站下用户的干扰信息和等效信道信息，并将这些信息以及上一个时刻的各个用户分配得到功率信息发送给其他基站；
[0007](2)每个基站根据本地用户的信道信息确定各个用户的波束方向；
[0008](3)根据其他基站交互的信息通过训练好的强化学习神经网络中，神经网络经过运算后输出该基站下给每个用户分配的功率；
[0009](4)每个基站就根据波束方向和功率来生成波束赋形向量，并用该波束赋形向量为发送信号做处理。
[0010]进一步地，步骤(1)中基站的天线阵列为均匀矩形阵列，共有N2个天线。
[0011]进一步地，所述的基站到用户的信道由两部分组成：大尺度衰落和小尺度衰落。
[0012]进一步地，步骤(3)的网络中，从第i个基站的第(x,y)根天线到第j个基站下的第k个用户的信道可以表示为其中大尺度衰落为pathloss＝28.0+22lgD+20lgf
c
，D表示为用户到基站的物理距离，f
c
为工作载波频率；当第j个基站下的用户k在基站i的扇区m范围中时，S
m
(θ)≡1，其他情况下S
m
(θ)≡0；P为传播多径数目，g
i,j,k,p
为每一条路径的小尺度衰落，假设小尺度衰落均是独立同分布的随机变量，即g～CN(0,1)，其是指随机变量服从均值为0，方差为1的复高斯分布；d为天线间距离，与携带了传输路径的俯仰角和方位角信息。
[0013]进一步地，在所述的信道情况下，第j个基站下的第k个用户接收到的信号可以表示为：
[0014][0015]其中右式中第一项为第j个基站下的第k个用户所需要的信号；第二项为第j个基站下给其他用户发送信号对用户k造成的干扰，也称为小区内干扰；第三项为其他基站发射的信号对第j个基站下的第k个用户造成的干扰，也称为小区间干扰；最后一项为该用户的接收机系统噪声。
[0016]进一步地，步骤(3)中整个神经网络的工作流程共分为两个阶段，离线训练阶段和在线决策阶段；在在线决策阶段中，神经网络只需要在线决策网络输出动作，然后将状态转换过程存储至经验回放单元；在离线训练阶段，每一次训练从经验回放单元中采取一批数据分别输入目标决策网络和目标Q值网络中，前者输出每一个状态下采取的动作策略，后者输出每一个状态下的动作策略的价值
[0017]y
i
＝r
i
+γQ'(s
i+1
,μ'(s
i+1
|θ
μ'
)|θ
Q'
)。
[0018]进一步地，所述的神经网络由输入层、隐藏层以及输出层构成。
[0019]进一步地，隐藏层的激活函数为线性整流函数，其表达式为f(x)＝max(0,x)。
[0020]进一步地，输出层为了输出向量归一化，选择softmax函数，其表达式为
[0021]本专利技术具有以下有益效果：
[0022]在基站发射端，每个基站首先收集本基站下用户的干扰信息和等效信道信息，并将这些信息以及上一个时刻的各个用户分配得到功率信息发送给其他基站。随后，每个基站根据本地用户的信道信息确定各个用户的波束方向，再根据其他基站交互的信息通过训练好的强化学习神经网络中，神经网络经过运算后输出该基站下给每个用户分配的功率。这样每个基站就根据波束方向和功率来生成波束赋形向量，并用该波束赋形向量为发送信号做处理。
[0023]本专利技术与传统方法不同之处在于，基站间所需要交互信息的信息量远低于传统方案，交互的信息量与基站天线数无关，适用于配置了大规模天线阵列的移动蜂窝网络，能提高整个蜂窝网络的总传输速率。
[0024]此外，本专利技术不需要基站之间交互大量信道信息来设计波束赋形矢量，而是通过分布式地设计波束方向和波束功率来优化整个蜂窝网络的传输速率。
附图说明
[0025]图1为本专利技术的蜂窝通信网络系统模型图；
[0026]图2为本专利技术的蜂窝通信网络的基站发送机工作流程图；
[0027]图3为本专利技术的蜂窝网络基站发送机强化学习神经网络结构图；
[0028]图4为本专利技术的强化学习神经网络结构图；
[0029]图5为本专利技术的基于强化学习的波束赋形算法和其他分布式算法的性能对比图。
具体实施方式
[0030]本专利技术考虑常见的多蜂窝移动通信系统的下行传输情况，如图1所示的蜂窝通信网络系统模型，为说明方便，图1中只画出了三个蜂窝，我们实际考虑一个蜂窝网络系统共由L个蜂窝构成，每个蜂窝中包括一个基站(Base Station,BS)和K个用户设备(User Equipment,UE)。每一个基站都只服务在其蜂窝范围内的用户，但在服务其用户时会干扰到其他蜂窝中的用户。基站在下行传输数据的过程中，需要设计给每一个用户设计波束成形向量来消除小区内和小区间干扰。本专利技术设计了一种多基站协助式的波束成形设计方案，如图2所示，每个基站在工作时首先于各个基站之间交互决策所需要的信息，然后基站根据信息分别做出波束方向决策和波束功率决策，最后根据决策方案发送信号。
[0031]在这个蜂窝网络中，我们假设基站的天线阵列都为均匀矩形阵列，共有N2个天线。基站到用户的信道由两部分组成：大尺度衰落和小尺度衰落。如图1所示，在网络中，从第i个基站的第(x,y)根天线到第j个基站下的第k个用户的信道可以表示为其中大尺度衰落为pathloss＝28.0+22lgD+20lgf
c
，D表示为用户到基站的物理距离，f
c
为工作载波频率。当第j个基站下的用户k在基站i的扇区m范围中时，S...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的蜂窝移动通信系统协作式信号发送方法，其特征在于，包括以下步骤：(1)在基站发射端，每个基站首先收集本基站下用户的干扰信息和等效信道信息，并将这些信息以及上一个时刻的各个用户分配得到功率信息发送给其他基站；(2)每个基站根据本地用户的信道信息确定各个用户的波束方向；(3)根据其他基站交互的信息通过训练好的强化学习神经网络中，神经网络经过运算后输出该基站下给每个用户分配的功率；(4)每个基站就根据波束方向和功率来生成波束赋形向量，并用该波束赋形向量为发送信号做处理。2.根据权利要求1所述的基于强化学习的蜂窝移动通信系统协作式信号发送方法，其特征在于，步骤(1)中基站的天线阵列为均匀矩形阵列，共有N2个天线。3.根据权利要求1所述的基于强化学习的蜂窝移动通信系统协作式信号发送方法，其特征在于，所述的基站到用户的信道由两部分组成：大尺度衰落和小尺度衰落。4.根据权利要求1所述的基于强化学习的蜂窝移动通信系统协作式信号发送方法，其特征在于，步骤(3)的网络中，从第i个基站的第(x,y)根天线到第j个基站下的第k个用户的信道可以表示为其中大尺度衰落为pathloss＝28.0+22lg D+20lg f
c
，D表示为用户到基站的物理距离，f
c
为工作载波频率；当第j个基站下的用户k在基站i的扇区m范围中时，S
m
(θ)≡1，其他情况下S
m
(θ)≡0；P为传播多径数目，g
i,j,k,p
为每一条路径的小尺度衰落，假设小尺度衰落均是独立同分布的随机变量，即g～CN(0,1)，其是指随机变量服从均值为0，方差为1的复高斯分布；d为天线间距离，距离，携带了传输路径的俯仰角和方位角信息。5...

【专利技术属性】
技术研发人员：梁应敞，贾浩楠，何振清，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：