【技术实现步骤摘要】
本专利技术属于无线通信，具体涉及认知通扰一体化波束形成方法。
技术介绍
1、通信和干扰是电磁领域中的两个重要元素，在学术界和工业界都得到了广泛的研究。一方面，通信一般是为了保证信息传输的有效性和可靠性，而干扰一般是为了降低对手的信息传输质量，因此认为两者是矛盾的。另一方面，由于两者在信号传播的相似性，并且在一定条件下可以相互转换，因此两者也是统一的。
2、根据上述分析，可以引入一个新的概念，即通信和干扰一体化。总的来说，通信和干扰一体化可以通过共享频率、功率、数据和软硬件，在一个系统中实现同时通信和干扰，具有频谱/能量/数据效率高、硬件成本低等优点。但是，通信和干扰一体化系统仍存在一些不足之处，如在决策前需要获取用户/目标的先验信息，这对于通信合作方来说可以实现，但对于非合作目标的干扰几乎不可能实现。此外，在动态未知环境中，用户/目标状态变化快，通信和干扰一体化系统决策周期长，延迟大，可靠性低。因此，如何在动态未知环境中实现实时、准确、可靠的通信与干扰是一个有趣而又具有挑战性的问题。
技术实现思路
1、本专利技术提供了一种基于深度强化学习的认知通扰一体化波束形成方法，具备动态调整策略、决策时间更短、通信和干扰更精准可靠的特点。
2、为达到上述目的，本专利技术所采用的技术方案是：
3、本专利技术第一方面提供了一种基于深度强化学习的认知通扰一体化波束形成方法，包括：
4、采集通信环境的状态信息输入至训练后的深度强化学习模型，获得最优的决策
5、所述深度强化学习模型的构建和训练过程包括：
6、基于通信模拟环境构建通信和干扰一体化模型；添加非合作对抗网络中可疑通信组的干扰约束和合法收发机的最大发射功率约束，以合法接收机通信速率之和最大化为目标建立优化问题；
7、将优化问题映射为马尔可夫决策过程，以合法收发机为智能体构建深度强化学习网络模型，利用深度强化学习网络模型对合法收发机的波束赋形矩阵进行预测，通过合法收发机和通信模拟环境进行交互获得训练样本，将训练样本作为输入深度强化学习网络模型进行训练，重复迭代训练过程直到深度强化学习网络模型收敛。
8、进一步地，所述通信和干扰一体化模型中配置有单个合法收发机、l个合法接收机和非合作对抗网络；所述合法收发机配备有nlt根线性阵列分布的天线；所述非合作对抗网络中设置有k个辐射源节点；在未知信道状态信息的状态下，所述合法收发机与l个合法接收机通信同时干扰非合作对抗网络。
9、进一步地，添加非合作对抗网络中可疑通信组的干扰约束和合法收发机的最大发射功率约束，以合法接收机通信速率之和最大化为目标建立优化问题的方法包括：
10、
11、s.t. c1:
12、c2:
13、公式中，rl,l表示为第l个合法接收机通信速率；w表示为合法收发机发射的通信波束赋形矩阵；v表示为合法收发机发射的干扰波束赋形矩阵；γa,k表示为非合作对抗网络中第k个辐射源节点的信干噪比；φ表示非合作对抗网络中第k个辐射源节点能够成功解调消息的最低信干噪比；pmax是合法发射机的最大发射功率；表示向量或者矩阵的共轭转置；tr(·)表示为矩阵的迹。
14、进一步地，合法收发机发射的通信波束赋形矩阵，表达公式为：
15、
16、
17、
18、公式中，wl表示为合法收发机发射的通信波束赋形向量；h表示为合法收发机发射的波束数量；表示为合法收发机分配给第l个合法用户的发送功率；表示为合法收发机至第l个合法用户的波束方向；d0表示为合法收发机中天线间距离；θl表示为合法收发机至第l个合法用户的指向角；j′表示为虚部。
19、进一步地，合法收发机发射的干扰波束赋形矩阵，表达公式为：
20、
21、
22、
23、公式中，vk表示为合法收发机发射的干扰波束赋形向量；h表示为合法收发机发射的波束数量；表示为合法收发机分配给非合作对抗网络中第k个辐射源节点的发送功率；表示为合法收发机至非合作对抗网络中第k个辐射源节点的波束方向；d0表示为合法收发机中天线间距离；θk表示为合法收发机至非合作对抗网络中第k个辐射源节点的指向角；j′表示为虚部。
24、进一步地，第l个合法接收机通信速率的表达公式为：
25、
26、
27、
28、
29、
30、公式中，γl,l表示为第l个合法接收机的信干噪比；表示为合法收发机分配给第n个合法用户的发送功率；hll,l表示为合法收发机与第l个合法接收机之间的信道增益；表示为合法收发机至第n个合法用户的波束方向；dll，l表示为合法收发机与第l个合法接收机之间的距离；表示为合法收发机分配给非合作对抗网络中第i个辐射源节点的发送功率；表示为合法收发机至非合作对抗网络中第i个辐射源节点的波束方向；n0表示为圆对称复高斯噪声的方差；α表示路径损耗系数；kll，l表示为莱斯因子；表示为合法收发机与第l个合法接收机之间的快衰落部分；表示为合法收发机与第l个合法接收机之间的直射路径分量；βll，l表示为合法收发机与第l个合法接收机之间的视距角。
31、进一步地，非合作对抗网络中第k个辐射源节点的信干噪比的表达公式为：
32、
33、
34、
35、
36、
37、
38、
39、公式中，表示为合法收发机分配给第m个合法用户的发送功率；hls,k表示为合法收发机和非合作对抗网络中第k个辐射源节点之间的信道增益；表示为合法收发机至第m个合法用户的波束方向；gaa,k表示为非合作对抗网络中第k个辐射源节点与其对应的发射机之间的信道增益；ps表示为非合作对抗网络中辐射源节点的发射功率；表示为合法收发机分配给非合作对抗网络中第i个辐射源节点的发送功率；表示为合法收发机至非合作对抗网络中第i个辐射源节点的波束方向；n0表示为圆对称复高斯噪声的方差；α表示路径损耗系数；dls，k表示为合法收发机与非合作对抗网络中第k个辐射源节点之间的距离；kls,k和kaa，k表示为莱斯因子；表示为合法收发机与非合作对抗网络中第k个辐射源节点之间的快衰落部分；表示为合法收发机与非合作对抗网络中第k个辐射源节点之间的直射路径分量；βls，k表示为合法收发机与非合作对抗网络中第k个辐射源节点之间的视距角；daa，k表示为非合作对抗网络中第k个辐射源节点与其对应的发射机之间的距离；表示为非合作对抗网络中第k个辐射源节点与其对应的发射机之间的快衰落部分；表示为非合作对抗网络中第k个辐射源节点与其对应的发射机之间的直射路径分量。
40、进一步地，将优化问题映射为马尔可夫决策过程的方法包括：
41、所述马尔可夫决策过程包括状态集合s、动作集合a本文档来自技高网...
【技术保护点】
1.一种基于深度强化学习的认知通扰一体化波束形成方法，其特征在于，包括：
2.根据权利要求1所述的通扰一体化波束形成方法，其特征在于，所述通信和干扰一体化模型中配置有单个合法收发机、L个合法接收机和非合作对抗网络；所述合法收发机配备有Nlt根线性阵列分布的天线；所述非合作对抗网络中设置有K个辐射源节点；在未知信道状态信息的状态下，所述合法收发机与L个合法接收机通信同时干扰非合作对抗网络。
3.根据权利要求2所述的通扰一体化波束形成方法，其特征在于，添加非合作对抗网络中可疑通信组的干扰约束和合法收发机的最大发射功率约束，以合法接收机通信速率之和最大化为目标建立优化问题的方法包括：
4.根据权利要求3所述的通扰一体化波束形成方法，其特征在于，合法收发机发射的通信波束赋形矩阵，表达公式为：
5.根据权利要求4所述的通扰一体化波束形成方法，其特征在于，合法收发机发射的干扰波束赋形矩阵，表达公式为：
6.根据权利要求5所述的通扰一体化波束形成方法，其特征在于，第l个合法接收机通信速率的表达公式为：
7.根据权利要求5所
8.根据权利要求5所述的通扰一体化波束形成方法，其特征在于，将优化问题映射为马尔可夫决策过程的方法包括：
9.根据权利要求8所述的通扰一体化波束形成方法，其特征在于，将训练样本作为输入深度强化学习网络模型进行训练，重复迭代训练过程直到深度强化学习网络模型收敛的方法包括：
10.电子设备包括存储介质和处理器；所述存储介质用于存储指令；其特征在于，所述处理器用于根据所述指令进行操作以执行权利要求1至9任一项所述的方法。
...【技术特征摘要】
1.一种基于深度强化学习的认知通扰一体化波束形成方法，其特征在于，包括：
2.根据权利要求1所述的通扰一体化波束形成方法，其特征在于，所述通信和干扰一体化模型中配置有单个合法收发机、l个合法接收机和非合作对抗网络；所述合法收发机配备有nlt根线性阵列分布的天线；所述非合作对抗网络中设置有k个辐射源节点；在未知信道状态信息的状态下，所述合法收发机与l个合法接收机通信同时干扰非合作对抗网络。
3.根据权利要求2所述的通扰一体化波束形成方法，其特征在于，添加非合作对抗网络中可疑通信组的干扰约束和合法收发机的最大发射功率约束，以合法接收机通信速率之和最大化为目标建立优化问题的方法包括：
4.根据权利要求3所述的通扰一体化波束形成方法，其特征在于，合法收发机发射的通信波束赋形矩阵，表达公式为：
5.根据权利要求4所述的通扰一体...
【专利技术属性】
技术研发人员：丁国如，谷江春，王海超，徐以涛，李京华，
申请(专利权)人：中国人民解放军陆军工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。