【技术实现步骤摘要】
本专利技术属于无线通信，具体涉及一种基于ris辅助uav抗动态干扰的通信博弈方法。
技术介绍
1、随着信息时代的快速发展，无人机(uav)被广泛的应用在诸多领域，如物流运输、农业植保、电力巡检以及灾后救援等。在无线通信领域，uav由于成本低、机动性高、覆盖范围广、可以按需部署等特点备受欢迎。尽管上述特征使uav具有非常好的应用前景，但由于无线信道的开放性，造成了uav在提高用户通信质量的同时也提高了窃听者(eve)接收到的信号强度，增加了信息传输过程中的安全隐患。根据目前的研究来看，物理层安全可以作为一个有效的防窃听技术。
2、为了保证安全通信，首先应该使合法信道的通信质量优于非法信道。因此，物理层安全研究的重点就是在提高合法信道通信质量的同时降低非法信道的通信质量。为了解决这个问题，学者们考虑了一些物理层安全技术，例如uav空中基站、uav中继、人工噪声和波束成形。
3、在实际的城市环境中，uav到用户链路很可能被障碍物阻挡，进而严重降低了信道质量。针对这一问题，学者们提出了可重构智能表面(ris)来提高无线网络的通信质量。ris由大量低成本的反射单元组成，不需要复杂的编码、解码和射频处理操作，就可以有效控制入射信号的相位、振幅、频率等。zhang heng等人提出一种基于uav-ris的辅助无线安全通信传输方法。利用uav-ris重构无线环境，通过基于强化学习的dqn算法联合优化uav轨迹和ris相移矩阵，实现了平均下行可达率的最大化。
4、但目前还缺乏应对移动的eve动态干扰的研究。为了
技术实现思路
1、专利技术目的：本专利技术提出一种基于ris辅助uav抗动态干扰的通信博弈方法，在保证最大化合法用户的平均安全速率约束下，通过将ddqn算法和dqn算法分别应用在uav模型和eve模型中进行交替优化，提升了合法用户的平均安全速率。
2、技术方案：本专利技术所述的一种基于ris辅助uav抗动态干扰的通信博弈方法，包括以下步骤：
3、(1)设置uav、eve、ris和用户的位置；对uav到用户、ris和eve的信道，ris到用户和eve信道，eve到用户信道进行建模并获得无线通信系统中的信道增益；
4、(2)根据步骤(1)中的信道增益，并基于用户接收到的信号最大传输速率和eve接收到的信号最大传输速率确定最大平均安全速率问题；
5、(3)根据深度强化学习的状态、动作和奖励三大要素分别对uav和eve模型进行定义；
6、(4)uav先使用ddqn算法与环境进行交互，接着eve根据环境的变化使用dqn算法做出相应的决策，如此交替优化，直至实现最大平均安全速率。
7、进一步地，步骤(1)所述的无线通信系统中的信道增益具体包括：
8、使用准静态平坦衰落信道模型，所有信道增益均为理想信道状态信息模式；将uav总的飞行过程定义为t个时隙，每个时隙t的时长定义为uav总的飞行时长uav到用户、ris、eve的信号增益分别为ris到用户、eve的信道增益分别为eve到ris、用户的信道增益分别为
9、进一步地，步骤(2)所述的用户接收到的信号最大传输速率为：
10、
11、其中，p1,t是uav在时隙t正常信号的发射功率，p2,t是uav在时隙t的人工噪声功率，pi,t是eve在时隙t的干扰功率，α是人工噪声折扣因子，b是带宽，σ2是噪声方差。
12、进一步地，步骤(2)所述的eve接收到的信号最大传输速率为：
13、
14、其中，β是干扰信号折扣因子，表示eve的自干扰信号。
15、进一步地，步骤(2)所述最大平均安全速率问题为：
16、
17、
18、
19、
20、
21、
22、其中，[x]+＝max(x,0)；c1是时隙t用户调度的约束；c2是uav功率的约束；c3是uav在水平和垂直方向速度的约束；c4是uav飞行高度的约束；c5是时隙时长的约束。
23、进一步地，步骤(3)所述uav模型定义为：
24、状态：表示每个时隙uav在环境中所处的位置；其中，第t个时隙的状态表示uav在水平方向的位置，表示uav在垂直方向的位置；
25、动作：表示每个时隙uav采取的动作；其中，第t个时隙uav采取的动作lt＝{向东,向西,向南,向北,悬停}表示uav水平方向的运动，ht＝{向上,向下,悬停}表示uav在垂直方向的运动，ck,t表示用户调度，表示时隙t的时长，p2,t表示uav人工噪声的功率；奖励：表示uav在每个时隙执行完动作获得的奖励；
26、其中，第t个时隙获得的奖励
27、进一步地，步骤(3)所述eve模型定义为：
28、状态：表示每个时隙eve在环境中所处的位置；其中，第t个时隙的状态表示eve在水平方向的位置，表示eve在垂直方向的位置；
29、动作：表示每个时隙eve采取的动作；其中，第t个时隙eve采取的动作pi,t表示eve干扰信号的功率；
30、奖励：表示eve在每个时隙执行完动作获得的奖励；其中，第t个时隙获得的奖励
31、进一步地，步骤(4)所述uav先使用ddqn算法与环境进行交互的实现过程如下：
32、ddqn算法由一个估计神经网络和一个目标神经网络组成，分为在线决策和离线训练两部分；
33、uav在线决策阶段，初始化当前环境，获得uav的初始状态接着uav根据策略函数εu-greedy(0<εu<1)选择一个动作然后执行动作获得环境给出的奖励和下一个状态最后将数据样本放入经验缓冲池中；
34、uav离线训练阶段，从经验缓冲池du中随机的取出一批数据，计算样本数据在目标神经网络中真实的q值：
35、
36、其中，q′u和qu分别为目标神经网络和估计神经网络对动作的估计值，γ∈[0,1]为奖励折扣因子，θu为uav模型中估计神经网络的权重参数，每隔一定的步数将估计神经网络的权重参数θu赋给目标神经网络的权重参数θ′u；估计神经网络的权重参数通过损失函数lossu(θu)来训练：
37、
38、进一步地，步骤(4)所述eve根据环境的变化使用dqn算法做出相应的决策的实现过程如下：
39、dqn算法由一个估计神经网络和一个目标神经网络组成，分为在线决策和离线训练两部分；
40、eve在线决策本文档来自技高网...
【技术保护点】
1.一种基于RIS辅助UAV抗动态干扰的通信博弈方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于RIS辅助UAV抗动态干扰的通信博弈方法，其特征在于，步骤(1)所述的无线通信系统中的信道增益具体包括：
3.根据权利要求1所述的一种基于RIS辅助UAV抗动态干扰的通信博弈方法，其特征在于，步骤(2)所述的用户接收到的信号最大传输速率为：
4.根据权利要求1所述的一种基于RIS辅助UAV抗动态干扰的通信博弈方法，其特征在于，步骤(2)所述的EVE接收到的信号最大传输速率为：
5.根据权利要求1所述的一种基于RIS辅助UAV抗动态干扰的通信博弈方法，其特征在于，步骤(2)所述最大平均安全速率问题为：
6.根据权利要求1所述的一种基于RIS辅助UAV抗动态干扰的通信博弈方法，其特征在于，步骤(3)所述UAV模型定义为：
7.根据权利要求1所述的一种基于RIS辅助UAV抗动态干扰的通信博弈方法，其特征在于，步骤(3)所述EVE模型定义为：
8.根据权利要求1所述的一种基于RIS辅助UAV抗
9.根据权利要求1所述的一种基于RIS辅助UAV抗动态干扰的通信博弈方法，其特征在于，步骤(4)所述EVE根据环境的变化使用DQN算法做出相应的决策的实现过程如下：
...【技术特征摘要】
1.一种基于ris辅助uav抗动态干扰的通信博弈方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于ris辅助uav抗动态干扰的通信博弈方法，其特征在于，步骤(1)所述的无线通信系统中的信道增益具体包括：
3.根据权利要求1所述的一种基于ris辅助uav抗动态干扰的通信博弈方法，其特征在于，步骤(2)所述的用户接收到的信号最大传输速率为：
4.根据权利要求1所述的一种基于ris辅助uav抗动态干扰的通信博弈方法，其特征在于，步骤(2)所述的eve接收到的信号最大传输速率为：
5.根据权利要求1所述的一种基于ris辅助uav抗动态干扰的通信博弈方法，其特征在于，步骤(2)...
【专利技术属性】
技术研发人员：代路，高斌，范志峰，赵敬茹，章慧，
申请(专利权)人：淮阴工学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。