【技术实现步骤摘要】
本公开涉及通信安全，尤其涉及一种智能通信干扰策略生成方法。
技术介绍
1、无线网络在带来通信便利的同时，也因其开放性而成为外部恶意攻击的重点目标。分布式特性以及有限的频谱和功率进一步加剧了无线网络被攻击的风险。因此，许多研究通过精确分配干扰资源以及认知干扰决策来最大化干扰效益或者提高干扰成功率。然而，干扰与抗干扰始终作为一对矛盾而存在，由于反馈信息在无线通信系统(wcs)中更容易获得，通信效果更容易评估，所以抗干扰的相关研究更加广泛、发展更为迅速，相比之下，开展干扰研究需要严苛的假设条件或者额外辅助信息来进行干扰效果评估，这限制了干扰技术的发展。
2、现有干扰技术在实现复杂性、能效和隐蔽性等方面有不同的表现形式。在主动干扰中，不管是否有用户在进行通信，攻击者都会发送干扰信号，导致干扰效率难以保证。而在被动干扰中，攻击方首先会进行频谱感知，只有在检测到活跃的通信信号后才对信道进行干扰，决策的实时性不强。另一方面，随着各种智能无线设备的日益普及，无线通信系统(wcs)逐渐具备学习攻击者策略的能力，可以通过分析无线电传输和获得的反馈信息来优化通信信号，甚至可以识别攻击类型，并灵活地调整信道选择和传输功率控制策略，这给实时有效的干扰带来了严峻挑战。同时，当前攻击样式呈现多元化发展趋势，存在窃听和欺骗等新的自由度。针对多种攻击类型的抗干扰安全通信问题已经被广泛关注，然而当前通信干扰研究仍以干扰频谱跟踪与干扰功率压制为主，基本没有扩展到新的自由度上进行智能干扰决策研究。而且，大部分通信干扰工作基于“单对单”或者“单信道”的通信对
3、因此，有必要提出一种方案改善上述相关技术方案中存在的一个或者多个问题。
4、需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
1、本公开实施例提供一种智能通信干扰策略生成方法，包括以下步骤：
2、构建智能干扰器与智能无线通信系统的“多对多”通信对抗非零和博弈模型；
3、将非零和博弈中所述智能干扰器的动态决策过程建模为马尔科夫决策过程；
4、所述智能干扰器采用基于深度强化学习的ppo-clip干扰策略生成算法，为所述智能干扰器提供模式选择和干扰功率分配，实现降低智能无线通信系统的保密数据速率。
5、本公开的一示例性实施例中，所述智能无线通信系统由多个基站和多个无人机用户组成，所述基站和所述无人机用户采用tdma模式进行广播通信，且都是单个天线，所述智能干扰器是具有多个天线的可编程无线电设备，且干扰功率在不同天线的分配不同。
6、本公开的一示例性实施例中，所述智能干扰器有静默模式、干扰模式以及窃听模式，同一时刻只能选择一种模式，不同模式下所述智能无线通信系统对应有不同的保密数据速率。
7、本公开的一示例性实施例中，所述通信对抗非零和博弈定义为：
8、g＝<{b,j},{pmb,(q,pnj)},{uw,uj}>
9、其中，b为智能无线通信系统的集合，j为智能干扰器的集合，pmb为bsm的信号的发射功率，pnj为天线n的干扰信号功率，q∈{0,1,2}分别对应静默，干扰和窃听模式，uw和uj分别为智能无线通信系统和智能干扰器的效益函数，非零和博弈g的纳什均衡(ne)策略表示为(pmb*,(q*,pnj*))是通信对抗双方的最优策略。
10、本公开的一示例性实施例中，所述智能无线通信系统采用分布式多智能体q学习功率分配算法，通过循环遍历实现智能无线通信系统中多个所述基站的协同训练。
11、本公开的一示例性实施例中，所述将非零和博弈中所述智能干扰器的动态决策过程建模为马尔科夫决策过程的步骤中，还包括：
12、所述马尔科夫决策过程模型包含观测空间、动作空间、状态转移函数以及奖励函数四元组，并以最大化累积奖励期望作为优化目标。
13、本公开的一示例性实施例中，所述智能干扰器采用基于深度强化学习的ppo-clip干扰策略生成算法，为所述智能干扰器提供模式选择和干扰功率分配，实现降低智能无线通信系统的保密数据速率的步骤中，还包括：
14、策略生成通过策略网络实现，策略优化通过价值网络实现。
15、本公开的一示例性实施例中，所述策略网络的目标函数表示为：
16、
17、其中，dk表示第k轮交互过程中收集的轨迹数据集，τ为采样轨迹。t为轨迹时间长度，min(·)函数返回值最小的参数，πθ为策略网络输出的随机概率分布，为新旧策略的比率，为优势函数，θ为策略网络的网络参数，μ是概率比的给定阈值，目标函数通过随机梯度上升来进行优化。
18、本公开的一示例性实施例中，所述价值网络的目标函数表示为：
19、
20、其中，dk表示第k轮交互过程中收集的轨迹数据集，τ为采样轨迹。t为轨迹时间长度，rt为t时刻的奖励，为价值网络的网络参数，为价值函数，状态ot的价值为带折扣γppo的时间差分误差可表示为通过梯度下降实现最小均方误差回归来拟合价值函数
21、本公开提出的一种智能通信干扰策略生成方法，可以包括以下有益效果：采用基于深度强化学习的ppo-clip干扰策略生成算法，生成动态博弈的最佳干扰策略，使智能干扰器通过合理选择工作模式并分配干扰功率，来降低智能无线通信系统的保密数据速率，最大化干扰效益。
本文档来自技高网...【技术保护点】
1.一种智能通信干扰策略生成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述智能通信干扰策略生成方法，其特征在于，所述智能无线通信系统由多个基站和多个无人机用户组成，所述基站和所述无人机用户采用TDMA模式进行广播通信，且都是单个天线，所述智能干扰器是具有多个天线的可编程无线电设备，且干扰功率在不同天线的分配不同。
3.根据权利要求1所述智能通信干扰策略生成方法，其特征在于，所述智能干扰器有静默模式、干扰模式以及窃听模式，同一时刻只能选择一种模式，不同模式下所述智能无线通信系统对应有不同的保密数据速率。
4.根据权利要求1所述智能通信干扰策略生成方法，其特征在于，所述通信对抗非零和博弈定义为：
5.根据权利要求2所述智能通信干扰策略生成方法，其特征在于，所述智能无线通信系统采用分布式多智能体Q学习功率分配算法，通过循环遍历实现智能无线通信系统中多个所述基站的协同训练。
6.根据权利要求1所述智能通信干扰策略生成方法，其特征在于，所述将非零和博弈中所述智能干扰器的动态决策过程建模为马尔科夫决策过程的步骤中，还包括：
7.根据权利要求1所述智能通信干扰策略生成方法，其特征在于，所述智能干扰器采用基于深度强化学习的PPO-Clip干扰策略生成算法，为所述智能干扰器提供模式选择和干扰功率分配，实现降低智能无线通信系统的保密数据速率的步骤中，还包括：
8.根据权利要求7所述智能通信干扰策略生成方法，其特征在于，所述策略网络的目标函数表示为：
9.根据权利要求7所述智能通信干扰策略生成方法，其特征在于，所述价值网络的目标函数表示为：
...【技术特征摘要】
1.一种智能通信干扰策略生成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述智能通信干扰策略生成方法，其特征在于，所述智能无线通信系统由多个基站和多个无人机用户组成，所述基站和所述无人机用户采用tdma模式进行广播通信，且都是单个天线，所述智能干扰器是具有多个天线的可编程无线电设备，且干扰功率在不同天线的分配不同。
3.根据权利要求1所述智能通信干扰策略生成方法，其特征在于，所述智能干扰器有静默模式、干扰模式以及窃听模式，同一时刻只能选择一种模式，不同模式下所述智能无线通信系统对应有不同的保密数据速率。
4.根据权利要求1所述智能通信干扰策略生成方法，其特征在于，所述通信对抗非零和博弈定义为：
5.根据权利要求2所述智能通信干扰策略生成方法，其特征在于，所述智...
【专利技术属性】
技术研发人员：许华，彭翔，齐子森，饶宁，庞伊琼，
申请(专利权)人：中国人民解放军空军工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。