System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种多无人节点协同互联安全通信优化方法技术_技高网

一种多无人节点协同互联安全通信优化方法技术

技术编号:40059426 阅读:3 留言:0更新日期:2024-01-16 22:27
本发明专利技术涉及一种多无人节点协同互联安全通信优化方法,属于无线通信技术领域。本发明专利技术的方法基于多智能体强化学习方法,在优化过程中加入了优先经验回放机制,通过更频繁地回放非常成功的尝试或极其糟糕的表现相关的经验,智能体能更快学习到有价值的经验,从而使其能够更快速适应动态环境,得到更好的训练效果;本发明专利技术的方法考虑了存在同信道干扰时的优化场景,在无人机的动作选择中加入子信道的选择,通过训练学习最终能选择合适的子信道分配方案,使同信道干扰的影响降到最小。

【技术实现步骤摘要】

本专利技术涉及一种多无人节点协同互联安全通信优化方法,属于无线通信。


技术介绍

1、无人机因其体积小、价格低、灵活性强、操作简单等优点,在无线网络系统中得到了广泛应用和快速发展。在某些具有挑战性的情况下,如偏远地区和紧急情况,无人机也能提供高效和可靠的无线通信。无人机辅助通信网络的空对地通信链路主要经历视距衰落,这增加了被地面窃听者窃听的风险,对无人机辅助网络构成了威胁。为了保障无人机网络的通信安全,物理层安全技术被用来保护无人机辅助通信不受可疑窃听者窃听。保密速率是衡量安全通信的一个指标,可以作为无人机安全通信的优化目标。因此,基于物理层安全,为实现无人机通信网络保密速率最大化设计优化变量和方法十分重要。

2、目前针对无人机安全通信的优化方法主要有传统方法和基于强化学习的方法。传统的优化方法主要通过凸化模型,使用子问题分解、交替优化、迭代方法等实现目标最大化。该类方法适用于地面通信设备固定的场景。

3、现阶段已有多个利用深度强化学习实现安全通信目标优化的工作。比如采用基于ddpg(深度确定性策略梯度,deep deterministic policy gradient)的方法,对无人机基站的弹道和发射功率进行联合优化,使最坏情况下的平均保密速率最大化。采用maddpg(多智能体深度确定性策略梯度,multi-agent deep deterministic policy gradient)方法对无人机发射机和多个干扰机的飞行轨迹和发射功率进行联合优化,使总保密速率最大化。当地面设备移动或是无人机和地面设备数量增加时,传统优化方法对于问题的求解难度会大大增加。当环境改变时已有的优化模型可能不再适用。在多无人机场景中,每架无人机都需要不断学习和改进自己的策略。如果采用单智能体强化学习方法,其他无人机的变化策略对于任何一架无人机都是未知的,不利于系统收敛。而现有的针对无人机安全通信问题的多智能体强化学习方法没有进一步考虑增强对复杂动态环境的适应性。同时以上工作没有考虑多个无人机发射机之间存在的同信道干扰。


技术实现思路

1、本专利技术的技术解决问题是:克服现有技术的不足,提出一种多无人节点协同互联安全通信优化方法,该方法在考虑子信道频谱资源分配优化情况下,解决了现有方法无法更快适应动态环境的问题。

2、本专利技术的技术解决方案是:

3、一种多无人节点协同互联安全通信优化方法,该方法的步骤包括:

4、第一步,根据无人机发射机、无人机干扰机、地面用户、地面窃听者的坐标信息得出无人机发射机与地面用户之间的距离a、无人机发射机与地面窃听者之间的距离b、无人机干扰机与地面窃听者之间的距离c,再根据得到的距离a、距离b和距离c并利用空对地信道模型得到无人机发射机与地面用户之间的路径损耗a、无人机发射机与地面窃听者之间的路径损耗b、无人机干扰机与地面窃听者之间的路径损耗c;

5、第二步,根据第一步得到的路径损耗a、路径损耗b和路径损耗c获取每个地面用户的保密速率以及所有地面用户的保密速率之和,进而得到优化问题及约束条件;

6、第三步,根据第二步得到的优化问题将无人机发射机和无人机干扰机分别建模为智能体;

7、所述无人机发射机智能体的状态空间为:

8、si(t)={xi(t),yi(t),zi(t),pi(t),ci(t),oi(t),ei(t)}

9、所述无人机发射机智能体的动作空间为:

10、

11、所述无人机发射机智能体的奖励函数为:

12、

13、所述无人机干扰机智能体的状态空间为:

14、sj(t)={xj(t),yj(t),zj(t),pj(t),cj(t),oj(t),ej′(t)}

15、所述无人机干扰机智能体的动作空间为:

16、aj(t)={dj(t),pj(t)}

17、所述无人机干扰机智能体的奖励函数为:

18、

19、第四步,采用多智能体全局优先经验学习方法对第三步的无人机发射机智能体和无人机干扰机智能体进行训练,训练结束得到全局优化策略。

20、所述第一步中,一共有i架无人机发射机、j架无人机干扰机、m个地面用户以及n个地面窃听者;

21、假设无人机发射机i的坐标为(xi,yi,zi),地面用户m的坐标为(xm,ym,zm),则无人机发射机i和用户m之间的距离为:

22、

23、其中,i=1,2,3,…,i,m=1,2,3,…,m;

24、假设无人机发射机i的坐标为(xi,yi,zi),地面窃听者n的坐标为(xn,yn,zn),则无人机发射机i和地面窃听者n之间的距离为:

25、

26、其中,i=1,2,3,…,i,n=1,2,3,…,n;

27、假设无人机干扰机j的坐标为(xj,yj,zj),地面窃听者n的坐标为(xn,yn,zn),则无人机干扰机j和地面窃听者n之间的距离为:

28、

29、其中,j=1,2,3,…,j,n=1,2,3,…,n;

30、无人机与地面用户之间的信道可以认为是空对地信道,路径损耗由视距概率下的路径损耗和非视距概率下的路径损耗组成,视距链路和非视距链路的路径损耗模型用db表示;

31、所述无人机发射机i与地面用户m的路径损耗为:

32、

33、其中,

34、

35、

36、c为光速,fc为信号的载波频率,ηlos和ηnlos分别是视距和非视距链路的平均额外损耗,无人机发射机i与地面用户m之间视距连接概率为

37、

38、其中ri,m是无人机发射机i和地面用户m之间的地面距离,α表示建设用地面积与总用地面积之比,β表示单位面积内建筑物的平均数目,ω是根据瑞利概率密度函数描述建筑物高度分布的尺度参数,ht,i是无人机发射机i的高度,hu,m是地面用户m的高度,于是可以得到非视距概率为

39、

40、所述无人机发射机i与地面窃听者n的路径损耗为:

41、

42、其中,

43、

44、

45、c为光速,fc为信号的载波频率,ηlos和ηnlos分别是视距和非视距链路的平均额外损耗,无人机发射机i与地面窃听者n之间视距连接概率为

46、

47、其中ri,n是无人机发射机i和地面窃听者n之间的地面距离,α表示建设用地面积与总用地面积之比,β表示单位面积内建筑物的平均数目,ω是根据瑞利概率密度函数描述建筑物高度分布的尺度参数,ht,i是无人机发射机i的高度,he,n是地面窃听者n的高度,于是可以得到非视距概率为

48、

49、所述无人机干扰机j与地面窃听者n的路径损耗为:

50、

51本文档来自技高网...

【技术保护点】

1.一种多无人节点协同互联安全通信优化方法,其特征在于该方法的步骤包括:

2.根据权利要求1所述的一种多无人节点协同互联安全通信优化方法,其特征在于:

3.根据权利要求2所述的一种多无人节点协同互联安全通信优化方法,其特征在于:

4.根据权利要求3所述的一种多无人节点协同互联安全通信优化方法,其特征在于:

5.根据权利要求3所述的一种多无人节点协同互联安全通信优化方法,其特征在于:

6.根据权利要求1-5任一所述的一种多无人节点协同互联安全通信优化方法,其特征在于:

7.根据权利要求6所述的一种多无人节点协同互联安全通信优化方法,其特征在于:

8.根据权利要求7所述的一种多无人节点协同互联安全通信优化方法,其特征在于:

9.根据权利要求1所述的一种多无人节点协同互联安全通信优化方法,其特征在于:

10.根据权利要求9所述的一种多无人节点协同互联安全通信优化方法,其特征在于:

【技术特征摘要】

1.一种多无人节点协同互联安全通信优化方法,其特征在于该方法的步骤包括:

2.根据权利要求1所述的一种多无人节点协同互联安全通信优化方法,其特征在于:

3.根据权利要求2所述的一种多无人节点协同互联安全通信优化方法,其特征在于:

4.根据权利要求3所述的一种多无人节点协同互联安全通信优化方法,其特征在于:

5.根据权利要求3所述的一种多无人节点协同互联安全通信优化方法,其特征在于:

...

【专利技术属性】
技术研发人员:张焱王赛尔张万成何遵文顾霖昊
申请(专利权)人:北京理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1