【技术实现步骤摘要】
本专利技术属于无线通信，具体涉及一种基于ppo的抗干扰无人机通感一体化数据收集方法。
技术介绍
1、无人机(uav,unmanned aerial vehicle)由于其灵活性、可控性和快速部署的能力，最近在学术界和工业界引起了极大的关注，引起了广泛的应用，包括通信覆盖、车辆到一切(vehicle-to-everything,v2x)和货物运输。在这些应用中，使用无人机作为通信感知一体化(integrated sensing and communication,isac)主体十分具有应用前景，一方面来说，无人机作为数据接收端，与传感器进行通信，同时无人机作为感知主体实时感知周围目标。
2、在无线传感器网络(wireless sensor networks,wsns)领域，由于低成本传感器节点(sensor nodes,sns)本身存在能量有限、处理能力弱、内存不足等固有限制，将采集到的数据通过无线连接传输到基站时常常面临着一系列挑战。与此相反，无人机以其高度机动性，能够在接近传感器节点时逐一访问并传输数据。通过这一方法，在保障数据采集完整性的前提下，有效缩短了无人机与网络节点之间的链路距离，从而显著降低了网络节点的传输能耗。
3、值得注意的是，在通信感知一体化场景下，无人机的飞行轨迹对数据收集以及目标感知过程产生显著影响，并进而对整体网络性能造成影响。因此，对无人机轨迹进行智能规划成为实现各类无人机无线网络性能最大化的不可或缺的条件。
4、然而，在无人机辅助的无线传感器网络中，数据通信的开放性
技术实现思路
1、本专利技术的目的，就是针对上述限制，提出一种基于ppo的抗干扰无人机通感一体化数据收集方法，以提高在干扰的通感一体化场景下无人机网络的性能。
2、本专利技术的技术方案是：种基于近端策略优化(proximal policy optimization,ppo)的抗干扰无人机通感一体化数据收集方法，定义通感一体化数据收集系统包括1个无人机、1个目标节点、s个传感器节点和1个干扰节点，无人机与s个传感器节点通信，将传感器的数据收集到无人机，同时无人机对目标节点进行感知，干扰节点对通信以及感知过程进行干扰，无人机需要尽可能减小干扰对其影响，通过时分多址协议服务s个传感器节点并通过时变视距传输信道完成数据收集过程，其特征在于：
3、s1、构建ppo算法的策略神经网络actor模块和价值神经网络critic模块并分别初始化参数和ω。其中策略网络actor模块的输入是当前环境状态s，输出无人机动作的概率分布用于选择无人机动作，其目标是学习在当前状态下最优策略。价值网络critic模块同样接收环境状态s作为输入，输出当前状态s的累积奖励的期望值，它衡量了在当前状态下智能体所处的状态的好坏；
4、s2、建立无人机通感一体化数据收集模型，可以通过无人机的状态s得到有效数据收集速率r。首先初始化无人机、干扰节点、传感器节点和目标节点的初始位置，获取当前信道状态，其中采用融合视距与非视距的空对地信道模型，无人机与传感器节点i的视距概率如下：
5、
6、其中θi(t)是传感器节点i到无人机的仰角，a和b是由实际环境决定的参数，传感器节点i与无人机之间以视距或非视距状态为条件的信道功率增益可以建模为如下公式2：
7、
8、其中β0表示在参考距离为1米下的平均信道功率，μ为非视距传输信号衰减因子，di(t)为无人机与传感器节点的距离，αl、αn分别表示在视距、非视距状态下的平均路径损耗指数。无人机与当前传感器节点的可达数据收集速率可以表示为
9、
10、其中b为信道带宽，σ2为接收机噪声功率，pi和pm分别为当前传感器节点和干扰节点的功率，l∈{l，n}分别表示视距、非视距状态，为干扰节点与无人机之间的信道功率增益，其形式同公式2。考虑概率视距信道，根据上述公式，可以将无人机与当前传感器节点i的可达数据收集速率的期望下界表示为
11、
12、其中
13、
14、ιi＝β0pi/σ2，ιm＝β0pm/σ2。令二元变量χi(t)为时刻t无人机调度传感器节点策略，若其值为1，表示无人机当前与传感器节点i进行通信，则有效数据收集速率为
15、
16、此外，无人机功耗计算如下：
17、
18、其中无人机的推进功率消耗由三个部分组成，即旋翼构型功率、诱导功率和寄生功率。悬停状态旋翼构型功率用p0表示，utip为动叶尖转速。在悬停状态下，诱导功率和平均动叶诱导速度分别用pi和v0表示。寄生功率取决于几个因素，包括机身阻力系数d0，空气密度ρ，转子坚固度s以及旋翼盘面积a。
19、将无人机数据收集问题建模为马尔可夫决策问题。
20、具体如下，有限状态空间在t时刻的环境状态st用以下五元组进行描述
21、
22、其中为无人机与当前需要进行数据收集的传感器节点的距离，xt，yt，zt为无人机的投影坐标。
23、有限动作空间在t时刻的无人机动作at用以下三元组进行描述
24、
25、其中和为无人机的水平和垂直飞行速度，θt为无人机在t时刻的偏航角，分别存在约束
26、在解决马尔可夫决策过程问题时，核心目标是寻找在最大化奖励函数的前提下得到最优策略。数据收集的优化目标是满足感知精度的条件下使得无人机数据收集吞吐量最大并且能耗最小。奖励空间时刻t的具体奖励为
27、
28、其中为无人机当前数据传输速率，为无人机当前功耗的负值，为辅助奖励，包含了碰撞边界惩罚、目标感知奖励和数据持续传输奖励；
29、s3、无人机将当前所处环境状态st输入策略网络，策略网络输出动作，在干扰下的通感一体化数据收集环境中执行所选动作并获得奖励，则当前环境状态变为下一时刻；
30、s4、将步骤3状态、所选动作与获得奖励打包成四元组(st，at，rt，st+1)存入经验缓存池中，其中st表示当前环境状态，at为当前所选动作，rt为获得奖励，st+1为下一时刻状态；
31、s5、重复步骤3和步骤4，如果经验缓存池中数据数量达到预设阈值，就会进行以下操作：从经验缓存池中随机采样一批次样本，然后将无人机状态信息、选择的动作以及获得奖励输入价值神经网络critic模块中进行训练。价值神经网络依据时序差分误差更新网络参数ω，时序差分误差表示为
32、
33、其中γ为折扣因子。最后更新策略网络，将状态信息输入策略神经网络actor模块中，同时结合价本文档来自技高网...
【技术保护点】
1.一种基于PPO的抗干扰无人机通感一体化数据收集方法，定义通感一体化数据收集系统包括1个无人机、1个目标节点、S个传感器节点和1个干扰节点，无人机与S个传感器节点通信，将传感器的数据收集到无人机，同时无人机对目标节点进行感知，干扰节点对通信以及感知过程进行干扰，无人机需要尽可能减小干扰对其影响，通过时分多址协议服务S个传感器节点并通过时变视距传输信道完成数据收集过程，其特征在于，数据收集方法包括以下步骤：
【技术特征摘要】
1.一种基于ppo的抗干扰无人机通感一体化数据收集方法，定义通感一体化数据收集系统包括1个无人机、1个目标节点、s个传感器节点和1个干扰节点，无人机与s个传感器节点通信，将传感器的数据收集到无人机，同时无人...
【专利技术属性】
技术研发人员：陈泽，杨平，肖悦，钱良鑫，武刚，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。