一种空地协同的自组织网络数据传输方法技术

本发明专利技术公开了一种空地协同的自组织网络数据传输方法，包括：构建有无人机辅助的地面自组织网络数据传输系统模型；以最小化数据包的最大端到端时延为优化目标，构建有关无人机航迹和地面节点接入的联合优化问题；构建无人机辅助地面自组织网络传输数据包的系统MDP模型；采用深度强化学习算法对联合优化问题进行求解，并将求解结果应用于空地协同的自组织网络数据传输，降低数据包的端到端时延。本发明专利技术采用深度强化学习算法求解无人机航迹和地面节点接入的联合优化问题，可以实现快速在线决策，使得数据包在更好的视距链路中灵活传输，提升自组织网络的传输性能并扩大自组织网络的应用范围。的应用范围。的应用范围。

【技术实现步骤摘要】
一种空地协同的自组织网络数据传输方法


[0001]本专利技术属于无线通信
，尤其涉及一种应用深度强化学习实现空地协同的自组织网络数据传输方法。

技术介绍

[0002]自组织网络是一个无线节点的集合，网络中节点间的通信可以不依赖任何预先存在的基础路由设施，而是可以直接通信或者依靠其他节点作为中继节点进行通信，其分布式的无线和自配置特性让它得到广泛的应用。然而，当多个节点同时向一个中继节点传输数据包时，会导致中继节点过载。这是由于节点传输速率有限、数据包数量多，使得系统的传输时延增加。
[0003]无人机辅助通信具有高移动性、快速灵活部署、低成本及视距链路通信的特性，它可以用作空中物联网用户收集信息、不受地理限制成为空中基站，以及在没有可靠的直接通信链路的用户之间充当移动中继设备。相比于陆地基站通信和高空平台通信，按需分配的无人机通信系统能更快部署、更加灵活，并且由于短程视距链路的出现，还可能带来更好的通信信道。
[0004]专利申请公开号CN113193906A，基于无人机模式转换的空地融合通信方法，通过依据无线通信环境动态地选择无人机工作模式，可以在避免无人机频繁巡航所产生大量机械能耗的同时，在一定程度上改善信号传输质量，在信息传输吞吐量和能量消耗之间取得最优折中，有效提升无人机通信链路的经济效率；专利申请公开号CN111800185A提出了一种无人机辅助通信中的分布式空地联合部署方法，该算法收敛于最优的联盟结构。
[0005]为了解决地面节点拥堵的问题，可以采用无人机作为空中中继节点对自组织网络中的数据包进行中继传输。然而无人机的高机动性与地面自组织网络中数据包传输导致的动态环境使得需要无人机辅助传输的节点动态变化，动态变化的环境又会使得选择数据包的传输路径变得困难，且无人机的航迹规划问题与地面节点接入规划问题紧密耦合，使得最优的无人机辅助地面自组织网络的决策方案难以求解。

技术实现思路

[0006]为了解决上述已有技术存在的不足，本专利技术提出一种基于深度强化学习的空地协同的自组织网络数据传输方法，可以根据数据传输的情况，快速在线优化无人机与地面节点间的通信，从而缓解自组织网络中的数据包拥堵问题，提升自组织网络的传输性能，并降低数据包的端到端时延，扩大自组织网络的应用范围。本专利技术的具体技术方案如下：一种空地协同的自组织网络数据传输方法，包括以下步骤：S1：建立无人机辅助地面自组织网络传输数据包的系统模型；具体过程为：S1
‑
1：构建无人机辅助地面自组织网络传输数据包的基本场景模型，并进行模型简化；S1
‑
2：补充信道模型，包括地
‑
地信道模型和空
‑
地信道模型，设自组织网络间的通
信和与无人机的通信均采用正交信道，因此不存在信道间干扰；S2：以最小化数据包的最大端到端时延为优化目标，构建有关无人机航迹和地面节点接入的联合优化问题；S3：构建无人机辅助地面自组织网络传输数据包的系统MDP模型；S4：基于步骤S3的模型，采用深度强化学习算法对联合优化问题进行求解；S5：将步骤S4的结果应用于空地协同的自组织网络数据传输。
[0007]进一步地，所述步骤S1
‑
1包括以下步骤：S1
‑1‑
1：在长度为L，宽度为W的L
×
W矩形地面区域内，存在由J个节点组成的地面自组织网络以及一个地面接入点，每个节点有K个大小为N bits的数据包，各节点需要将所有数据包传输到地面接入点，采用prim算法预先给定地面路由方式；S1
‑1‑
2：各节点依次传输在本节点处的数据包，节点能够选择将数据包经由其他节点传输到地面接入点，或选择通过将数据包传给无人机，再由无人机传输到地面接入点；S1
‑1‑
3：设时间离散化，时间间隔为Δt，每个数据包的每一次传输需要花费整数个时间间隔Δt；设无人机以时间间隔Δt
action
调整其飞行策略，Δt
action
是Δt的整数倍；S1
‑1‑
4：设无人机以固定高度H和恒定速度V飞行，从一个随机的初始位置l
i
起飞，且无人机通过改变飞行方向调整飞行轨迹，在一个时间间隔Δt
action
内的位置保持不变，无人机持续向地面接入点传输数据包，但只能在悬停时接受节点的数据包，将第j个节点坐标记为(x
j,
y
j
, 0)；其中，在t时刻至t+1时刻的时间间隔Δt
action
中，环境与无人机状态的信息维持不变，即用t时刻的状态表征t+Δt
action
时间段内的信息，t时刻无人机的位置为l(t) = (x(t), y(t), H)。
[0008]进一步地，所述步骤S1
‑
2包括以下步骤：S1
‑2‑
1：地面通信链路采用Sub
‑
6GHz频带，信道模型为瑞利衰落下的自由空间传输路径损耗模型，考虑环境中存在高斯白噪声，给出t时刻节点j在给定功率P
j
下，向节点传输数据包的信道模型和传输速率，即：（1）（2）其中，为参照距离d0=1m时的路径损耗，为节点j到节点直线距离，为非视距传输的路径损耗参数，为t时刻单位方差下的循环对称复高斯分布小尺度衰落成分，B1是Sub
‑
6G频带下的子信道带宽，N0为高斯白噪声单边功率谱密度；S1
‑2‑
2：对空地通信链路，在视距链路通信模型下，无人机与节点及地面接入点间的信道增益服从自由空间路径损耗模型，考虑环境中存在高斯白噪声，给出t时刻节点j向无人机传输数据包的信道模型h
j,u
(t)和传输速率R
j,u
(t)，以及无人机在给定功率P
u
下，向地面接入点传输数据包的信道模型h
u,AP
(t)和传输速率R
u,AP
(t)，即：
（3）（4）（5）（6）其中，d
j,u
(t)和d
u,AP
(t)分别为t时刻节点j到无人机的直线距离和无人机到地面接入点的直线距离，为视距传输的路径损耗参数，B2表示无人机传输数据时所用的信道带宽，G
a
为定向波束赋形天线增益。
[0009]进一步地，所述步骤S2的具体过程为：确定优化目标为最小化数据包的最大端到端时延，其中，一个数据包端到端时延是指该数据包从源节点传输到地面接入点所用的总时间，包括数据包在各节点间传输所用的时间，和在各节点处等待传输的时间；系统模型中，所有数据包都是从t=0时刻开始传输，因此，数据包的最大端到端时延即最后一个到达地面接入点的数据包的端到端时延，即所有数据包都到达地面接入点的所用时间T
end
，则建立的联合优化问题为：其中，V
flight
表示无人机飞行方向，V
access...

【技术保护点】

【技术特征摘要】
1.一种空地协同的自组织网络数据传输方法，其特征在于，包括以下步骤：S1：建立无人机辅助地面自组织网络传输数据包的系统模型；具体过程为：S1
‑
1：构建无人机辅助地面自组织网络传输数据包的基本场景模型，并进行模型简化；S1
‑
2：补充信道模型，包括地
‑
地信道模型和空
‑
地信道模型，设自组织网络间的通信和与无人机的通信均采用正交信道，因此不存在信道间干扰；S2：以最小化数据包的最大端到端时延为优化目标，构建有关无人机航迹和地面节点接入的联合优化问题；S3：构建无人机辅助地面自组织网络传输数据包的系统MDP模型；S4：基于步骤S3的模型，采用深度强化学习算法对联合优化问题进行求解；S5：将步骤S4的结果应用于空地协同的自组织网络数据传输。2.根据权利要求1所述的传输方法，其特征在于，所述步骤S1
‑
1包括以下步骤：S1
‑1‑
1：在长度为L，宽度为W的L
×
W矩形地面区域内，存在由J个节点组成的地面自组织网络以及一个地面接入点，每个节点有K个大小为N bits的数据包，各节点需要将所有数据包传输到地面接入点，采用prim算法预先给定地面路由方式；S1
‑1‑
2：各节点依次传输在本节点处的数据包，节点能够选择将数据包经由其他节点传输到地面接入点，或选择通过将数据包传给无人机，再由无人机传输到地面接入点；S1
‑1‑
3：设时间离散化，时间间隔为Δt，每个数据包的每一次传输需要花费整数个时间间隔Δt；设无人机以时间间隔Δt
action
调整其飞行策略，Δt
action
是Δt的整数倍；S1
‑1‑
4：设无人机以固定高度H和恒定速度V飞行，从一个随机的初始位置l
i
起飞，且无人机通过改变飞行方向调整飞行轨迹，在一个时间间隔Δt
action
内的位置保持不变，无人机持续向地面接入点传输数据包，但只能在悬停时接受节点的数据包，将第j个节点坐标记为(x
j,
y
j
, 0)；其中，在t时刻至t+1时刻的时间间隔Δt
action
中，环境与无人机状态的信息维持不变，即用t时刻的状态表征t+Δt
action
时间段内的信息，t时刻无人机的位置为l(t) = (x(t), y(t), H)。3.根据权利要求1或2所述的传输方法，其特征在于，所述步骤S1
‑
2包括以下步骤：S1
‑2‑
1：地面通信链路采用Sub
‑
6GHz频带，信道模型为瑞利衰落下的自由空间传输路径损耗模型，考虑环境中存在高斯白噪声，给出t时刻节点j在给定功率P
j
下，向节点传输数据包的信道模型和传输速率，即：（1）（2）其中，为参照距离d0=1m时的路径损耗，为节点j到节点直线距离，为非视距传输的路径损耗参数，为t时刻单位方差下的循环对称复高斯分布小尺度衰落成分，B1是Sub
‑
6G频带下的子信道带宽，N0为高斯白噪声单边功率谱密度；S1
‑2‑
2：对空地通信链路，在视距链路通信模型下，无人机与节点及地面接入点间的信
道增益服从自由空间路径损耗模型，考虑环境中存在高斯白噪声，给出t时刻节点j向无人机传输数据包的信道模型h
j,u
(t)和传输速率R
j,u
(t)，以及无人机在给定功率P
u
下，向地面接入点传输数据包的信道模型h
u,AP
(t)和传输速率R
u,AP
(t)，即：（3）（4）（5）（6）其中，d
j,u
(t)和d
u,AP
(t)分别为t时刻节点j到无人机的直线距离和无人机到地面接入点的直线距离，为视距传输的路径损耗参数，B2表示无人机传输数据时所用的信道带宽，G
a
为定向波束赋形天线增益。4.根据权利要求2所述的传输方法，其特征在于，所述步骤S2的具体过程为：确定优化目标为最小化数据包的最大端到端时延，其中，一个数据包端到端时延是指该数据包从源节点传输到地面接入点所用的总时间，包括数据包在各节点间传输所用的时间，和在各节点处等待传输的时间；系统模型中，所有数据包都是从t=0时刻开始传输，因此，数据包的最大端到端时延即最后一个到达地面接入点的数据包的端到端时延，即所有数据包都到达地面接入点的所用时间T
end
，则建立的联合优化问题为：其中，V
flight
表示无人机飞行方向，V
access
表示节点接入策略。5.根据权利要求4所述的传输方法，其特征在于，所述步骤S3构建无人机辅助地面自组织网络传输数据包的系统的MDP模型，包括状态S、行为A、状态转移概率矩阵P、奖励函数R和折扣因子γ，包括以下步骤：S3
‑
1：状态S：每个时间间隔Δt
action
内，系统的状态由以下两部分组成：无人机的位置坐标l(t)，包括x和y坐标；各节点处及无人机处的数据包数量Q(t)={q...

【专利技术属性】
技术研发人员：赵晶晶，蔡开泉，朱衍波，王鑫，喻兰辰晖，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：