一种基于机器学习的空地协同通信服务方法及系统技术方案

一种基于机器学习的空地协同通信服务方法及系统，涉及空地协同通信服务技术领域，用以解决现有技术中仅靠无人机提供通信服务导致服务质量不高且效率低的问题。本发明专利技术的技术要点包括：获取每个无人机以及无人车在通信服务中的环境信息；将环境信息输入预训练的深度神经网络模型中，解算获得无人机以及无人车的协同通信服务策略指令。本发明专利技术可解决地面通信基站受损之后地面用户与外界或者地面用户之间相互通信的问题，同时可解决移动通信设备可用量不足的问题，本发明专利技术可对地面用户提供高质量且公平的通信服务，具有较高鲁棒性与较强的环境适应能力，可应用于空地协同通信服务之中。中。中。

【技术实现步骤摘要】
一种基于机器学习的空地协同通信服务方法及系统


[0001]本专利技术涉及空地协同通信服务
，具体涉及一种基于机器学习的空地协同通信服务方法及系统。

技术介绍

[0002]无人机为地面用户提供通信服务主要有两种途径，第一种途径是将无人机作为通信的中继点使用；在这种使用模式下，无人机负责转发用户与基站之间的通信消息，以此为用户提供通信服务。在这种通信服务模式中如何优化无人机的位置布局以及如何分配通信通道给不同的用户需要得到解决。通常的做法是将以上问题建模为一个多目标优化问题，使用凸优化的方法或者智能算法进行求解，得到无人机的位置分布以及通信信道的分配策略。第二种途径是利用无人机直接给用户提供通信服务；在这种模式下，无人机直接作为一个空中通信基站，给用户提供直接的通信服务。在这种通信服务模式中如何优化无人机的动态轨迹，为用户提供高质量的通信服务需要得到解决。通常的做法是将以上问题建模为一个优化问题求解，考虑的约束条件包括能量约束，最大数据吞吐量约束等，优化目标使得无人机为用户提供尽可能好的通信服务。一般方法为凸优化方法和一些机器学习方法。...

【技术保护点】

【技术特征摘要】
1.一种基于机器学习的空地协同通信服务方法，其特征在于，包括以下步骤：步骤一、获取每个无人机以及无人车在通信服务中的环境信息；步骤二、将所述环境信息输入预训练的深度神经网络模型中，解算获得无人机以及无人车的协同通信服务策略指令。2.根据权利要求1所述的一种基于机器学习的空地协同通信服务方法，其特征在于，步骤一中每个无人机对应的环境信息包括通信服务区域中用户状态信息、距离当前无人机最近的多个无人机位置信息、距离当前无人机最近的多个无人车位置信息；每个无人车对应的环境信息包括通信服务区域中用户状态信息、距离当前无人车最近的多个无人车位置信息、距离当前无人车最近的多个无人机位置信息；其中，所述位置信息包括距离参数和角度参数。3.根据权利要求2所述的一种基于机器学习的空地协同通信服务方法，其特征在于，步骤一中所述用户状态信息包括相对当前无人机或无人车具有最小排序因子的多个用户位置信息、全部用户的通信平均服务质量以及通信服务质量标准差；所述排序因子计算公式为：式中，ρ
k
表示用户k相对于无人机或无人车的排序因子；d
ik
表示无人机或无人车相对于用户k的距离；α
ik
表示无人机或无人车的速度方向和无人机或无人车与用户k之间连线的夹角；表示用户k在t时刻具有的通信服务质量；d
max
,Q
max
为归一化系数；λ1,λ2,λ3为比例系数。4.根据权利要求3所述的一种基于机器学习的空地协同通信服务方法，其特征在于，步骤二中深度神经网络模型预训练的过程包括：步骤二一、初始化无人机以及无人车的通信服务策略以及目标策略初始化无人机以及无人车值网络并使得无人机的策略网络与其目标网络相同，即同时使得无人车的策略网络与其目标网络相同，即步骤二二、在每个交互周期内，无人机与无人车分别收集与环境的交互数据{o
t
(u
i
),a
t
(u
i
),r
t+1
(u
i
),o
t+1
(u
i
)}与{o
t
(v
j
),a
t
(v
j
),r
t+1
(v
j
),o
t+1
(v
j
)}，其中，o
t
(u
i
)表示无人机i在t时刻观测的环境信息，表示无人机i在t时刻执行的动作指令，r
t+1
(u
i
)表示无人机i在t+1时刻接收的奖励值，o
t+1
(u
i
)表示无人机i在t+1时刻观测的环境信息；o
t
(v
j
)表示无人车j在t时刻观测的环境信息，表示无人车j在t时刻执行的动作指令，r
t+1
(v
j
)表示无人车j在t+1时刻接收的奖励值，o
t+1
(v
j
)表示无人车j在t+1时刻观测的环境信息；步骤二三、利用收集的交互数据计算优势函数，无人机i以及无人车j的优势函数计算为：为：
式中，以及分别表示无人机i与无人车j的优势函数；γ为折扣因子，在(0,1)之间；步骤二四、重复步骤二二至步骤二三直到达到设定的最大步长T；步骤二五、利用上述步骤收集的交互数据以及计算的优势函数计算获得无人机策略以及无人车策略的损失值如下：及无人车策略的损失值如下：式中，L
CLIP
(θ
u
)以及L
CLIP
(θ
v
)分别表示无人机的策略损失值以及无人车的策略损失值；∈为一个常数，取值范围在(0,1)之间；为无人机实际策略与目标策略的比值，为无人车实际策略与目标策略的比值；步骤二六、最小化L
CLIP
(θ
u
)与L
CLIP
(θ
v
)更新无人机以及无人车的通信服务策略网络；步骤二七、利用上述步骤收集的交互数据计算无人机值函数以及无人车值函数的损失值如下：式中，L
V
(φ
u
)为无人机值函数的损失值，L
V
(φ
v
)为无人车值函数的损失值；步骤二八、最小化L
V
(φ
u
)与L
V
(φ
v
)更新无人机以及无人车值网络；步骤二九、更新无人机目标策略网络与无人车目标策略网络：θ
′
u
←
θ
u
，θ
′
v
←
θ
v
；步骤二十、重复步骤二二至步骤二九直到网络训练收敛，获得训练好的深度神经网络模型。5.根据权利要求4所述的一种基于机器学习的空地协同通信服务方法，其特征在于，步骤二中解算获得无人机以及无人车的协同通信服务策略指令的具体过程包括：经过训练好的深度神经网络模型的输出值包括选择每个无人机控制指令的概率和选择每个无人车控制指令的概率，无人机控制指令为无人机航向偏角指令，无人车控制指令为无人车线速度控制指令与角速度控制指令的组合；选择具有最大概率值对应的无人机航向偏角指令作为无人机实际控制指令，选择具有最大概率值对应的无人车线速度控制指令与角速度控制指令的组合作为无人车实际控制指令。6.一种基于机器学习的空地协同通信服务系统，其特征在于，包括：数据获...

【专利技术属性】
技术研发人员：白成超，郭继峰，颜鹏，郑红星，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：