基于深度强化学习的空陆协作实时交通数据收集方法技术

本发明专利技术公开了基于深度强化学习的空陆协作实时交通数据收集方法，属于车联网通信领域；具体为：首先，搭建包含RSU，UAV和若干车辆的空地协同车联网架构；RSU和UAV联合收集各时隙所有车辆产生的数据；然后，针对第m辆车与接收端k之间通信时，设定该车辆与数据卸载到接收端k之间的约束条件，并结合带宽分配计算信道速率；同时综合考虑安全车速的限制，车辆性能、道路限速以及驾驶者的实际操作，计算后车的安全速度；在联合优化接入策略，带宽分配以及无人机轨迹，满足搭建以数据传输成功率最大化的优化目标函数；最后，使用深度强化学习方法TD3对目标函数进行求解，得到通过RSU和UAV协调下的成功率最高的收集数据，本发明专利技术提高了数据传输成功率DTSR。数据传输成功率DTSR。数据传输成功率DTSR。

【技术实现步骤摘要】
基于深度强化学习的空陆协作实时交通数据收集方法


[0001]本专利技术属于车联网通信领域，涉及无人机(UAV,Unmanned Aerial Vehicle)技术以及深度强化学习(DRL,deep reinforcement learning)技术，具体是基于深度强化学习的空陆协作实时交通数据收集方法。

技术介绍

[0002]随着自动驾驶技术、交通环境感知技术和车辆多媒体的发展，车辆异构网逐渐演变成了车联网(IoV,Internet of Things)。在车联网中，任何一个用户都可以享受到丰富的网络服务，但这种服务需要大量、实时的交通数据的支持。因此，如何高效地将来自车辆的数据收集到诸如路侧单元(RSU,road side unit)这样的网络节点成为了一个值得研究的问题。
[0003]无人机是一种具有高机动性、高灵活性的设备。在用户密集，接入数量庞大的情况下，无人机可以很好地在车联网中实现数据的高效采集，大大提升车联网的服务范围，缓解其他通信设备的压力。
[0004]这种利用无人机来辅助地面通信设备进行数据传输的技术称为空地协同网络；已经有许多把无人机应用到物联网、车联网以及其它地面传统通信网络中的案例，无人机的高移动性使其可以快速地部署到指定位置，扩展网络的覆盖范围，提升网络的通信能力。
[0005]但是，现有的研究只是简单地将无人机运用到各类场景中，并没有将其与场景中原本就具备的相关通信设备进行有机结合，导致了资源的浪费。
[0006]其次，无人机的高机动性在拓展了通信范围的同时，也增大了空地协同网络的复杂程度，这就导致了设计出一个合理的、高效的车联网数据收集方案变得十分困难。
[0007]因此，如何协调好无人机网络和地面网络、合理地分配有限的通信资源、以及规划无人机的飞行轨迹都是当下车联网所面临的难题。
[0008]在很多的涉及到车联网的专利技术或研究中，假定的车流模型都过于简单，不符合实际情况。在许多涉及到无人机位置优化的研究中，往往只能针对单一固定情况下给出无人机的最佳位置，而事实上，无人机飞行的过程是连续的，这种完全基于离散状态给出的优化方案难以被真正运用。最后，由于相关优化问题是时间维度耦合的非凸优化问题，相关的工作往往将问题分解成若干个近似子问题然后分别加以求解。通过这种方式得到的近似解与问题的最优解的差距往往较大，且无法解决更加复杂的问题。
[0009]总的来说，只有考虑完整的空陆协同收集过程，才能做到真正的优化，这正是现有的工作中所欠缺的。除此之外，真实的路段信息、交通灯信息和车辆运动情况这些实时交通中非常重要的因素也是被许多现有工作所忽视的。

技术实现思路

[0010]本专利技术针对实时交通背景下的空陆协同网络优化，考虑了信号灯以及其它交通因素。为了提高数据传输成功率(data transmission success rate,DTSR)，使用了基于深度
强化学习的空陆协作实时交通数据收集方法，通过联合优化无人机轨迹、接入策略以及通信带宽分配，在条件约束的情况下最大化了DTSR。
[0011]所述基于深度强化学习的空陆协作实时交通数据收集方法，具体步骤如下：
[0012]步骤一、搭建包含一个路侧单元RSU，一架无人机UAV和若干车辆的基于实时交通的空地协同车联网数据收集架构；
[0013]其中，路侧单元RSU和无人机UAV均作为车辆数据的接收端；
[0014]步骤二、每个时隙内每辆车都会产生一个大小为D的数据包上传，RSU和UAV联合收集所有车辆产生的数据；
[0015]用集合和分别代表场景中所有车辆、数据的接收端和考虑的所有时隙。
[0016]步骤三、针对第m辆车，同一时隙内该车辆只能选择一个接收端，设定该车辆与数据卸载到接收端k之间的约束条件；
[0017]约束条件为：
[0018]a
m,k
(t)∈{0,1},表示卸载决策的二值变量，当第m辆车需要将它的数据卸载到接收端k的时候，a
m,k
(t)＝1，否则a
m,k
(t)＝0。
[0019]步骤四、当第m辆车与接收端k之间通信时，结合带宽分配计算信道速率R
m,k
；
[0020]表达式为：
[0021][0022]其中b
m,k
是带宽分配因子，满足约束B
k
是可用带宽；P0，A
r
，n0分别代表传输功率、接收端的天线增益和噪声功率密度；PL
m,k
是视距信道和非视距信道的平均路损；
[0023]步骤五、当第m辆车行驶时，综合考虑安全车速的限制，车辆性能、道路限速以及驾驶者的实际操作，计算后车的安全速度；
[0024]后车的安全速度表示为
[0025][0026]其中，w是最大减速度，T
r
是驾驶者的反应时间，T
i
是车由静止加速到最高速度所需的时间，v
l
是前车的速度，S是前车和后车之间的距离。
[0027]步骤六、在联合优化接入策略，带宽分配以及无人机轨迹，满足搭建以数据传输成功率最大化的优化目标函数；
[0028]优化目标函数为：
[0029][0030][0031][0032]C3:q
u
(1)＝q
init
,
[0033][0034][0035]ξ为数据传输成功率，用累积成功传输的数据包的数量除以上传请求的总数计算；A为接入策略：B为带宽分配Q为无人机轨迹UAV的水平位置表示为q
u
＝(x
u
,y
u
)；
[0036]ψ
m,k
(t)∈{0,1}表示第m辆车的数据传输的完成情况的二元变量，若a
m,k
(t)R
m,k
(t)τ≥D，ψ
m,k
(t)＝1，否则ψ
m,k
(t)＝0；τ为一个时隙的持续时间；ψ
total
表示上传请求的总数；
[0037]C1是关于接入策略的约束，C2是带宽分配的约束，C3定义了无人机的起始位置q
init
。C4和C5分别保证了无人机的加速度和速度不会超过其所能达到的上限；a
u
和v
u
分别是无人机加速度矢量和速度矢量；是无人机的加速度上限；是无人机的速度上限；
[0038]步骤七、使用深度强化学习方法TD3对目标函数进行求解，得到通过RSU和UAV协调下的成功率最高的数据收集。
[0039]所述TD3包括状态空间，动作空间以及奖励函数三部分；
[0040]状态空间为：
[0041]s(t)＝(q
u
(t),q
m
(t),v
u
(t))
[0042]q
u
(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度强化学习的空陆协作实时交通数据收集方法，其特征在于，具体步骤如下：首先，搭建包含一个路侧单元RSU，一架无人机UAV和若干车辆的基于实时交通的空地协同车联网数据收集架构；每个时隙内每辆车都会产生一个大小为D的数据包上传，RSU和UAV联合收集所有车辆产生的数据；然后，针对第m辆车与接收端k之间通信时，设定该车辆与数据卸载到接收端k之间的约束条件，并结合带宽分配计算信道速率R
m,k
；约束条件为：约束条件为：表示卸载决策的二值变量，当第m辆车需要将它的数据卸载到接收端k的时候，a
m,k
(t)＝1，否则a
m,k
(t)＝0；和分别代表场景中所有车辆、数据的接收端和考虑的所有时隙；信道速率R
m,k
(t)表达式为：其中b
m,k
是带宽分配因子，满足约束B
k
是可用带宽；P0，A
r
，n0分别代表传输功率、接收端的天线增益和噪声功率密度；PL
m,k
是视距信道和非视距信道的平均路损；当第m辆车行驶时，综合考虑安全车速的限制，车辆性能、道路限速以及驾驶者的实际操作，计算后车的安全速度；最后，联合优化接入策略，带宽分配以及无人机轨迹，搭建以数据传输成功率最大化的优化目标函数；并使用深度强化学习方法TD3对目标函数进行求解，得到通过RSU和UAV协调下的成功率最高的收集数据；优化目标函数为：ξ为数据传输成功率，用累积成功传输的数据包的数量除以上传请求的总数计算；A为接入策略：B为带宽分配Q为无人机轨迹UAV的水平位置表示为q
u
＝(x
u
,y
u
)；
ψ
m,k
(t)∈{0,1}表示第m辆车的数据传输的完成情况的二元变量，若a
m,k
(t)R
m,k
(t)τ≥D，ψ
m,k
(t)＝1，否则ψ
m,k
(t)＝0；τ为一个时隙的持续时间；ψ
total
表示上传请求的总数；C1是关于接入策略的...

【专利技术属性】
技术研发人员：许晨，谢星寰，林方圆，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：