【技术实现步骤摘要】
本专利技术属于无人驾驶领域，涉及一种考虑通信延迟的车辆协同感知方法及装置。
技术介绍
1、准确感知复杂的驾驶环境对自动驾驶汽车的安全至关重要。随着深度学习的最新进展，单车感知系统在目标检测等多项任务中的鲁棒性得到了显著提高。尽管最近取得了进展，但挑战依然存在。单智能体感知系统往往在远距离受到遮挡和传感器数据稀疏的影响视野有限，为了解决这些问题，最近的研究通过研究车对车(v2v)协作，利用了同一场景的多个视点的优势共享来自附近多个车辆的视觉信息，以完整准确地了解周围环境，也使得感知精度进一步提高。目前的主流工作在通信带宽和感知性能之间权衡，然而，目前的这些协作感知方法都没有考虑到延迟不可避免的现实通信环境。当太多车辆在某个区域交换消息时，通信信道变得拥挤，可能发生丢包；硬件故障也可能导致通信故障。在这种情况下，车辆可能无法及时接收到来自其他车辆的信息，或者导致严重的时间异步，协同感知的性能可能会严重退化，对跟踪和轨迹预测等下游任务造成影响，导致系统级联故障，这对协作系统来说是极其危险的，威胁自动驾驶系统的安全性和效率。
技术实现思路
1、本专利技术提供了一种考虑通信延迟的车辆协同感知方法及装置，以解消除自动驾驶过程因信号延迟或信号丢失，导致周围目标检测不准确的技术问题，以及如何避免预测结果级联误差，提高确估计精准度。
2、本专利技术采用以下技术方案：
3、本专利技术提供了一种考虑通信延迟的车辆协同感知方法，包括：
4、获取自车和协同车辆各自的点云数
5、根据自车和协同车辆点云数据提取自车和协同车辆的感知特征；
6、对自车和协同车辆感知特征分别计算注意力权重，得到加权自车和协同车辆的感知特征；
7、将加权协同车辆的感知特征与加权自车的感知特征进行融合，得到融合特征；
8、根据融合特征最终感知输出自车周围车辆的位置，大小及类别。
9、可选的，根据自车和协同车辆点云数据提取自车和协同车辆的感知特征对协同车辆感知特征添加注意力权重，得到加权后的自车及各个协同车辆的感知特征之前包括：
10、同时获取到协同车辆的历史点云数据和自车的点云数据；
11、对协同车辆的历史分别将点云数据和自车的点云数据分别进行特征提取，获得协同车辆的感知特征和自车的感知特征；自车和协同车辆点云数据划分体柱，按照各点坐标、所有点距离所在点云体柱的算术平均值的距离以及各点距离点云体柱中心的偏移扩充为9维数据；
12、根据自车和系统车辆的9维数据分别提取出自车的感知特征和协同车辆的感知特征；
13、并将协同车辆的感知特征和自车的感知特征统一笛卡尔坐标系中。
14、可选的，结合各协同车辆和自车共享各自的位置信息、姿态信息将协同车辆的感知特征和自车的感知特征统一笛卡尔坐标系中。
15、可选的，将加权协同车辆的感知特征与加权自车的感知特征进行融合，得到融合特征之前包括：
16、在通信延迟下自车未及时接收或未被成功传输协同车辆的感知特征时，根据协同车辆传输的历史感知特征和对应权注意力权重通过预测网络估计出当前时刻的协同车辆的感知特征及注意力权重。
17、可选的，预测网络采用双路lstm网络，一条支路根据协同车辆传输的历史感知特征及历史感知特征对应的注意力权重估计出当前时刻的协同车辆的感知特征；另一条支路利用协同车辆传输的历史感知特征及历史感知特征对应的注意力权重对当前协同车辆的感知特征对应的注意力权重进行预测。
18、可选地，通过如下公式计算协同车辆感知特征的注意力权重：
19、
20、其中，q表示查询矩阵，k关键字矩阵，b表示偏移，||表示级联，r表示不同膨胀率的头部，n表示所有头部，j表示其他车辆或自车，i表示自车。
21、可选地，方法所采用的训练网络的总损失函数为：
22、
23、其中λ表示每一项的权重输出loutput(·)是最终感知损失，lfusion(·),为融合特征、lfeature(·)为中间估计特征和lweight(·)为估计协作注意力的损失，yi(t)为车辆i融合后感知目标的真实位置及类别，为车辆i融合后最终感知输出，为车辆i利用t时刻特征及权重计算的融合特征，为车辆i利用估计特征及权重计算的融合特征，fi(t)为t时刻车辆i融合的感知特征图，为t时刻车辆i融合的估计特征，为车辆j到车辆i传输特征图的注意力权重，为估计权重。
24、本专利技术还提供了一种考虑通信延迟的车辆协同感知装置，包括：
25、数据获取模块，用于获取自车和协同车辆各自的点云数据；
26、特征提取模块，用于根据自车和协同车辆点云数据提取自车和协同车辆的感知特征；
27、注意力模块，用于对自车和协同车辆感知特征分别计算注意力权重，得到加权自车和协同车辆的感知特征；
28、融合模块，用于将加权协同车辆的感知特征与加权自车的感知特征进行融合，得到融合特征；
29、输出模块，用于根据融合特征最终感知输出自车周围车辆的位置，大小及类别。
30、可选的，该装置还包括：
31、预测模块，用于当自车在通信延迟下未及时接收或未被成功传输协同车辆的感知特征时，根据协同车辆传输的历史感知特征和对应权注意力权重过预测网络估计出当前时刻的协同车辆的感知特征及注意力权重。
32、本专利技术还提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述实施例中任一项所述考虑通信延迟的车辆协同感知方法的步骤。
33、本专利技术还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述实施例中任一项考虑通信延迟的车辆协同感知方法的步骤。
34、本专利技术的有益效果是：
35、在无人驾驶场景下通过自车和协同车辆共享的周围环境的点云数据分别提取到关于周围车辆的感知特征，并采用注意力机制对自车感知特征和协同车辆的感知特征分别对其重要部分添加了对应的权重，最后将两者加权后的感知特征进行融合和检测，输出自车周围车辆的位置，大小及类别，提高了目标检测的精准度。
36、此外，在通信延迟下自车未及时接收或未被成功传输协同车辆的感知特征时，可通过协同车辆的历史感知特征以及对应的注意力权重对当前时刻的系统车辆的感知特征以及权重重新进行预测，弥补了通信延时导致的信号无法及时接收，减小了周围车辆的当前状态估计的时间；
37、在计算注意力时，使用扩张多头注意力方法，不同头部中的不同膨胀率，在满足提取多尺度信息的同时减少计算量；
38、为抵抗延迟，使用双分支的lstm网络利用历史特征和注意力权重作为输入，两个分支分别预测特征和权重，避免单独预测特征再计算注意力的级联误差；
本文档来自技高网...
【技术保护点】
1.一种考虑通信延迟的车辆协同感知方法，其特征在于，包括：
2.如权利要求1所述的一种考虑通信延迟的车辆协同感知方法，其特征在于，根据所述自车和协同车辆点云数据提取自车和协同车辆的感知特征对所述协同车辆感知特征添加注意力权重，得到加权后的自车及各个协同车辆的感知特征之前包括：
3.如权利要求2所述的一种考虑通信延迟的车辆协同感知方法，其特征在于，结合各协同车辆和自车共享各自的位置信息、姿态信息将所述协同车辆的感知特征和自车的感知特征统一笛卡尔坐标系中。
4.如权利要求1所述的一种考虑通信延迟的车辆协同感知方法，其特征在于，将所述加权协同车辆的感知特征与加权自车的感知特征进行融合，得到融合特征之前包括：
5.如权利要求4所述的一种考虑通信延迟的车辆协同感知方法，其特征在于，所述预测网络采用双路LSTM网络，一条支路根据所述协同车辆传输的历史感知特征及历史感知特征对应的注意力权重估计出当前时刻的协同车辆的感知特征；另一条支路利用所述协同车辆传输的历史感知特征及历史感知特征对应的注意力权重对当前协同车辆的感知特征对应的注意力权重进行预测。
6.如权利要求4所述的一种考虑通信延迟的车辆协同感知方法，其特征在于，通过如下公式计算所述协同车辆感知特征的注意力权重：
7.如权利要求1所述的一种考虑通信延迟的车辆协同感知方法，其特征在于，所述方法所采用的训练网络的总损失函数为：
8.一种考虑通信延迟的车辆协同感知装置，其特征在于，包括：
9.如权利要求8所述的一种考虑通信延迟的车辆协同感知装置，其特征在于，还包括：
10.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述考虑通信延迟的车辆协同感知方法的步骤。
...【技术特征摘要】
1.一种考虑通信延迟的车辆协同感知方法，其特征在于，包括：
2.如权利要求1所述的一种考虑通信延迟的车辆协同感知方法，其特征在于，根据所述自车和协同车辆点云数据提取自车和协同车辆的感知特征对所述协同车辆感知特征添加注意力权重，得到加权后的自车及各个协同车辆的感知特征之前包括：
3.如权利要求2所述的一种考虑通信延迟的车辆协同感知方法，其特征在于，结合各协同车辆和自车共享各自的位置信息、姿态信息将所述协同车辆的感知特征和自车的感知特征统一笛卡尔坐标系中。
4.如权利要求1所述的一种考虑通信延迟的车辆协同感知方法，其特征在于，将所述加权协同车辆的感知特征与加权自车的感知特征进行融合，得到融合特征之前包括：
5.如权利要求4所述的一种考虑通信延迟的车辆协同感知方法，其特征在于，所述预测网络采用双路lstm网络，一条支路根据所述协同车辆传输的历史感知特征及历史感知特征对...
【专利技术属性】
技术研发人员：闵海根，吴霞，赵祥模，孙佳祺，王武祺，高纬文，夏森，陈仕祥，刘勇，杨龙，陈力莎，安然，
申请(专利权)人：长安大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。