本发明专利技术涉及一种基于时间同步的协作式感知方法及装置，所述方法包括获取本车感知信息的原始图像，通过编码器对原始图像进行编码及特征提取得到特征图，确定待发送信息；将其他车辆的请求图与本车的请求图进行匹配生成通信网络；假设通信对象车辆之间总共需要进行N轮通信，得到融合特征图；结合融合特征图和融合置信度图，得到融合图；在经过第N轮通信后，得到最终融合特征图，从而得到输出数据。本发明专利技术能够很好的平衡需求和带宽之间的关系，既减少了带宽的浪费，又很好地满足了自动驾驶车辆对于缺失信息的需求。还可以利用延时补偿模型根据其他自动驾驶车辆传输的K帧历史信息来预测当前时间的感知信息以达到时间同步的作用。测当前时间的感知信息以达到时间同步的作用。测当前时间的感知信息以达到时间同步的作用。
【技术实现步骤摘要】
基于时间同步的协作式感知方法及装置
[0001]本专利技术属于自动驾驶
，具体涉及一种基于时间同步的协作式感知方法及装置。
技术介绍
[0002]目前在自动驾驶领域，对于单车智能感知技术的研究已趋于成熟，但是，相对于当今复杂的交通情况，单车智能感知信息已经不能满足需求，会存在障碍物的阻挡、检测视角受限、传感器退化或故障等问题，基于信息共享的协作式感知有助于加强自动驾驶车辆对于周围环境的感知，使车辆的决策更加准确和高效。
[0003]协作式感知方法又分为前期协作、后期协作以及中期协作三大类。前期协作将原传感器数据进行传输并在终端进行融合以及进行目标检测，该方法虽然准确率高，但是需要浪费大量的传输带宽，加重了通信的负担；后期协作先将原传感器数据进行目标检测，最后直接将检测的结果进行传输及融合，这样虽然减少了传输的带宽，但是容易导致目标信息的错检和误检，以及噪声的输入；中期协作同时考虑了传输带宽与识别准确率，是前期协作与后期协作的中和方案，中期协作先将原传感器信息进行特征的提取，然后对特征进行传输，在终端对特征进行融合，通过解码得出目标信息。
[0004]而现有的中期协作方案中，通常只考虑如何减少对于通信带宽的浪费以及提高对目标检测的准确率，但在现实世界中，自动驾驶车辆之间的通信不可避免地会出现一定的延时，这些延迟的出现会导致时间无法同步，极大地影响协作系统的性能，有时候会使多车协作系统的性能甚至达不到单车感知的性能，降低了协作系统对于不同交通情况的鲁棒性和泛化能力。
技术实现思路
[0005]有鉴于此，本专利技术的目的在于克服现有技术的不足，提供一种基于时间同步的协作式感知方法及装置，以解决现有技术中自动驾驶车辆之间的通信会出现一定的延时的问题。
[0006]为实现以上目的，本专利技术采用如下技术方案：一种基于时间同步的协作式感知方法，包括：获取本车感知信息的原始图像，通过编码器对所述原始图像进行编码及特征提取得到特征图，利用置信度图生成器对所述特征图进行处理，得到置信度图；对所述置信度图进行处理，得到请求图，对所述特征图和请求图进行打包，得到待发送信息；将其他车辆的请求图与本车的请求图进行匹配生成通信网络，利用所述通信网络判断当前时间本车能够通信的通信对象车辆；确立通信对象车辆以后，假设通信对象车辆之间总共需要进行N轮通信，在前面的N
‑
1轮通信中，将本车特征图与通信对象车辆的请求图进行匹配，以及利用预构建的延时补
偿模型对通信对象车辆与本车进行通信时间同步，将其他车辆所需的特征输出至相应的通信对象车辆，同时，接收来自其他车辆传输的与本车的需求图匹配的特征图，并与本车的特征图进行融合，以补充本车所缺失的信息，得到融合特征图；以及根据通信对象车辆的请求图得到对应的置信度图，将通信对象车辆的置信度图与本车辆的置信度图进行融合，得到融合置信度图；结合所述融合特征图和融合置信度图，得到融合图；在经过第N轮通信后，得到最终融合特征图，利用解码器对所述最终融合特征图进行解码，得到输出数据。
[0007]进一步的，对所述特征图和请求图进行打包，得到待发送信息，包括：将本车置信度图与其他车辆的请求图进行相乘，得到其他车辆所需区域信息；采用预设选择函数对其他车辆所需区域信息进行筛选，得到选择矩阵；利用所述选择矩阵提取本车的特征图中被其他车辆需要的部分，得到待发送特征；利用本车置信度图确定待发送请求图；结合所述待发送特征和待发送请求图得到待发送信息。
[0008]进一步的，所述利用预构建的延时补偿模型对通信对象车辆与本车进行通信时间同步，包括：假设每个车辆能够储存并传输K帧历史特征图以及请求图，利用延时补偿模型先将K帧历史特征图与请求图作为输入；所述延时补偿模型包括多个LSTM模块和多个时间调制模块；所述延时补偿模型包括两路，其中一路用来作为特征的预测，另一路用来作为权重的预测，以凸显传输中的重要信息，在前K次运算中，使用当前的特征图、请求图和上一个LSTM模块的预测结果作为输入，得到相关结果并传输给下一个LSTM模块，当前K帧特征处理完成后，接着进行τ次预测，通过τ次预测后，使用时间调制模块将预测结果与历史特征、延迟时间进行融合以调整预测结果，得到预测信息。
[0009]进一步的，所述接收来自其他车辆传输的与本车的需求图匹配的特征图，并与本车的特征图进行融合，以补充本车所缺失的信息，得到融合特征图，包括：分别对本车的特征图与本车的置信度图进行融合操作，得到第一融合特征图和第一融合置信度图；将所述第一融合特征图和第一融合置信度图输入预设的多头注意力机制模块，得到第二融合特征图，根据所述第二融合特征图生成第二置信度图，将所述第二置信度图作为下一轮通信的输入，直至完成第N轮通信。
[0010]进一步的，所述通信对象车辆至少包括一辆。
[0011]进一步的，利用传感器组获取本车感知信息的原始图像。
[0012]进一步的，所述输出数据包括3D锚框、类别。
[0013]本申请实施例提供一种基于时间同步的协作式感知装置，包括：获取模块，用于获取本车感知信息的原始图像，通过编码器对所述原始图像进行编码及特征提取得到特征图，利用置信度图生成器对所述特征图进行处理，得到置信度图；处理模块，用于对所述置信度图进行处理，得到请求图，对所述特征图和请求图进行打包，得到待发送信息；
通信模块，用于将其他车辆的请求图与本车的请求图进行匹配生成通信网络，利用所述通信网络判断当前时间本车能够通信的通信对象车辆；融合模块，用于确立通信对象车辆以后，假设通信对象车辆之间总共需要进行N轮通信，在前面的N
‑
1轮通信中，将本车特征图与通信对象车辆的请求图进行匹配，以及利用预构建的延时补偿模型对通信对象车辆与本车进行通信时间同步，将其他车辆所需的特征输出至相应的通信对象车辆，同时，接收来自其他车辆传输的与本车的需求图匹配的特征图，并与本车的特征图进行融合，以补充本车所缺失的信息，得到融合特征图；以及根据通信对象车辆的请求图得到对应的置信度图，将通信对象车辆的置信度图与本车辆的置信度图进行融合，得到融合置信度图；结合所述融合特征图和融合置信度图，得到融合图；输出模块，用于在经过第N轮通信后，得到最终融合特征图，利用解码器对所述最终融合特征图进行解码，得到输出数据。
[0014]本专利技术采用以上技术方案，能够达到的有益效果包括：本专利技术提供一种基于时间同步的协作式感知方法及装置，本申请提供的技术方案首先对感知信息提取特征来生成置信度图，利用置信度图来决定哪些信息需要通信，这样就很好的平衡了需求和带宽之间的关系，既减少了带宽的浪费，又很好地满足了自动驾驶车辆对于缺失信息的需求。为解决时间同步的问题，本专利技术利用延时补偿模型的预测能力，设计出一种基于金字塔型LSTM的时间补偿模型，该模型可以根据其他自动驾驶车辆传输的K帧历史信息来预测当前时间的感知信息以达到时间同步的作用。
附图说明
[0015]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于时间同步的协作式感知方法，其特征在于，包括：获取本车感知信息的原始图像，通过编码器对所述原始图像进行编码及特征提取得到特征图，利用置信度图生成器对所述特征图进行处理，得到置信度图；对所述置信度图进行处理，得到请求图，对所述特征图和请求图进行打包，得到待发送信息；将其他车辆的请求图与本车的请求图进行匹配生成通信网络，利用所述通信网络判断当前时间本车能够通信的通信对象车辆；确立通信对象车辆以后，假设通信对象车辆之间总共需要进行N轮通信，在前面的N
‑
1轮通信中，将本车特征图与通信对象车辆的请求图进行匹配，以及利用预构建的延时补偿模型对通信对象车辆与本车进行通信时间同步，将其他车辆所需的特征输出至相应的通信对象车辆，同时，接收来自其他车辆传输的与本车的需求图匹配的特征图，并与本车的特征图进行融合，以补充本车所缺失的信息，得到融合特征图；以及根据通信对象车辆的请求图得到对应的置信度图，将通信对象车辆的置信度图与本车辆的置信度图进行融合，得到融合置信度图；结合所述融合特征图和融合置信度图，得到融合图；在经过第N轮通信后，得到最终融合特征图，利用解码器对所述最终融合特征图进行解码，得到输出数据。2.根据权利要求1所述的方法，其特征在于，对所述特征图和请求图进行打包，得到待发送信息，包括：将本车置信度图与其他车辆的请求图进行相乘，得到其他车辆所需区域信息；采用预设选择函数对其他车辆所需区域信息进行筛选，得到选择矩阵；利用所述选择矩阵提取本车的特征图中被其他车辆需要的部分，得到待发送特征；利用本车置信度图确定待发送请求图；结合所述待发送特征和待发送请求图得到待发送信息。3.根据权利要求1所述的方法，其特征在于，所述利用预构建的延时补偿模型对通信对象车辆与本车进行通信时间同步，包括：假设每个车辆能够储存并传输K帧历史特征图以及请求图，利用延时补偿模型先将K帧历史特征图与请求图作为输入；所述延时补偿模型包括多个LSTM模块和多个时间调制模块；所述延时补偿模型包括两路，其中一路用来作为特征的预测，另一路用来作为权重的预测，以凸显传输中的重要信息，在前K次运算中，使用当前的特征图、请求图和上一个LSTM模块的预测结果作为输入，得到相关结果并传输给下一个LSTM模块，当前K帧特征处理...
【专利技术属性】
技术研发人员：杨典潇，常琳，蒋华涛，仲雪君，张鑫，李思远，
申请(专利权)人：斯润天朗北京科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。