一种面向网联自动驾驶的多源数据协同与融合感知方法技术

本发明专利技术公开一种面向网联自动驾驶的多源数据协同与融合感知方法，涉及自动驾驶领域，包括：建立车辆

【技术实现步骤摘要】
一种面向网联自动驾驶的多源数据协同与融合感知方法


[0001]本专利技术涉及自动驾驶领域，特别是涉及一种面向网联自动驾驶的多源数据协同与融合感知方法
。

技术介绍

[0002]环境感知是自动驾驶系统中最为关键技术之一，其利用车载视觉和雷达传感器采集场景数据，感知算法通过计算单元处理并分析交通目标类别
、
位置
、
运动状态等信息，为车辆路径规划和运动决策提供重要支撑
。
常见的环境感知算法包括基于单一传感器和融合多传感器数据进行目标识别：
(1)
基于单一传感器方法，以
RGB
图像或点云数据为输入，学习目标视觉
/
空间特征表达，并识别感兴趣的交通参与者；然而，相机容易受自然条件变化影响
(
如光照
、
天气等
)
，且缺乏准确的深度信息；激光雷达无法获取目标的具体颜色
、
纹理等外观信息，难以对远距离
、
相似目标进行准确感知
。(2)
融合多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种面向网联自动驾驶的多源数据协同与融合感知方法，其特征在于，所述方法包括：随机选取目标网联车辆，建立所述目标网联车辆通信范围内的车辆
‑
路侧多智能体网络关系图，并将所述车辆
‑
路侧多智能体网络关系图中各智能体进行元数据信息初步共享；所述智能体包括所述目标网联车辆和所述非目标智能体；所述非目标智能体包括非目标网联车辆和路侧设施；所述元数据信息包括位姿数据
、
传感器外参矩阵和智能体类型；对每一所述智能体的所述元数据信息，利用多模态特征提取网络进行图像像素特征和点云特征的提取和融合，得到多模态融合特征；对每一非目标智能体的所述多模态融合特征应用卷积自编解码器进行数据压缩，将压缩数据发送给所述目标网联车辆并解压缩；所述多模态融合特征为像素
‑
点云融合特征；当所述目标网联车辆接收到各所述压缩数据并解压缩后，对每一所述智能体对应的所述多模态融合特征进行注意力权重估计操作
、
关键点信息传递操作和特征线性聚合操作，得到聚合后的特征；对每一所述智能体对应的所述聚合后的特征应用多尺度窗口注意力方法，得到融合后的自注意力特征；对每一所述智能体的所述融合后的自注意力特征，利用双分支解耦感知头预测每一所述智能体视觉范围内的环境目标位置和类别
。2.
根据权利要求1所述的方法，其特征在于，将所述车辆
‑
路侧多智能体网络关系图中各智能体进行元数据信息初步共享，具体包括：所述车辆
‑
路侧多智能体网络关系图中各所述非目标智能体接收所述目标网联车辆的所述元数据信息，同时各所述非目标智能体将自身的所述元数据信息通过空间变化投影到目标网联车辆坐标系下，以实现各智能体间所述元数据信息的初步共享
。3.
根据权利要求1所述的方法，其特征在于，对每一所述智能体的所述元数据信息，利用多模态特征提取网络进行图像像素特征和点云特征的提取和融合，得到多模态融合特征，具体包括：对每一所述智能体采集的
RGB
图像应用残差卷积神经网络得到每一所述智能体的
RGB
图像特征图；将每一所述智能体采集的点云图像中的点云数据变换为一系列柱状张量并聚合压缩为
2D
伪图像；将所述
2D
伪图像输入到柱状神经网络结构中，提取到每一所述智能体的点云特征图；所述
RGB
图像特征图和所述点云特征图的空间维度相同；对每一所述智能体，根据传感器外参矩阵，将所述点云特征图中的每一点投影到所述
RGB
图像特征图中并确定每一点对应的像素；利用双线性插值法聚合每一像素的邻近区域特征，并将每一像素对应的聚合邻近特征投影到点云特征平面，得到每一所述智能体对应的像素
‑
点云融合特征；每一像素的邻近区域特征为每一像素预设范围内的区域特征
。4.
根据权利要求1所述的方法，其特征在于，对每一非目标智能体的所述多模态融合特征应用卷积自编解码器进行数据压缩之前包括：根据每一所述非目标智能体的空间位置信息，利用时空校正方法计算每一所述非目标
智能体在数据收发时延期间的位姿偏移坐标；所述数据收发时延期间是指所述非目标智能体向所述目标网联车辆发送信息的时刻至所述目标网联车辆接收该信息的时刻之间的时间差；根据每一所述非目标智能体的所述多模态融合特征的特征通道数和数据收发时延值确定所述数据收发时延期间所述非目标智能体的位姿偏移坐标变化量；根据所述位姿偏移坐标和所述位姿偏移坐标变化量对每一所述非目标智能体的所述多模态融合特征进行补偿，得到时延补偿后的多模态融合特征
。5.
根据权利要求4所述的方法，其特征在于，所述位姿偏移坐标的表达式为：式中，
(X
t
,Y
t
)
表示数据收发时延期间非目标智能体的位姿偏移坐标；
(X
s
,Y
s
)
表示发送信息的时刻非目标智能体采集的位姿坐标；表示旋转和平移仿射变换矩阵；
R
11
，
R
12
，
R
21
，
R
22
表示非目标智能体的传感器沿4个方向旋转；
δ
X
和
δ
Y
表示非目标智能体的传感器沿
X
方向和
Y
方向平移；所述位姿偏移坐标变化量的表达式为：
DPE(
Δ
...

【专利技术属性】
技术研发人员：田大新，林椿眄，段续庭，周建山，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：