一种基于深度学习算法的雷达视觉数据关联方法技术

本发明专利技术提供一种基于深度学习算法的雷达视觉数据关联方法，包含步骤：S1、获取当前雷达目标轨迹、视觉图像帧，历史融合轨迹；S2、将当前视觉图像帧输入CenterFusion网络中，得到视觉检测识别的视觉目标检测框，基于空间同步反投影机制获得视觉目标在雷达坐标系下的位置；S3、计算雷达目标与视觉目标的运动、尺度、外观相似度，并为各相似度预设对应的权重系数，得到第一关联相似度；S4、基于历史融合轨迹和雷达、视觉目标进行二次匹配，滤除虚警目标；S5、基于视觉目标尺寸更新上述权重系数，得到雷达目标、视觉目标的第二关联相似度，建立对应的雷达

【技术实现步骤摘要】
一种基于深度学习算法的雷达视觉数据关联方法


[0001]本专利技术涉及雷达视觉信息融合
，具体为一种基于深度学习算法的雷达视觉数据关联方法。

技术介绍

[0002]作为探测系统提升感知能力的突破点，雷达相机信息融合技术可以充分发挥各传感器的优势，实现信息互补，弥补单个传感器的性能限制，获取更稳定可靠的环境兼容信息，在军事、民用等多领域前景广阔。
[0003]在雷达
‑
视频交通融合感知系统中，一个重要问题是如何判断来自不同局部节点的输出信息是否指向同一目标，即数据关联问题。对此，现有技术中通过搜索与当前视频帧时序最近的雷达帧，作为与当前视频帧匹配的雷达帧，并对当前视频帧和匹配的雷达帧进行融合。此方法没有充分利用传感器数据特征，易受单传感器工作状态影响，关联抗干扰能力较差。另一方法中，将雷达回波信号与视频监控的目标姿态识别进行关联匹配，实现毫米波雷达与视频目标的匹配融合。此方法仅适用于目标运动状态差异较大且变化明显场景，对于杂波干扰大、场景复杂情况匹配效果大幅下降。此外，在密集、拥堵目标场景下，多种传感器数据关联的难度大幅增加，限制了融合感知系统的性能发展。
[0004]因此，如何提供一种雷达视觉数据关联方法，以实现更优的融合感知性能，成为领域内的重点难点之一。

技术实现思路

[0005]本专利技术的目的是提供一种基于深度学习算法的雷达视觉数据关联方法，基于CenterFsuion网络架构提取雷达、视觉目标多类特征，并设计反投影机制将视觉检测信息投影至雷达坐标系，放大视觉目标位置变化，结合雷达、视觉连续帧匹配信息进行多源数据关联。通过第一阶段关联滤除大量虚警目标，然后对于不同尺寸目标设置不同的特征权重系数，在第二阶段关联中输出更加准确的关联结果，避免密集场景下的误关联。本方法的场景适应性更强，在虚警漏报、密集目标等场景下有更高的鲁棒性。
[0006]为了达到上述目的，本专利技术提供一种基于深度学习算法的雷达视觉数据关联方法，包含步骤：
[0007]S1、获取历史融合轨迹，当前雷达目标轨迹、视觉图像帧；所述历史融合轨迹包含上一时刻雷达视觉关联目标轨迹、雷达目标轨迹、视觉目标轨迹；
[0008]S2、将当前视觉图像帧输入CenterFusion网络中，输出视觉检测识别的视觉目标检测框；并设置反投影机制，将视觉目标检测框反投影至雷达坐标系，获得对应视觉目标在雷达坐标系下的位置；
[0009]S3、计算雷达目标与视觉目标的运动、尺度、外观相似度，并为所述运动、尺度、外观相似度预设对应的权重系数，计算得到雷达目标与视觉目标的第一关联相似度；
[0010]S4、若所述第一关联相似度大于设定的第一关联阈值，基于历史融合轨迹估计对
应雷达目标的更新位置，并将所述更新位置与历史融合轨迹中对应雷达目标的实际位置进行匹配，根据匹配结果滤除虚警目标；
[0011]S5、基于视觉目标的尺寸为所述运动、尺度、外观相似度分别更新对应的权重系数，更新第一关联相似度为第二关联相似度；若所述第二关联相似度大于设定的第二关联阈值，基于对应雷达目标和视觉目标建立对应的雷达
‑
视觉关联对，并基于对应雷达目标更新历史融合轨迹；进入下一时刻，重复步骤S1至S5。
[0012]可选的，所述步骤S1中，将当前雷达传感器接收的回波信号经过信号处理后生成雷达目标的点迹；并通过联合概率数据关联算法和卡尔曼滤波算法，基于所述点迹得到当前雷达目标轨迹集R
t
，，为当前第i个雷达目标的轨迹，m为当前雷达目标轨迹中的轨迹总数；t表示回波信号的帧数；
[0013]历史融合轨迹的集合记为F
t
‑1，，为F
t
‑1中的第k个历史融合轨迹，p为历史融合轨迹集合的轨迹总数。
[0014]可选的，所述步骤S2包含：
[0015]S21、将当前视觉图像帧输入CenterFusion网络中，得到通过视觉目标检测框标注的视觉目标集合的视觉目标集合表示识别的第j个视觉目标，n为识别的视觉目标总个数；
[0016]S22、使用设备架设高度H
dev
作为先验信息获取目标空间高度
‑
H
dev
+H
obj
/2，H
obj
为目标自身高度；通过视觉传感器的内参标定和三维坐标转换得到视觉、雷达传感器之间的位置转换矩阵；基于所述位置转换矩阵，将视觉目标的视觉目标检测框下边缘作为参考点投影至雷达坐标系下，获得视觉目标在雷达坐标系下的反投影位置在雷达坐标系下的反投影位置分别为视觉目标反投影在雷达坐标系下的横向位置、纵向位置。
[0017]可选的，所述步骤S3包含：
[0018]S31、基于雷达坐标系下，雷达目标的位置、视觉目标的反投影位置，得到雷达目标、视觉目标的运动相似度Φ
motion
(r
ti
,v
tj
)：
[0019][0020]分别表示轨迹r
ti
所对应的雷达目标在雷达坐标系下的横向、纵向位置，分别表示视觉目标的视觉目标检测框的宽度、高度；
[0021]S32、计算视觉目标与历史融合轨迹中的轨迹的尺度相似度
[0022][0023]分别表示与轨迹关联的视觉目标的视觉目标检测框宽度、长度；
分别表示视觉目标的视觉目标检测框宽度、长度；
[0024]S33、以视觉目标的灰度直方图作为外观特征，使用巴氏距离计算视觉目标与历史融合轨迹中的轨迹之间的外观相似度之间的外观相似度
[0025]分别表示的灰度直方图特征；
[0026]S34、为运动、尺度、外观相似度设置对应的权重系数β1、β2、β3，并分别赋予预设值，得到关联矩阵其中视觉目标与轨迹所对应雷达目标的第一关联相似度表示为：
[0027][0028]可选的，步骤S4包含：
[0029]S41、若第一关联相似度大于设定的第一关联阈值，进行视觉目标与历史融合轨迹间的二次关联匹配；利用卡尔曼滤波算法，估计轨迹对应雷达目标的更新位置轨迹的最近数据更新时间为t
′
，分别表示t
′
时在雷达坐标系下轨迹预估的横向、纵向位置；
[0030]S42、若满足以下关系式，将轨迹对应的雷达目标、视觉目标放入待关联池，否则将雷达目标、视觉目标作为虚警目标并滤除：
[0031][0032]为当前视觉目标在雷达坐标系下反投影的横向、纵向位置，thre_x、thre_y、thre_t分别表示横向位置、纵向位置、间隔时间上的匹配阈值。
[0033]可选的，步骤S5包含：
[0034]S51、基于视觉目标在视觉图像帧中的占比，将待关联池中的视觉目标划分为大目标、中目标、小目标，并为所述大目标、中目标、小目标分别更新对应的运动、尺度、外观相似度的权重系数β1、β2、β3；基于更新后的β1、β2、β3，计算待关联池中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习算法的雷达视觉数据关联方法，其特征在于，包含步骤：S1、获取历史融合轨迹，当前雷达目标轨迹、视觉图像帧；S2、将当前视觉图像帧输入CenterFusion网络中，输出检测识别的视觉目标检测框；并设置反投影机制，将视觉目标检测框反投影至雷达坐标系，获得对应视觉目标在雷达坐标系下的位置；S3、计算雷达目标与视觉目标的运动、尺度、外观相似度，并为所述运动、尺度、外观相似度预设对应的权重系数，计算得到雷达目标与视觉目标的第一关联相似度；S4、若所述第一关联相似度大于设定的第一关联阈值，基于历史融合轨迹估计对应雷达目标的更新位置，并将所述更新位置与历史融合轨迹中对应雷达目标的实际位置进行匹配，根据匹配结果滤除虚警目标；S5、基于视觉目标的尺寸为所述运动、尺度、外观相似度分别更新对应的权重系数，更新第一关联相似度为第二关联相似度；若所述第二关联相似度大于设定的第二关联阈值，基于对应雷达目标和视觉目标建立对应的雷达
‑
视觉关联对，并基于对应雷达目标更新历史融合轨迹；进入下一时刻，重复步骤S1至S5。2.如权利要求1所述的基于深度学习算法的雷达视觉数据关联方法，其特征在于，所述步骤S1中，将当前雷达传感器接收的回波信号经过信号处理后生成雷达目标的点迹；并通过联合概率数据关联算法和卡尔曼滤波算法，基于所述点迹得到当前雷达目标轨迹集R
t
，R
t
＝{r
ti
}
i∈[1,m]
，r
ti
为当前第i个雷达目标的轨迹，m为当前雷达目标轨迹中的轨迹总数；t表示回波信号的帧数；历史融合轨迹的集合记为F
t
‑1，，为F
t
‑1中的第k个历史融合轨迹，p为历史融合轨迹集合的轨迹总数。3.如权利要求1所述的基于深度学习算法的雷达视觉数据关联方法，其特征在于，所述步骤S2包含：S21、将当前视觉图像帧输入CenterFusion网络中，得到通过视觉目标检测框标注的视觉目标集合觉目标集合表示识别的第j个视觉目标，n为识别的视觉目标总个数；S22、使用设备架设高度H
dev
作为先验信息获取目标空间高度
‑
H
dev
+H
obj
/2，H
obj
为目标自身高度；通过视觉传感器的内参标定和三维坐标转换得到视觉、雷达传感器之间的位置转换矩阵；基于所述位置转换矩阵，将视觉目标的视觉目标检测框下边缘作为参考点投影至雷达坐标系下，获得视觉目标在雷达坐标系下的反投影位置在雷达坐标系下的反投影位置分别为视觉目标反投影在雷达坐标系下的横向位置、纵向位置。4.如权利要求3所述的基于深度学习算法的雷达视觉数据关联方法，其特征在于，所述步骤S3包含：S31、基于雷达坐标系下，雷达目标的位置、视觉目标的反投影位置，得到雷达目标、视觉目标的运动相似度Φ
motion
(r
ti

【专利技术属性】
技术研发人员：李小柳，尹洁珺，魏维伟，付朝伟，席光荣，柯文雄，郑成鑫，李由之，
申请(专利权)人：上海无线电设备研究所，
类型：发明
国别省市：