一种融合毫米波雷达和视觉传感器的低空慢速小型目标跟踪方法技术

本发明专利技术属于机器视觉技术领域，具体涉及一种融合毫米波雷达和视觉传感器的低空慢速小型目标跟踪方法，该方法包括：采用毫米波雷达扫描获取目标信息，并对获取的目标信息进行滤波处理，得到滤波后的目标信息；采用视觉传感器获取光学图像作为搜索图像，将滤波后的目标信息映射到光学图像，然后进行高斯图像生成，得到包含目标位置信息的热力图(Heat Map)；构建孪生网络目标跟踪模型，截取光学图像中具有毫米波雷达标记目标位置的第一帧图像作为模板图像，通过空间注意力机制融合搜索图像和雷达热力图，采用孪生网络目标跟踪模型实现对目标的稳定跟踪；本发明专利技术通过融合毫米波雷达和视觉传感器数据来实现可靠的目标跟踪。觉传感器数据来实现可靠的目标跟踪。觉传感器数据来实现可靠的目标跟踪。

【技术实现步骤摘要】
一种融合毫米波雷达和视觉传感器的低空慢速小型目标跟踪方法


[0001]本专利技术属于机器视觉
，具体涉及一种融合毫米波雷达和视觉传感器的低空慢速小型目标跟踪方法。

技术介绍

[0002]低空小型慢速目标，是指具有低空飞行、速度慢、不易被侦测与发现等特征的小型航空器和低空飘物的统称。目前见到的低小慢目标主要包括航空模型、民用无人机、热气球等。低小慢目标由于体积小、操作简单、飞行高度低、地物遮挡多，空军和大型雷达设备无法覆盖，防范处置低小慢目标的干扰破坏，已成为重大安保活动的世界性难题，突出表现为管控难、侦测难、处置难。
[0003]针对低小慢目标的检测跟踪方法，现有技术中主要采用雷达监测和视频监测方式。其中雷达监测主要采用毫米波雷达检测。毫米波雷达具有全天候、全天时、远距离、便于集成等优点，具有对目标的检测、定位和跟踪能力，但是其对目标的识别能力较差，无法获得目标的视觉纹理等信息；视频检测的方式主要采用视觉传感器对目标进行检测和识别跟踪，视觉传感器探测精度高、分辨率高、可视化程度高、可以获取目标的形状纹理信息和环境信息，很容易识别目标，但是其测距测速能力差、视场范围小、受环境影响较大，同时也不如雷达灵敏和迅速。因此，如何将这二者有机地结合起来，二者优势互补，实现高效的低小慢目标检测是一个亟待解决的问题。

技术实现思路

[0004]为解决以上现有技术存在的问题，本专利技术提出了一种融合毫米波雷达和视觉传感器的低空慢速小型目标跟踪方法，该方法包括：采用毫米波雷达扫描获取目标信息，并对获取的目标信息进行滤波处理，得到滤波后的目标信息；采用视觉传感器获取目标的光学图像，并将光学图像作为搜索图像；将滤波后的目标信息映射到光学图像，将映射后的光学图像进行高斯滤波处理，得到包含目标位置信息的雷达热力图；构建孪生网络目标跟踪模型；截取光学图像中具有毫米波雷达标记目标位置的第一帧图像作为模板图像；将搜索图像、雷达热力图以及模板图像输入到孪生网络目标跟踪模型中进行目标跟踪，得到目标的最终信息。
[0005]优选的，毫米波雷达扫描获取的目标信息包括目标的方位角、俯仰角、距离、速度以及目标的类型。
[0006]优选的，将滤波后的目标信息映射到光学图像的过程包括：构建映射规则，所述映射规则包括：将毫米波雷达坐标转化为世界坐标，将世界坐标转化为相机坐标，将相机坐标转化为图像坐标，将图像坐标转化为像素坐标；根据映射规则将滤波后的目标信息映射到光学图像中，得到具有目标信息的光学图像。
[0007]进一步的，将毫米波雷达坐标转化为世界坐标的过程包括：毫米波雷达坐标的原
点位于毫米波雷达设备的中心，设毫米波雷达的位置相对于世界坐标的偏移矩阵为M
r
，毫米波雷达获取到目标P位置信息为其中r表示距离，θ表示俯仰角，表示方位角；通过三角函数计算目标P在毫米波雷达坐标系中的坐标(X
r
,Y
r
,Z
r
)；将目标位置从毫米波雷达坐标转换到世界坐标(X
w
,Y
w
,Z
w
)。
[0008]优选的，将世界坐标转化为相机坐标的过程包括：相机坐标的原点位于相机光学镜头的中心，设相机的位置相对于世界坐标的偏移矩阵为M
c
，目标P在世界坐标的位置为(X
w
,Y
w
,Z
w
)，通过矩阵运算将将目标位置从世界坐标转换到相机坐标(X
c
,Y
c
,Z
c
)。
[0009]优选的，将相机坐标转化为图像坐标的过程包括：获取相机位置坐标(X
c
,Y
c
,Z
c
)，根据三角相似原理将相机位置坐标转化为图像坐标，转换公式为：
[0010][0011]其中，f表示相机镜头的焦距，x表示图像坐标系的横坐标，y表示图像坐标系的纵坐标，(X
c
,Y
c
,Z
c
)表示相机位置坐标。
[0012]优选的，将图像坐标转化为像素坐标的过程包括：设每个像素在图像坐标系的x轴与y轴的单位长度为d
x
和d
y
，图像坐标系原点对应的像素坐标(u0,v0)；根据设置的参数构建像素坐标系一点(u,v)到图像坐标系位置(x,y)之间的转换关系；根据转换关系将图像坐标转化为像素坐标，转换关系包括：
[0013][0014]其中，d
x
表示像素在图像坐标系的x轴的单位长度，d
y
表示像素在图像坐标系的y轴的单位长度，(u0,v0)表示图像坐标系原点对应的像素坐标。
[0015]优选的，对映射到光学图像上的毫米波雷达目标信息进行高斯图像生成的过程包括：目标位置坐标为(u,v)，通过高斯核公式计算生成包含目标位置信息的热力图；其计算的表达式为：
[0016][0017]其中，x和y表示图像中一点的坐标，σ
p
为目标尺度自适应方差，σ
p
与r成线性比例关系，r表示目标距离，lable
xy
表示热力图中每个点的标签值。
[0018]优选的，孪生网络目标跟踪模型包括特征提取骨干网络，该网络包含五个卷积层和两个池化层；其中，第一卷积层的卷积核为11
×
11，步长为2；第一池化层的池化窗口为3
×
3，步长为2；第二卷积层的卷积核为5
×
5，步长为1；第二池化层的池化窗口为3
×
3，步长为2；第三卷积层的卷积核为3
×
3，步长为1；第四卷积层的卷积核为3
×
3，步长为1；第五卷积层的卷积核为3
×
3，步长为1。
[0019]优选的，构建融合孪生网络目标跟踪模型，将模板图像、搜索图像和雷达热力图输入到孪生网络目标跟踪模型中进行跟踪的过程包括：
[0020]步骤1：在视觉传感器的第一帧图像中，以毫米波雷达获取的目标位置为中心，截取127
×
127大小的图像作为模板图像z，经过骨干网络提取特征，得到模板特征图
[0021]步骤2：将后续视觉传感器获取到的图像裁剪为255
×
255大小作为搜索图像x，经过骨干网络提取特征，得到搜索特征图
[0022]步骤3：将搜索特征图进行全局最大池化和全局平均池化处理；
[0023]步骤4：对雷达热力图进行下采样，将下采样后的雷达热力图和池化后的搜索特征图进行级联，得到22
×
22
×
3的第一特征图；
[0024]步骤5：采用一层卷积层对第一特征图进行卷积处理，使得第一特征图的通道数被压缩到1；采用空间注意力机制对通道压缩后的第一特征图进行处理，得到包含空间注意力信息的特征图；
[0025]步骤6：将搜索本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合毫米波雷达和视觉传感器的低空慢速小型目标跟踪方法，其特征在于，该方法包括：采用毫米波雷达扫描获取目标信息，并对获取的目标信息进行滤波处理，得到滤波后的目标信息；采用视觉传感器获取目标的光学图像，并将光学图像作为搜索图像；将滤波后的目标信息映射到光学图像，将映射后的光学图像进行高斯滤波处理，得到包含目标位置信息的雷达热力图；构建孪生网络目标跟踪模型；截取光学图像中具有毫米波雷达标记目标位置的第一帧图像作为模板图像；将搜索图像、雷达热力图以及模板图像输入到孪生网络目标跟踪模型中进行目标跟踪，得到目标的最终信息。2.根据权利要求1所述的一种融合毫米波雷达和视觉传感器的低空慢速小型目标跟踪方法，其特征在于，毫米波雷达扫描获取的目标信息包括目标的方位角、俯仰角、距离、速度以及目标的类型。3.根据权利要求1所述的一种融合毫米波雷达和视觉传感器的低空慢速小型目标跟踪方法，其特征在于，将滤波后的目标信息映射到光学图像的过程包括：构建映射规则，所述映射规则包括：将毫米波雷达坐标转化为世界坐标，将世界坐标转化为相机坐标，将相机坐标转化为图像坐标，将图像坐标转化为像素坐标；根据映射规则将滤波后的目标信息映射到光学图像中，然后进行高斯图像生成，得到包含目标位置信息的热力图。4.根据权利要求3所述的一种融合毫米波雷达和视觉传感器的低空慢速小型目标跟踪方法，其特征在于，将毫米波雷达坐标转化为世界坐标的过程包括：毫米波雷达坐标的原点位于毫米波雷达设备的中心，设毫米波雷达的位置相对于世界坐标的偏移矩阵为M
r
，毫米波雷达获取到目标P位置信息为其中r表示距离，θ表示俯仰角，表示方位角；通过三角函数计算目标P在毫米波雷达坐标系中的坐标(X
r
,Y
r
,Z
r
)；将目标位置从毫米波雷达坐标转换到世界坐标(X
w
,Y
w
,Z
w
)。5.根据权利要求3所述的一种融合毫米波雷达和视觉传感器的低空慢速小型目标跟踪方法，其特征在于，将世界坐标转化为相机坐标的过程包括：相机坐标的原点位于相机光学镜头的中心，设相机的位置相对于世界坐标的偏移矩阵为M
c
，目标P在世界坐标的位置为(X
w
,Y
w
,Z
w
)，通过矩阵运算将将目标位置从世界坐标转换到相机坐标(X
c
,Y
c
,Z
c
)。6.根据权利要求3所述的一种融合毫米波雷达和视觉传感器的低空慢速小型目标跟踪方法，其特征在于，将相机坐标转化为图像坐标的过程包括：获取相机位置坐标(X
c
,Y
c
,Z
c
)，根据三角相似原理将相机位置坐标转化为图像坐标，转换公式为：其中，f表示相机镜头的焦距，x表示图像坐标系的横坐标，y表示图像坐标系的纵坐标，(X
c
,Y
c
,Z
c
)表示相机位置坐标。7.根据权利要求3所述的一种融合毫米波雷达和视觉传感器的低空慢速小型目标跟踪方法，其特征在于...

【专利技术属性】
技术研发人员：胡绍刚，胡强，刘益安，冉欢欢，
申请(专利权)人：电子科技大学重庆微电子产业技术研究院，
类型：发明
国别省市：