一种基于多模态数据的多目标跟踪方法技术

本发明专利技术属于目标跟踪技术领域，一种基于多模态数据的多目标跟踪方法，包括以下步骤：(1)对每一帧采集点云和相机图像并融合为彩色点云，(2)对每一帧利用彩色点云构建高度

【技术实现步骤摘要】
一种基于多模态数据的多目标跟踪方法


[0001]本专利技术涉及一种基于多模态数据的多目标跟踪方法，属于目标跟踪


技术介绍

[0002]目标跟踪技术是计算机视觉中的一个研究热点问题，也是智能驾驶中最为关键的技术之一，它为人们提供交通环境中的感兴趣目标的位置以及运动轨迹等信息，是进行后续的目标识别、目标行为分析与理解的前提，为避障、路径规划和自适应巡航奠定了基础。
[0003]根据被跟踪对象的数量，目标跟踪分为单目标跟踪和多目标跟踪。由于大多数应用场景都包含大量感兴趣对象，因此多目标跟踪成为一个重要的研究领域。随着目标检测技术性能的大幅度提升，基于检测的多目标跟踪(Tracking
‑
By
‑
Detection,TBD)框架成为主流，该框架将目标检测器获取的感兴趣目标作为输入，设计目标匹配机制将后续帧的同一目标关联到轨迹中。
[0004]现有的多目标跟踪方法大多基于图像，但图像容易受到光照和遮挡的影响，出现跟踪漂移以至于跟踪错误的问题。三维激光扫描技术的快速改进能够准确有效地数字化物体的形状和表面特征。激光扫描仪获取的三维激光点云提供了物理对象表面上采样点的几何信息，而且不受光照影响，是图像的有效补充，有助于实现精确定位和跟踪。因此，利用三维激光点云和图像结合的多模态信息可以避免上述问题产生，有效实现信息互补，提高多目标跟踪精度。

技术实现思路

[0005]本专利技术的目的是提供一种基于多模态数据的多目标跟踪方法，利用三维激光点云和相机图像等多模态信息建立一个高效、稳定的多目标跟踪框架，能够解决目标遮挡问题，进一步提高多目标跟踪算法的准确度。
[0006]为了实现上述专利技术目的，解决已有技术中存在的向题，本专利技术采取的技术方案是：一种基于多模态数据的多目标跟踪方法，包括以下步骤：
[0007]步骤1、对每一帧采集点云和相机图像并融合为彩色点云，具体包括以下子步骤：
[0008](a)在每一帧，分别用激光扫描仪和相机采集激光点云和相机图像，激光点云和相机图像的几何映射关系，通过公式(1)进行描述，
[0009][0010]其中，表示缩放因子，A表示内参矩阵，[R，t]表示激光扫描仪和相机之间的外参矩阵，依据针孔相机模型通过激光扫描仪和相机标定获得，表示三维激光点在点云坐标系下的坐标，表示该三维点投影到相机图像后在图像像素坐标系下的坐标，和表示它们的齐次坐标；
[0011](b)激光扫描仪和相机的视野范围不同，一些超出相机视野的激光点无法投影到
成像平面，组成无色点云；位于相机视野内的激光点可以投影到成像平面上并着色，组成彩色点云其中，表示第c个彩色激光点，(x
c
，y
c
，z
c
)表示第c个彩色激光点在点云坐标系下的坐标，表示第c个彩色激光点的反射强度，R
c
＝R(u
c
，v
c
)，G
c
＝G(u
c
，v
c
)，B
c
＝B(u
c
，v
c
)表示p
c
在相机图像中的投影e
c
＝(u
c
，v
c
)的三基色，n
c
表示彩色激光点的个数；
[0012]步骤2、对每一帧利用彩色点云构建高度
‑
强度
‑
密度(HID)图像，具体包括以下子步骤：
[0013](a)在点云坐标系xoy平面建立一个二维网格，将彩色点云P投影到二维网格单元中，二维网格单元中的点被定义为，通过公式(2)进行描述，
[0014]C(u，v)＝{p
c
|p
c
∈P，x
min
+(u
‑
1)q≤x
c
≤x
min
+uq，
[0015]y
min
+(v
‑
1)q≤y
c
≤ym
in
+vq}
ꢀꢀꢀꢀꢀꢀꢀ
(2)
[0016]其中，u和v分别表示二维网格单元的列号与行号，x
min
和y
min
分别表示激光点x坐标和y坐标的最小值，q表示二维网格单元的尺寸，u和v的取值范围定义为其中其中x
max
和y
max
分别表示激光点x坐标和y坐标的最大值，运算符定义为向上取整，和分别表示二维网格单元u轴和v轴的数值下界；
[0017](b)计算每个二维网格单元的高度特征h(u，v)，通过公式(3)进行描述，
[0018][0019]其中，z
max
和z
min
分别是激光点z坐标的最大值和最小值；
[0020](c)计算每个二维网格单元的反射强度特征i(u，v)，通过公式(4)进行描述，
[0021][0022](d)计算每个二维网格单元的密度特征d(u，v)，通过公式(5)进行描述，
[0023][0024]其中，N
uv
表示二维网格单元C(u，v)内点的数目；
[0025](e)设定r
h
，r
i
，r
d
分别表示高度特征、反射强度特征、密度特征的权重，按照r
h
：r
i
：r
d
＝1：2：1的权重处理上述三个特征，以使特征强度达到平衡，并且将它们标准化到0
‑
255的范围内，通过公式(6)至(10)进行描述，
[0026]hid
max
＝max{[h(u，v)r
h
，i(u，v)r
i
，d(u，v)r
d
]}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0027]hid
min
＝min{[h(u，v)r
h
，i(u，v)r
i
，d(u，v)r
d
]}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0028][0029][0030][0031]最终得到三个特征图：最终得到三个特征图：分别表示高度图、反射强度图和密度图，这三个特征图合并为一个新的三通道特征图，称为高度
‑
强度
‑
密度(HID)图像；
[0032]步骤3、对每一帧利用彩色点云进行三维目标检测，在每一帧，将彩色点云P输入Point
‑
GNN目标检测器中进行三维目标检测，获取检测目标的三维检测框，并将三维检测框投影到xoy平面，获取HID图像中的二维检测框，具体地，将第t帧HID图像中的二维检测框表示为其中，表示第t帧HID图像中的第i个二维检测框本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态数据的多目标跟踪方法，其特征在于包含以下步骤：步骤1、对每一帧采集点云和相机图像并融合为彩色点云，具体包括以下子步骤：(a)在每一帧，分别用激光扫描仪和相机采集激光点云和相机图像，激光点云和相机图像的几何映射关系，通过公式(1)进行描述，其中，表示缩放因子，A表示内参矩阵，[R，t]表示激光扫描仪和相机之间的外参矩阵，依据针孔相机模型通过激光扫描仪和相机标定获得，表示三维激光点在点云坐标系下的坐标，表示该三维点投影到相机图像后在图像像素坐标系下的坐标，和表示它们的齐次坐标；(b)激光扫描仪和相机的视野范围不同，一些超出相机视野的激光点无法投影到成像平面，组成无色点云；位于相机视野内的激光点可以投影到成像平面上并着色，组成彩色点云其中，表示第c个彩色激光点，(x
c
，y
c
，z
c
)表示第c个彩色激光点在点云坐标系下的坐标，表示第c个彩色激光点的反射强度，R
c
＝R(u
c
，v
c
)，G
c
＝G(u
c
，v
c
)，B
c
＝B(u
c
，v
c
)表示p
c
在相机图像中的投影e
c
＝(u
c
，v
c
)的三基色，n
c
表示彩色激光点的个数；步骤2、对每一帧利用彩色点云构建高度
‑
强度
‑
密度(HID)图像，具体包括以下子步骤：(a)在点云坐标系xoy平面建立一个二维网格，将彩色点云P投影到二维网格单元中，二维网格单元中的点被定义为，通过公式(2)进行描述，C(u，v)＝{p
c
|p
c
∈P，x
min
+(u
‑
1)q≤x
c
≤x
min
+uq，y
min
+(v
‑
1)q≤y
c
≤y
min
+vq}
ꢀꢀꢀꢀ
(2)其中，u和v分别表示二维网格单元的列号与行号，x
min
和y
min
分别表示激光点x坐标和y坐标的最小值，q表示二维网格单元的尺寸，u和v的取值范围定义为其中其中x
max
和y
max
分别表示激光点x坐标和y坐标的最大值，运算符定义为向上取整，和分别表示二维网格单元u轴和v轴的数值下界；(b)计算每个二维网格单元的高度特征h(u，v)，通过公式(3)进行描述，其中，z
max
和z
min
分别是激光点z坐标的最大值和最小值；(c)计算每个二维网格单元的反射强度特征i(u，v)，通过公式(4)进行描述，(d)计算每个二维网格单元的密度特征d(u，v)，通过公式(5)进行描述，
其中，N
uv
表示二维网格单元C(u，v)内点的数目；(e)设定r
h
，r
i
，r
d
分别表示高度特征、反射强度特征、密度特征的权重，按照r
h
：r
i
：r
d
＝1：2：1的权重处理上述三个特征，以使特征强度达到平衡，并且将它们标准化到0
‑
255的范围内，通过公式(6)至(10)进行描述，hid
max
＝max{[h(u，v)r
h
，i(u，v)r
i
，d(u，v)r
d
]}
ꢀꢀꢀꢀ
(6)hid
min
＝min{[h(u，v)r
h
，i(u，v)r
i
，d(u，v)r
d
]}
ꢀꢀꢀꢀ
(7)(7)(7)最终得到三个特征图：最终得到三个特征图：分别表示高度图、反射强度图和密度图，这三个特征图合并为一个新的三通道特征图，称为高度
‑
强度
‑
密度(HID)图像；步骤3、对每一帧利用彩色点云进行三维目标检测，在每一帧，将彩色点云P输入Point
‑
GNN目标检测器中进行三维目标检测，获取检测目标的三维检测框，并将三维检测框投影到xoy平面，获取HID图像中的二维检测框，具体地，将第t帧HID图像中的二维检测框表示为其中，表示第t帧HID图像中的第i个二维检测框，表示第t帧HID图像中二维检测框的个数；步骤4、利用旋转核相关滤波器(RKCF)进行第t+1帧目标位置预测，利用第t帧HID图像训练RKCF，进行目标位置预测，得到第t+1帧HID图像中的预测目标，具体包括以下子步骤：(a)初始化跟踪目标：将第t帧HID图像Ω
t
中二维跟踪框定义为B
t
＝{b
ts
＝(u
ts
，v
ts
，l
ts
，w
ts
，γ
ts
)|1≤s≤n
t
}，其中，b
ts
表示第t帧HID图像中的第s个二维跟踪框，(u
ts
，v
ts
)，(l
ts
，w
ts
)和γ
ts
分别表示二维跟踪框的中心坐标、尺寸和方向角，n
t
表示第t帧HID图像中的二维跟踪框个数，若t＝1，则用第t帧的二维检测框对第t帧的二维跟踪框进行初始化；(b)在第t帧旋转HID图像：对于每个二维跟踪框b
ts
，以跟踪框中心(u
ts
，v
ts
)作为旋转中心点，θ
ts
为旋转角度对HID图像Ω
t
进行旋转得到旋转HID图像其中，若0
°
＜γ
ts
≤90
°
，则θ
ts
＝90
°‑
γ
ts
，Ω
t
逆时针旋转；若90
°<...

【专利技术属性】
技术研发人员：安毅，吴佳霖，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：