一种基于三目视觉的目标跟踪系统技术方案

本发明专利技术公开了一种基于三目视觉的目标跟踪系统，系统包括三目视觉模块、相机标定模块、目标位置获取模块、目标位置预测模块、虚拟枪机双目视觉标定模块、视差图获得模块、场景深度信息获取模块、PT参数获取模块、Z参数获取模块以及跟踪模块；提出了一种通过移动枪机构建虚拟双目视觉系统的方法来提前估计得到场景深度信息，并以目标的接地点的深度约束来估计其空间位置，达到唯一确定PTZ控制参数的目的，从而提高了跟踪的准确性。从而提高了跟踪的准确性。从而提高了跟踪的准确性。

【技术实现步骤摘要】
一种基于三目视觉的目标跟踪系统


[0001]本专利技术涉及目标跟踪系统，具体涉及一种基于三目视觉的目标跟踪系统。

技术介绍

[0002]在一些军事或民用设施的重点要害部位，如机场场坪、油库、化工厂等，人们对智能视频监控的性能有着更高的要求。
[0003]现有技术中通常采用双目视觉的方法进行目标跟踪，采用枪机或全向摄像机结合PTZ球机实现的双目视觉系统，先使用枪机或全向摄像机检测运动目标，再用PTZ球机实现跟踪和放大抓拍。
[0004]利用PTZ球机对运动目标进行跟踪，是近年来一个研究热点，现有技术仅由目标在图像上的二维坐标进行PTZ控制参数的估算，未考虑目标与PTZ球机的距离信息，在场景深度变化较大的场合会产生较大的跟踪误差。虽然考虑了Z坐标给目标定位带来的影响，并利用消隐点等信息估计目标的深度信息，但这些特殊的约束条件对场景内容提出了附加要求，仅适用于场景内容存在可供参考的约束信息的情况。
[0005]综上所述，现有的目标跟踪方法估算存在跟踪结果不准确的问题。

技术实现思路

[0006]本专利技术的目的在于提供一种基于三目视觉的目标跟踪系统，用以解决现有技术中的目标跟踪方法存在跟踪结果不准确的问题。
[0007]为了实现上述任务，本专利技术采用以下技术方案：
[0008]一种基于三目视觉的目标跟踪系统，其特征在于，所述的系统包括三目视觉模块、相机标定模块、目标位置获取模块、目标位置预测模块、虚拟枪机双目视觉标定模块、视差图获得模块、场景深度信息获取模块、PT参数获取模块、Z参数获取模块以及跟踪模块；
[0009]所述的三目视觉模块用于采集包含有运动目标的图像，所述的三目视觉模块包括一个枪机和一对PTZ球机，所述的枪机和PTZ球机安装在滑轨上，所述的枪机沿着所述的滑轨在所述的两个PTZ球机中间移动；所述的PTZ球机零位时的光轴与枪机的朝向相同；一对PTZ球机的参数相同；
[0010]所述的三目视觉模块用于采集包含有同一运动目标的图像，获得枪机图像、第一PTZ球机图像和第二PTZ球机图像；
[0011]所述的相机标定模块用于对所述的枪机和两个PTZ球机进行内外参数标定，获得枪机内参、枪机外参、第一PTZ球机内部参数第一PTZ球机初始旋
转矩阵R0_1、第一PTZ球机平移向量t0_1、第二PTZ球机内部参数第二PTZ球机初始旋转矩阵R0_2以及第二PTZ球机平移向量t0_2；
[0012]所述的目标位置获取模块用于根据所述的枪机图像进行预处理，获得目标区域坐标，所述的目标区域坐标为目标外接矩阵的坐标，所述的目标区域坐标包括矩形4个顶点以及1个中心点的坐标，m
i
(u
i
,v
i
)，i＝1,2,3,4,5；
[0013]所述的目标位置预测模块用于根据所述的目标区域坐标进行预测，获得目标区域预测坐标，所述目标区域预测坐标与所述的目标区域坐标一一对应，所述的目标区域预测坐标中包括2个接地点m3与m4，所述的2个接地点为矩形的顶点，所述的2个接地点连成的线平行于地面且与地面之间的距离小于目标区域预测坐标中其他2个接地点连成的线与地面之间的距离；
[0014]所述的虚拟枪机双目视觉标定模块存储有第一计算机程序，所述的第一计算机程序在被处理器执行时实现以下步骤：
[0015]步骤A、保持标定板位置固定，控制枪机移动至第一抓拍点上，拍摄一副含有标定板的图像，获得第一标定板图像P
A
；
[0016]步骤B、控制所述的枪机固定在第一抓拍点上，拍摄含有运动目标的图像，获得第一枪机图像；
[0017]步骤C、控制枪机移动至第二抓拍点后拍摄含有运动目标的图像，获得第二枪机图像；
[0018]步骤D、控制枪机固定在所述的第二抓拍点上，拍摄一副含有标定板的图像，获得第二标定板图像P
B，
，所述的标定板在拍摄获得第二标定板图像P
B
与拍摄获得第一标定板图像P
A
时均在所述枪机(3)的视场中部；
[0019]步骤E、利用所述的第一标定板图像P
A
与第二标定板图像P
B
进行标定，获得所述枪机的旋转向量R
AB
以及平移向量t
AB
；
[0020]所述的视差图获得模块中存储有第二计算机程序，所述的第二计算机程序在被处理器执行时实现以下步骤：
[0021]步骤a、根据所述的枪机(3)的旋转向量R
AB
以及平移向量t
AB
，采用立体校正算法对第一枪机图像与第二枪机图像进行立体校正，获得重投影转换矩阵Q和枪机的旋转矩阵R；获得采集第一枪机图像时枪机(3)的第一内参矩阵K
A
和第一投影矩阵P
A
；
[0022]其中
[0023]步骤b、采用式I将第一枪机图像的T点图像坐标(u
A
,v
A
)映射至摄像机坐标中，获得T点第一摄像机坐标(x
′
A
,y
′
A
)；
[0024][0025]步骤c、利用旋转矩阵R对第一枪机图像进行旋转变换，采用式II获得枪机坐标系的T点第一观测坐标(x
A
,y
A
)；
[0026][0027]步骤d、利用所述的重投影转换矩阵Q对第一枪机图像与第二枪机图像进行重投影后，利用立体匹配算法，获得视差图；
[0028]步骤e、采用式III获得T点在视差图的图像坐标(u
′
A
,v
′
A
)；
[0029][0030]步骤f、根据所述的T点在视差图的图像坐标(u
′
A
,v
′
A
)，获得图像中T点的深度信息；
[0031]所述的场景深度信息获取模块用于将枪机图像中的接地点m3与m4分别作为T点输入至视差图获得模块中，获得接地点m3与m4的视差值d3与d4；
[0032]所述的场景深度信息获取模块还用于获得近似视差值
[0033]所述的目标位置预测模块还用于根据所述的近似视差值d0，获得目标区域预测坐标中中心点坐标对应在枪机坐标系下的三维坐标X
W
(5)＝(X
W
(5),Y
W
(5),Z
W
(5))；
[0034]所述的PT参数获取模块用于采用式IV获得第一PTZ球机的P向转动角度θ
P_1
和第一PTZ球机的T向转动角度的值θ
T_1
以及第二PTZ球机的P向转动角度θ
P_2
和第二PTZ球机的T向转动角度θ
T_2
：
[0035][0036]其中X
C_1
＝(X
C_1
,Y...

【技术保护点】

【技术特征摘要】
1.一种基于三目视觉的目标跟踪系统，其特征在于，所述的系统包括三目视觉模块、相机标定模块、目标位置获取模块、目标位置预测模块、虚拟枪机双目视觉标定模块、视差图获得模块、场景深度信息获取模块、PT参数获取模块、Z参数获取模块以及跟踪模块；所述的三目视觉模块用于采集包含有运动目标的图像，所述的三目视觉模块包括一个枪机(3)和一对PTZ球机(2)，所述的枪机(3)和PTZ球机(2)安装在滑轨(1)上，所述的滑轨(1)平行于水平面设置，所述的枪机(3)沿着所述的滑轨(1)在所述的一对PTZ球机(2)中间移动；所述的PTZ球机(2)零位时的光轴与枪机(3)的朝向相同；所述的一对PTZ球机(2)的参数相同；所述的三目视觉模块用于采集包含有同一运动目标的图像，获得枪机图像、第一PTZ球机图像和第二PTZ球机图像；所述的相机标定模块用于对所述的枪机和两个PTZ球机进行内外参数标定，获得枪机内参、枪机外参、第一PTZ球机内部参数第一PTZ球机初始旋转矩阵R0_1、第一PTZ球机平移向量t0_1、第二PTZ球机内部参数第二PTZ球机初始旋转矩阵R0_2以及第二PTZ球机平移向量t0_2；所述的目标位置获取模块用于根据所述的枪机图像进行预处理，获得目标区域坐标，所述的目标区域坐标为目标外接矩阵的坐标，所述的目标区域坐标包括矩形4个顶点以及1个中心点的坐标，m
i
(u
i
,v
i
)，i＝1,2,3,4,5；所述的目标位置预测模块用于根据所述的目标区域坐标进行预测，获得目标区域预测坐标，所述目标区域预测坐标与所述的目标区域坐标一一对应，所述的目标区域预测坐标中包括2个接地点m3与m4，所述的2个接地点为矩形的顶点，所述的2个接地点连成的线平行于地面且与地面之间的距离小于目标区域预测坐标中其他2个接地点连成的线与地面之间的距离；所述的虚拟枪机双目视觉标定模块存储有第一计算机程序，所述的第一计算机程序在被处理器执行时实现以下步骤：步骤A、保持标定板位置固定，控制枪机(3)移动至第一抓拍点上，拍摄一副含有标定板的图像，获得第一标定板图像P
A
；步骤B、控制所述的枪机(3)固定在第一抓拍点上，拍摄含有运动目标的图像，获得第一枪机图像；步骤C、控制枪机(3)移动至第二抓拍点后拍摄含有运动目标的图像，获得第二枪机图像；步骤D、控制枪机(3)固定在所述的第二抓拍点上，拍摄一副含有标定板的图像，获得第二标定板图像P
B，
，所述的标定板在拍摄获得第二标定板图像P
B
与拍摄获得第一标定板图像P
A
时均在所述枪机(3)的视场中部；步骤E、利用所述的第一标定板图像P
A
与第二标定板图像P
B
进行标定，获得所述枪机(3)
的旋转向量R
AB
以及平移向量t
AB
；所述的视差图获得模块中存储有第二计算机程序，所述的第二计算机程序在被处理器执行时实现以下步骤：步骤a、根据所述的枪机(3)的旋转向量R
AB
以及平移向量t
AB
，采用立体校正算法对第一枪机图像与第二枪机图像进行立体校正，获得重投影转换矩阵Q和枪机的旋转矩阵R；获得采集第一枪机图像时枪机(3)的第一内参矩阵K
A
和第一投影矩阵P
A
；其中步骤b、采用式I将第一枪机图像的T点图像坐标(u
A
,v
A
)映射至摄像机坐标中，获得T点第一摄像机坐标(x
′
A
,y
′
A
)；步骤c、利用旋转矩阵R对第一枪机图像进行旋转变换，采用式II获得枪机坐标系的T点第一观测坐标(x
A
,y
A
)；步骤d、利用所述的重投影转换矩阵Q对第一枪机图像与第二枪机图像进行重投影后，利用立体匹配算法，获得视差图；步骤e、采用式III获得T点在视差图的图像坐标(u
′
A
,v
′
A
)；步骤f、根据所述的T点在视差图的图像坐标(u
′
A
,v
′
A
)，获得图像中T点的深度信息；所述的场景深度信息获取模块用于将枪机图像中的接地点m3与m4分别作为T点输入至视差图获得模块中，获得接地点m3与m4的视差值d3与d4；所述的场景深度信息获取模块还用于获得近似视差值所述的目标位...

【专利技术属性】
技术研发人员：姜柯，李爱华，苏延召，蔡艳平，王涛，韩德帅，冯国彦，李庆辉，
申请(专利权)人：中国人民解放军火箭军工程大学，
类型：发明
国别省市：