基于双目PTZ相机的目标定位方法技术

本发明专利技术涉及一种基于双目PTZ相机的目标定位方法，其特征是：标定出双目PTZ相机的任意角度和焦距下的内外参，利用最小二乘法，实现对目标的三维定位，具体步骤如下：步骤1：求解左右相机的任意焦距下的内参矩阵K

【技术实现步骤摘要】
基于双目PTZ相机的目标定位方法


[0001]本专利技术属于视觉感知定位技术，尤其涉及一种基于双目PTZ相机的目标定位方法。

技术介绍

[0002]目前智能平台感知模块传感器主要包括激光雷达、相机、双目相机和毫米波雷达等，上述传感器在感知能力上都存在一定的不足，如激光雷达虽然可以获取准确的深度信息，但价格昂贵，且远处点云比较稀疏，无纹理信息，易受灰尘颗粒物、大雨等影响；相机成本较低，并且可以提供丰富的纹理信息，但单目相机受限于小孔成像原理无法直接获取目标深度信息，易受光照条件气候影响；传统双目相机虽然可以实现立体视觉，但基线较短导致远距离测距误差较大，而且视野范围固定，无法调整焦距、角度；毫米波雷达探测角度大，抗干扰能力强，但分别率和精度较低；毫米波雷达对障碍物的测速准确，但噪点数据多，误检率高。
[0003]感知模块作为无人操作机器人，尤其是无人车运用中的的四大关键技术之一，为定位和规划模块提供信息支持。感知的主要任务包括，城市环境下对红绿灯、交通标志的识别；城市及野外环境障碍物的检测、识别、跟踪和定位，以及障碍物的轨迹预测等。目前的无人车感知系统对距离较远的目标感知能力偏弱，当目标距离较远时，激光雷达点云稀疏，纹理信息偏少；传统相机和双目相机无法变焦变姿，目标在画面中较小，像素数量少，纹理信息不丰富，且双目相机测距精度偏低。尤其是野外战场环境目标距离远，现有传感器很难对远距离目标进行精准定位。部分自动驾驶车辆通过在车身多个方位安装多个不同焦距的相机解决单目相机视场小、焦距固定的问题。如某具有自动驾驶功能的车辆，共安装8个相机，这种方法造成一定资源浪费，而且计算单元计算资源消耗大。
[0004]PTZ相机是Pan/Tilt/Zoom的缩写，代表相机可以全方位(左右/上下)移动及镜头变倍、变焦控制。双目PTZ相机模拟变色龙的视觉系统，相比于传统相机和静态双目相机，其优势在于相机既能单独运动获取大场景信息，也可以相互协同组成立体视觉系统获取深度信息，还可以获取局部高分辨率信息，能够实现对目标进行大范围、远距离跟踪和定位。双目PTZ相机系统可用于视频监控、无人驾驶和智能交通系统、军事侦察等领域，近年来，双目PTZ相机视觉系统一直是研究的热点，但由于变焦、旋转过程中左右相机的角度值和焦距值都不断变化，实现双目PTZ相机的实时标定难度较大，国内对静态双目相机和单PTZ相机的研究已经十分深入，但对双目PTZ相机的标定研究还较少。

技术实现思路

[0005]本专利技术的目的在于克服上述技术的不足，而提供一种基于双目PTZ相机的目标定位方法，利用双目PTZ相机通过变焦、旋转而组成的立体视觉，可以实现在更大范围、更远距离对目标的三维定位。
[0006]本专利技术为实现上述目的，采用以下技术方案：一种基于双目PTZ相机的目标定位方法，其特征是：标定出双目PTZ相机的任意角度和焦距下的内外参，利用最小二乘法，实现对
目标的三维定位，具体步骤如下：
[0007]步骤1：求解左右相机的任意焦距下的内参矩阵K
l
，K
r
；
[0008]步骤2：求解左右相机任意角度、焦距下相对于世界坐标系的旋转矩阵R
l
、R
r
及平移向量T
l
、T
r
；
[0009]步骤3：求出目标点从世界坐标系映射至左右相机像素坐标系的单应性矩阵H1、H2，根据同名点在左右像素坐标系下的坐标p
l
(u
l
,v
l
)，p
r
(u
r
,v
r
)，用最小二乘法求出目标在世界坐标系下的坐标值，具体步骤为：
[0010]步骤3
‑
1，求出目标点P(X
w
,Y
w
,Z
w
)由世界坐标系映射至左右相机像素坐标系下的对应点p
l
(u
l
,v
l
)，p
r
(u
r
,v
r
)单应性矩阵H1，H2；
[0011]步骤3
‑
2，利用最小二乘法求解P(X
w
,Y
w
,Z
w
)坐标。
[0012]所述求解左右相机的任意焦距下的内参矩阵K
l
，K
r
，拟合出左右相机焦距关于zoom的分段函数，具体步骤为：
[0013]步骤1
‑
1：分别标定出左右相机几个特定zoom值下的焦距f
x
，f
y
，利用线性插值法将焦距值拟合成关于zoom的分段函数；
[0014]步骤1
‑
2：根据当前相机的zoom值，代入步骤1
‑
1求出的分段函数，求出此时左右相机的焦距值和得到左右相机的内参矩阵分别为：
[0015][0016]式(1)中和单位为dpi，u0、v0为图像中心点的像素坐标，值为图像分辨率的1/2。
[0017]所述步骤2中求解左右相机任意角度、焦距下的R
l
、R
r
和T
l
、T
r
，用张正友标定法标定出初始位置的左右相机的外参矩阵将左相机的初始位置的相机坐标系作为世界坐标系O
w
‑
x
w
y
w
z
w
，，计算R
l
、R
r
、T
l
、T
r
的具体步骤为：
[0018]步骤2
‑
1：求解左右相机水平旋转时绕的竖直转轴方向向量俯仰旋转时绕的水平转轴方向向量
[0019]步骤2
‑
2：所述竖直转轴方向向量和水平转轴方向向量与各自光心旋转平面γ的交点分别为计算出初始位置相机坐标系原点O至各交点的向量和
[0020]步骤2
‑
3：分别计算左右相机经过旋转后，相机坐标系相对于原位置的旋转矩阵以及平移向量
[0021]步骤2
‑
4：分别计算左右相机在不同zoom值下相对于zoom＝1光心产生的平移向量
[0022]步骤2
‑
5：计算当左(右)相机分别水平旋转α，俯仰旋转β，zoom值分别为z1、z2时，左相机和右相机相对于的世界坐标系O
‑
x
w
y
w
z
w
的旋转平移矩阵R
l
、T
l
、R
r
、T
r
。
[0023]所述步骤2
‑
1的求解和的方法，所述标定竖直转轴方向向量的方法，所述标定竖直转轴方向向量先
利用张正友标定法标定出初始位置下标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目PTZ相机的目标定位方法，其特征是：标定出双目PTZ相机的任意角度和焦距下的内外参，利用最小二乘法，实现对目标的三维定位，具体步骤如下：步骤1：求解左右相机的任意焦距下的内参矩阵K
l
，K
r
；步骤2：求解左右相机任意角度、焦距下相对于世界坐标系的旋转矩阵R
l
、R
r
及平移向量T
l
、T
r
；步骤3：求出目标点从世界坐标系映射至左右相机像素坐标系的单应性矩阵H1、H2，根据同名点在左右像素坐标系下的坐标p
l
(u
l
,v
l
)，p
r
(u
r
,v
r
)，用最小二乘法求出目标在世界坐标系下的坐标值，具体步骤为：步骤3
‑
1，求出目标点P(X
w
,Y
w
,Z
w
)由世界坐标系映射至左右相机像素坐标系下的对应点p
l
(u
l
,v
l
)，p
r
(u
r
,v
r
)单应性矩阵H1，H2；步骤3
‑
2，利用最小二乘法求解P(X
w
,Y
w
,Z
w
)坐标。2.根据权利要求1所述的基于双目PTZ相机的目标定位方法，其特征是：所述求解左右相机的任意焦距下的内参矩阵K
l
，K
r
，求出左右相机焦距关于zoom的分段函数，具体步骤为：步骤1
‑
1：分别标定出左右相机几个特定zoom值下的焦距f
x
，f
y
，利用线性插值法将焦距值拟合成关于zoom的分段函数；步骤1
‑
2：根据当前相机的zoom值，代入步骤1
‑
1求出的分段函数，求出此时左右相机的焦距值和得到左右相机的内参矩阵分别为：式(1)中和单位为dpi，u0、v0为图像中心点的像素坐标，值为图像分辨率的1/2。3.根据权利要求1所述的基于双目PTZ相机的目标定位方法，其特征是：步骤2所述求解左右相机任意角度、焦距下的R
l
、R
r
和T
l
、T
r
，用张正友标定法标定出初始位置的左右相机的外参矩阵将左相机的初始位置的相机坐标系作为世界坐标系O
w
‑
x
w
y
w
z
w
，，计算R
l
、R
r
、T
l
、T
r
的具体步骤为：步骤2
‑
1：求解左右相机水平旋转时绕的竖直转轴方向向量俯仰旋转时绕的水平转轴方向向量步骤2
‑
2：所述竖直转轴方向向量和水平转轴方向向量与各自光心旋转平面γ的交点分别为计算出初始位置相机坐标系原点O至各交点的向量和步骤2
‑
3：分别计算左右相机经过旋转后，相机坐标系相对于原位置的旋转矩阵以及平移向量步骤2
‑
4：分别计算左右相机在不同zoom值下相对于zoom＝1光心...

【专利技术属性】
技术研发人员：徐友春，冒康，娄静涛，朱愿，李永乐，
申请(专利权)人：中国人民解放军陆军军事交通学院军事交通运输研究所，
类型：发明
国别省市：