基于目标平面运动特征的相机位姿自标定方法技术

基于目标平面运动特征的相机位姿自标定方法，基于目标平面运动特征的相机位姿自标定方法，在单目相机条件下，可以在拍摄目标平面运动的过程中，估计出相机与运动平面之间的相对位姿。首先针对目标运动特征，建立特征点运动约束；然后基于相机小孔成像模型，建立相机位姿自标定模型，此模型由多个约束方程共同组成；最后使用遗传算法对模型进行求解，通过求解出的相机位姿，可以实现将不同角度的轨迹图像校正为正投影图像。本发明专利技术可应用于运动过程中的相机标定与轨迹分析，且标定精度与现有的张正友标定法相近。当获取标定特征较多时，标定结果优于张正友标定法。

【技术实现步骤摘要】

本专利技术涉及相机标定
，尤其涉及其中使用图像中的一些约束对相机进行标定的相机自标定法，具体指一种基于目标平面运动特征的相机位姿自标定方法。
技术介绍
运动轨迹提供了丰富的物体运动的时空信息，在航空航天、工业机器人和人机交互等领域具有重要价值。传统的运动轨迹识别方法有聚类、神经网络、HMM及相应的改进方法等。但是一些外在的因素阻碍着轨迹识别技术的发展，重点是要求行为平面与相机平面平行，这在现实生活中是很难实现的。当行为平面与相机平面不平行时，相机的位姿决定拍摄到的轨迹图像。如何针对目标动态运动特征，对相机位姿进行标定，实现与视角无关的轨迹识别，是物体运动轨迹分析中亟待解决的一个关键问题。从图像中标定相机位姿的方法主要有：(1)模板标定法。主要有Tsai标定法(见文献Tsai R Y.A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J].Robotics&Automation IEEE Journal of,1987,3(4):323-344.)与张正友标定法(见文献Zhang Z.A Flexible New Technique for Camera Calibration[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2000,22(11):1330-1334.)。(2)主动标定法。关云博(见文献关云博.序列图像中对象位姿及运动轨迹分析[D].沈阳工业大学,2014.)提出了一个基于椭圆特征的平面位姿定位方法，利用圆的透视投影特性，将确定空间平面的姿态问题转化为确定椭圆的姿态问题，从而确定空间平面位姿来解决视角问题。但是主动标定实验条件要求高，受标定物的影响较大。(3)自标定法。使用图像中的一些约束，灵活性好。如使用极点变换法(见文献杨必武,倪志斌.基于广义平面校正的图像对最小化畸变重投影[J].光子学报,2008,37(3):621-624.)、基于镜像与正交性约束(见文献Takahashi K,Nobuhara S,Matsuyama T.Mirror-based Camera Pose Estimation Using an Orthogonality Constraint[J].Ipsj Transactions on Computer Vision&Applications,2016,8:11-19.)、基于透视图中的灭点(见文献Liu T,Xu W,Yin X,et al.Planar metric rectification from perspective image via vertical vanishing point[C].International Congress on Image and Signal Processing,2015:951–957.)估计相机的位姿信息，进行图像校正。但是以上的标定法均使用静态图片进行相机标定，不适用于轨迹分析中，目标特征运态变化的具体情况。
技术实现思路
本专利技术的目的是提供一种基于目标平面运动特征的相机位姿自标定方法。本专利技术是基于目标平面运动特征的相机位姿自标定方法，其特征在于，包括如下步骤：(1)对视频预处理，提取稳定的平面运动目标特征点m表示稳定的目标特征点集中特征点的个数，N为总的视频中图像帧的个数，p(t)表示t时刻的图像帧中的特征点；(2)从稳定的目标特征点集中，提取n(n≥4)个时刻的相机位姿标定特征点对ps(i)(xs(i),y s(i))，p′s(i)(x′s(i),y′s(i))，s(i)为选取的帧时刻，其中i＝1～n；(3)使用n(n≥4)个时刻，提取出的相机位姿标定特征点对建立相机位姿自标定模型；(4)对建立的位姿自标定模型使用遗传算法进行求解，得到运动目标平面的法向量A，B，C；(5)使用得到的目标运动平面法向量A，B，C，对稳定的目标特征点运动轨迹进行平面校正，得到校正后的目标特征点运动轨迹本专利技术的有益之处为：与现有的很多相机标定方法相比，现有方法都是基于静态标定图片中的标定特征，但是本专利技术使用的是目标运动视频中，目标的运动特征点特征；当使用的特征点对数目n较大时，相机标定的结果精度高，鲁棒性好，优于经典的张正友标定法；与现有的运动物体特征分析方法相比，本专利技术可以将运动平面校正为正投影下的，实现与视角无关的特征分析。主要是因为：(1)本专利技术在运动视频中，分析运动特征点运动过程中所满足的运动约束，并结合相机成像的原理，建立相机位姿自标定模型，所以本专利技术使用的是目标运动视频中，目标的运动特征点特征；(2)由于图像预处理、特征提取过程中的误差，现有的很多标定方法对相机位姿进行标定时，总是存在一定的误差，而本专利技术使用n组方向不同的特征点对矢量，当n的数量增加时，模型的解的误差将会趋向于最小，所以相机标定的结果精度高；由于n较大，特征集中个别特征对整个模型求解影响不大，故鲁棒性好。(3)本专利技术在分析目标运动的过程中，对相机的位姿进行标定，然后通过标定的相对位姿将运动平面校正到正投影下，因此可以实现与视角无关的特征分析。实验结果表明，本专利技术可以通过获取的运动特征，对相机的位姿进行标定。当获取标定特征较多时，标定结果优于张正友标定法，更适用于运动目标为刚体的情况。同时可实现与视角无关的手势轨迹特征提取，进而在多视角环境下提高动态手势的识别率。该模型可普遍用于相机外参标定与轨迹分析。附图说明图1为相机位姿自标定模型示意图，图2目标平面与成像平面下观察到的运动轨迹，图3相机位姿与轨迹平面校正的结果，图4.提取出与视角无关的运动轨迹，图5简易的标定图像，图6选取的标定特征点，图7相机自标定模型恢复出的80个特征点三维图，图8图像平面校正的结果，图9本专利技术与张正友方法平面校正对比图，图10平面法向量及其对比，图11解的误差及其对比。具体实施方式本专利技术是基于目标平面运动特征的相机位姿自标定方法，包括如下步骤：(1)对视频预处理，提取稳定的平面运动目标特征点m表示稳定的目标特征点集中特征点的个数，N为总的视频中图像帧的个数，p(t)表示t时刻的图像帧中的特征点；(2)从稳定的目标特征点集中，提取n(n≥4)个时刻的相机位姿标定特征点对ps(i)(xs(i),ys(i))，p′s(i)(x′s(i),y′s(i))，s(i)为选取的帧时刻，其中i＝1～n；(3)使用n(n≥4)个时刻，提取出的相机位姿标定特征点对建立相机位姿自标定模型；(4)对建立的位姿自标定模型使用遗传算法进行求解，得到运动目标平面的法向量A，B，C；(5)使用得到的目标运动平面法向量A，B，C，对稳定的目标特征点运动轨迹进行平面校正，得到校正后的目标特征点运动轨迹以上所述的基于目标平面运动特征的相机位姿自标定方法，其特征在于，步骤(1)对视频预处理，提取稳定的平面运动目标特征点的具体步骤包括：(1)对目标平面运动的图像视频分帧，使用Harris特本文档来自技高网...

【技术保护点】
基于目标平面运动特征的相机位姿自标定方法，其特征在于，包括如下步骤：(1)对视频预处理，提取稳定的平面运动目标特征点m表示稳定的目标特征点集中特征点的个数，N为总的视频中图像帧的个数，p(t)表示t时刻的图像帧中的特征点；(2)从稳定的目标特征点集中，提取n(n≥4)个时刻的相机位姿标定特征点对ps(i)(xs(i),ys(i))，p′s(i)(x′s(i),y′s(i))，s(i)为选取的帧时刻，其中i＝1～n；(3)使用n(n≥4)个时刻，提取出的相机位姿标定特征点对建立相机位姿自标定模型；(4)对建立的位姿自标定模型使用遗传算法进行求解，得到运动目标平面的法向量A，B，C；(5)使用得到的目标运动平面法向量A，B，C，对稳定的目标特征点运动轨迹进行平面校正，得到校正后的目标特征点运动轨迹j∈1～m。

【技术特征摘要】
1.基于目标平面运动特征的相机位姿自标定方法，其特征在于，包括如下步骤：(1)对视频预处理，提取稳定的平面运动目标特征点m表示稳定的目标特征点集中特征点的个数，N为总的视频中图像帧的个数，p(t)表示t时刻的图像帧中的特征点；(2)从稳定的目标特征点集中，提取n(n≥4)个时刻的相机位姿标定特征点对ps(i)(xs(i),ys(i))，p′s(i)(x′s(i),y′s(i))，s(i)为选取的帧时刻，其中i＝1～n；(3)使用n(n≥4)个时刻，提取出的相机位姿标定特征点对建立相机位姿自标定模型；(4)对建立的位姿自标定模型使用遗传算法进行求解，得到运动目标平面的法向量A，B，C；(5)使用得到的目标运动平面法向量A，B，C，对稳定的目标特征点运动轨迹进行平面校正，得到校正后的目标特征点运动轨迹j∈1～m。2.根据权利要求1所述的基于目标平面运动特征的相机位姿自标定方法，其特征在于，步骤(1)对视频预处理，提取稳定的平面运动目标特征点的具体步骤包括：(1)对目标平面运动的图像视频分帧，使用Harris特征提取方法提取每一帧中运动目标上的特征点；(2)求相邻两帧的特征点之间的两两欧式距离，形成距离矩阵；(3)用贪婪算法从距离矩阵中依次寻找最小距离值，依次将最小距离值对应的特征点对加入特征点匹配集合，同时从距离矩阵中删除最小距离值所在的行与列，直到距离矩阵中所有的元素值都大于所设定的阈值ζ(与运动速度有关，一般ζ取3)，得到序列图像特征点对的集合p(t)表示t时刻的图像帧中的特征点，mt为t时刻与t+1时刻背景特征点对的个数(mt≥2)，N为总的视频中图像帧的个数，(p(t),p(t+1))i表示t时刻与t+1时刻第i个特征点对；(4)以的特征点对中，p(1)j作为初始特征点，与后面的N-1帧中的特征点进行匹配，如果每一帧中都有与p(1)j相匹配的特征点，则此采集此特征点为稳定的目标特征点，属于目标特征点集m表示稳定的目标特征点集中特征点的个数。3.根据权利要求1所述的基于目标平面运动特征的相机位姿自标定方法，其特征在于，步骤(2)从稳定的目标特征点集中，提取相机位姿标定特征点对的具体步骤包括：(1)在稳定的目标特征点集中，求解第1帧中特征点之间的两两欧式距离，形成距离矩阵m表示稳定目标特征点集中特征点的个数，d(k，s)表示第1帧中，第k个点与第s个点之间的距离；(2)从距离矩阵中，选取最大的距离值则k′，s′点即为初始的相机位姿标定特征点；(3)在初始的相机位姿标定特征点中，计算每个时刻的特征点对矢量，选取n≥4个方向不同的矢量(方向不同是指矢量之间的夹角大于等于2°)...

【专利技术属性】
技术研发人员：张墨逸，张秋余，段宏湘，韦慧怡，陈海燕，王前，张涛，乔思斌，吴东方，胡文进，
申请(专利权)人：兰州理工大学，
类型：发明
国别省市：甘肃;62