非量测相机交叉耦合误差补偿与影像匹配纠正方法及系统技术方案

本发明专利技术提供了一种非量测相机交叉耦合误差补偿与影像匹配纠正方法及系统，在相机变焦情况下，通过拟合的焦距倍率和像素焦距拟合的一元一次方程获得像素焦距，通过分辨率获得像素中心，以此构建出变焦下相机的内参矩阵。在相机姿态变动下，已知相机姿态旋转的角度，通过相机旋转角度获取的变换矩阵和基准下的旋转矩阵获得新姿态下的旋转矩阵，通过平移向量推导公式获取新姿态下的平移向量。使得非量测相机在变焦，旋转的过程中，能够实时的得到相机的内外参数，从而使物方世界坐标系的点可以实时的匹配、映射到摄像头影像上。并且，本发明专利技术改善了由于相机旋转过程中存在的交叉耦合现象带来的物方空间与像方空间的匹配误差。

【技术实现步骤摘要】
非量测相机交叉耦合误差补偿与影像匹配纠正方法及系统
本专利技术涉及相机摄影测量领域，尤其涉及一种非量测相机交叉耦合误差补偿与影像匹配纠正方法及系统。
技术介绍
随着社会经济和科学技术的发展，近年来，人们对安全技术防范的要求越来越高。上个世纪八十年代末至今，随着各种新型安保观念的引入，数字视频监控系统在社会各行业、各部门的安全防范领域得到了广泛应用，视频监控技术在公共安全领域发挥了重要作用。随着摄像机技术的发展，视频监控系统所采用的监控摄像头由模拟摄像头向数字摄像头转变，现在的视频监控系统中基本都采用高清晰度的数字摄像头。目前的视频监控系统多采用一个固定的摄像头对某个场景进行监控。对于范围较大的区域，如机场、海关、广场、火车站等，单个摄像头往往无法覆盖整个区域(杨建国.论视频监控的犯罪预防功能及犯罪侦查价值[J].犯罪研究,2011,01:64-74.)。在实际应用中，可以采用两种方法解决大范围的视频监控问题：一种方法是利用多个固定的摄像头覆盖整个监控区域；另一种方法是利用一个安装在固定云台上的、可以按照控制指令左右上下转动的PTZ相机来监控整个区域，该PTZ相机在监控区域内按照控制指令转动、重复扫描。与第一种方法中的固定摄像头相比，PTZ相机可以按照控制指令灵活转动，可以覆盖更大的区域，是当前视频监控系统中广泛采用的主流摄像头。PTZ（Pan/Tilt/Zoom）相机是集高分分辨率摄像头、变速云台和光学变焦镜头等部件于一体的监控设备，因为其高度的灵活性，广泛应用于现代工业的各个行业。随着测量技术的发展，传统固定参数的静态相机虽然可以通过固定的内方位元素、外方位元素（相机的旋转矩阵、平移矩阵）完成影像匹配，但不足以满足某些环境下的摄影测量工作。而PTZ相机由于其本身的灵活性，更加适合运用在一些摄影测量领域。物方空间和像方空间的影像匹配就是这些摄影测量领域的常见问题。PTZ相机由于其变焦和变速云台，运用影像匹配需要实时的获取相机的内方位元素、外方位元素。一台专门为测量而设计的量测PTZ相机，虽然可以做到这一点，但其制作工艺太过复杂，价格也过于昂贵。而非量测PTZ相机既没有实时的相机内方位元素、外方位元素，还会有相机本身缺陷导致的转动过程中的交叉耦合误差。本申请的描述中，相机的内方位元素也称为相机的内参或内参矩阵；相机的外方位元素也称为相机的外参或外参矩阵。目前基于SIFT匹配的云台相机姿态变化检测（林冰仙;石林;徐长禄;周良辰，南京师范大学，2016.12.28）这种求PTZ外方位元素会有当PTZ相机两帧画面的匹配点过少时，相机的外方位元素求解会极大的失真。在仅用两幅场景图像标定PTZ相机方法（王睿、杨娇茹、冯遂舟，北京航空航天大学，2017.03.22）虽然可以获得PTZ相机的内参，但是在影像实时匹配中，没办法用一帧图像获取内参，达不到实时的要求。同时上述求内外方位元素的方式都是基于寻找图像特征点的方式，而在实际工作中，在光照条件的影像，可能图像特征点匹配并没有很好的效果，难以找到两张图像的特征点。即PTZ相机获取内外方位元素的方式在影像匹配领域，需要其他方式解决。在相机摄影测量领域，用于摄影测量的相机总体上可分为量测相机和非量测相机。对于专门为测量而设计的量测相机，具有已知的内方位元素、焦距、较小的镜头畸变以及定向设备，能达到相当高的精度。但是，由于量测相机的其制作工艺太过复杂且价格昂贵，不太适用于民用普通场景的需求。相对于价格较贵且设备复杂的量测相机而言，非量测相机以其低廉的价格、灵巧、便携等特点在实际中取得了广泛的应用，但它没有准确地测定内方位元素的设施，无法实时的获取相机变焦后的内方位元素；并且在相机转动过程中，还存在非量测相机本身缺陷导致的转动过程中的交叉耦合误差。
技术实现思路
本专利技术提供一种非量测相机交叉耦合误差补偿与影像匹配纠正方法及系统，用以改善由于非量测相机本身缺陷导致的转动过程中的交叉耦合误差。第一方面，本专利技术实施例提供一种非量测相机交叉耦合误差补偿与影像匹配纠正方法，包括：S1，定义世界坐标系，获取非量测相机基准姿态下的外参矩阵；其中，外参矩阵包括旋转矩阵和平移向量；S2，将非量测相机变焦，获取非量测相机变焦下的内参矩阵；S3，旋转相机姿态后，获取相机变换矩阵，根据基准姿态下的外参矩阵和所述变换矩阵获得相机旋转姿态下的外参矩阵；S4，基于步骤S1~S3得到的相机内外参数，利用交叉耦合误差补偿配准算法，修正所述相机变换矩阵；S5，根据修正后的相机变换矩阵获得修正后的外参矩阵，然后根据变焦下的内参矩阵和修正后的外参矩阵，进行物方空间与像方空间匹配。进一步，步骤S1中，定义世界坐标系，具体包括：将世界坐标系的原点设置在相机的位置，从Shapefile文件中获取目标区域点的经纬度，将目标区域点的经纬度转换成世界坐标系下的物理坐标。进一步，步骤S1中，获取非量测相机基准姿态下的外参矩阵，具体包括：将非量测相机的旋转矩阵和平移向量求解问题转变为PnP问题进行求解，获得非量测相机基准姿态下的外参矩阵。进一步，步骤S2中，获取非量测相机变焦下的内参矩阵，具体包括：S21，通过张正友标定算法，获取相机多个焦距倍率下的内参矩阵；S22，根据相机多个焦距倍率下的内参矩阵，将相机焦距倍率和内参矩阵中的像素焦距进行拟合，得到焦距倍率与像素焦距fx、fy的一元一次线性方程；S23，根据相机的分辨率获取相机画面中心点的坐标cx、cy，进而通过变焦下的fx、fy、cx、cy构建非量测相机变焦下的内参矩阵。进一步，步骤S3具体包括：S31，相机姿态变动后，根据相机姿态的旋转角度获取相机变换矩阵；S32，将基准姿态下的旋转矩阵右乘相机变换矩阵，获得相机旋转姿态下的外参矩阵；S33，以基准姿态下的平移向量为基准，通过平移向量推导公式获取旋转姿态下的平移向量。进一步，步骤S4中，基于步骤S1~S3得到的相机内外参数，利用交叉耦合误差补偿配准算法，修正所述相机变换矩阵，具体包括：S41，旋转相机姿态后，将非量测相机的旋转都拆分为水平转动和垂直转动；在非量测相机水平转动方向上每隔10度获取非量测相机的同倍率焦距下的外参矩阵；S42，将外参矩阵中的旋转矩阵转换成世界坐标系的翻滚角、俯仰角和航向角；S43，将世界坐标系中根据S42求得的翻滚角、俯仰角、航向角旋转到对应摄像头水平转动角度下的对应的相机坐标系，获得非量测相机水平转动过程中每隔10度的相机坐标系真实姿态；S44，获取相机水平转动角度的中间值作为基准的旋转矩阵和平移向量，通过步骤S31~S32的方式获得相机水平转动方向上每隔10度的待修正外参矩阵，基于待修正外参矩阵重复步骤S42~S43，得到非量测相机水平转动过程中每隔10度的相机坐标系的误差姿态；S45，比对相机坐标系的真实姿态和误差姿态，分析获得非量测相机水平转动过程中，翻滚角和俯仰角的补偿值；S46，采用S41~S本文档来自技高网...

【技术保护点】
1.一种非量测相机交叉耦合误差补偿与影像匹配纠正方法，其特征在于，包括：/nS1，定义世界坐标系，获取非量测相机基准姿态下的外参矩阵；其中，外参矩阵包括旋转矩阵和平移向量；/nS2，将非量测相机变焦，获取非量测相机变焦下的内参矩阵；/nS3，旋转相机姿态后，获取相机变换矩阵，根据基准姿态下的外参矩阵和所述变换矩阵获得相机旋转姿态下的外参矩阵；/nS4，基于步骤S1~S3得到的相机内外参数，利用交叉耦合误差补偿配准算法，修正所述相机变换矩阵；/nS5，根据修正后的相机变换矩阵获得修正后的外参矩阵，然后根据变焦下的内参矩阵和修正后的外参矩阵，进行物方空间与像方空间匹配。/n

【技术特征摘要】
1.一种非量测相机交叉耦合误差补偿与影像匹配纠正方法，其特征在于，包括：
S1，定义世界坐标系，获取非量测相机基准姿态下的外参矩阵；其中，外参矩阵包括旋转矩阵和平移向量；
S2，将非量测相机变焦，获取非量测相机变焦下的内参矩阵；
S3，旋转相机姿态后，获取相机变换矩阵，根据基准姿态下的外参矩阵和所述变换矩阵获得相机旋转姿态下的外参矩阵；
S4，基于步骤S1~S3得到的相机内外参数，利用交叉耦合误差补偿配准算法，修正所述相机变换矩阵；
S5，根据修正后的相机变换矩阵获得修正后的外参矩阵，然后根据变焦下的内参矩阵和修正后的外参矩阵，进行物方空间与像方空间匹配。


2.根据权利要求1所述的非量测相机交叉耦合误差补偿与影像匹配纠正方法，其特征在于，步骤S1中，定义世界坐标系，具体包括：
将世界坐标系的原点设置在相机的位置，从Shapefile文件中获取目标区域点的经纬度，将目标区域点的经纬度转换成世界坐标系下的物理坐标。


3.根据权利要求2所述的非量测相机交叉耦合误差补偿与影像匹配纠正方法，其特征在于，步骤S1中，获取非量测相机基准姿态下的外参矩阵，具体包括：
将非量测相机的旋转矩阵和平移向量求解问题转变为PnP问题进行求解，获得非量测相机基准姿态下的外参矩阵。


4.根据权利要求1所述的非量测相机交叉耦合误差补偿与影像匹配纠正方法，其特征在于，步骤S2中，获取非量测相机变焦下的内参矩阵，具体包括：
S21，通过张正友标定算法，获取相机多个焦距倍率下的内参矩阵；
S22，根据相机多个焦距倍率下的内参矩阵，将相机焦距倍率和内参矩阵中的像素焦距进行拟合，得到焦距倍率与像素焦距fx、fy的一元一次线性方程；
S23，根据相机的分辨率获取相机画面中心点的坐标cx、cy，进而通过变焦下的fx、fy、cx、cy构建非量测相机变焦下的内参矩阵。


5.根据权利要求1所述的非量测相机交叉耦合误差补偿与影像匹配纠正方法，其特征在于，步骤S3具体包括：
S31，相机姿态变动后，根据相机姿态的旋转角度获取相机变换矩阵；
S32，将基准姿态下的旋转矩阵右乘相机变换矩阵，获得相机旋转姿态下的外参矩阵；
S33，以基准姿态下的平移向量为基准，通过平移向量推导公式获取旋转姿态下的平移向量。


6.根据权利要求5所述的非量测相机交叉耦合误差补偿与影像匹配纠正方法，其特征在于，步骤S4中，基于步骤S1~S3得到的相机内外参数，利用交叉耦合误差补偿配准算法，修正所述相机变换矩阵，具体包括：
S41，旋转相机姿态后，将非量测相机的旋转都...

【专利技术属性】
技术研发人员：董朝阳，张翔，洪勇，罗书培，晏世武，
申请(专利权)人：武汉光谷信息技术股份有限公司，
类型：发明
国别省市：湖北;42