多目相机的外参数两步联合在线标定方法及系统技术方案

本发明专利技术公开了一种多目相机的外参数两步联合在线标定方法及系统，包括GPU图像辨识服务器、现场布设的千兆以太网、光纤网络和一定数量的多目监控相机，在变电站相机监控视场范围内墙壁、线杆等布设大量反光的已知基准点，在此基础上，利用布设的多目监控相机组实时采集现场图像，通过千兆以太网传输至GPU服务器，GPU服务器根据采集的现场图像，利用两步联合在线标定算法对相机外参数进行在线快速联合标定，其操作十分简洁、高效，并且标定精度高。

Method and system for on-line calibration of two steps of external parameters of multi camera

The invention discloses a calibration method and system parameters of a multi camera two step joint online, including GPU image identification server, site layout of Gigabit Ethernet, optical fiber network and a number of multi camera surveillance cameras, walls, camera monitoring in substation field line rod lay a large number reflecting known reference point. On this basis, the layout of multi camera group collects real-time image through the Gigabit Ethernet to the GPU server, the GPU server according to the acquisition of the scene image, using two step joint online calibration algorithm of camera parameters online fast calibration, the operation is very simple and efficient, and high precision.

【技术实现步骤摘要】

：本专利技术涉及一种多目相机的标定方法，特别是涉及一种多目相机的外参数两步联合在线标定方法及系统。
技术介绍
：在视觉测量领域，相机外参数标定的研究较为成熟，已有的相机外参数标定有：利用基于罗德里格矩阵的角锥法来解算相机的外参数初值，解决大角度场景下的外参数标定问题；相机外参数标定的数值解法，解决四个以上基准点求相机外参数的最优解问题；基于一定数量距离约束的相机不稳定定向算法，解决相机外参数在测量现场结果不稳定的问题。上述相机标定方法主要满足了视觉测量的精度需求，但随着在机器视觉测量应用不断拓展，相机外参数标定已不局限于具有高精度需求的工程测量领域，如在变电站巡检、交通管理、建筑物施工测量、桥梁水库的变形监测等实际工程应用中，虽然可通过在已知场景中布设大量基准点的方式获取高精度的相机外参数，但是由于实际标定成本和相机安置的场景限制，不可能也无必要频繁对其进行外参数标校，这为异常情况下的实际工作埋下隐患，显然，上述应用对于静态、连续、精确的视觉在线标定需求显著。
技术实现思路
：本专利技术所要解决的技术问题是：克服现有技术的不足，提供一种设计合理、容易实施、标定精确且方便快捷的多目相机的外参数两步联合在线标定方法及系统。本专利技术的技术方案是：一种多目相机的外参数两步联合在线标定方法，包括以下步骤：a、第一步标定，利用多目相机对布设于标定平面或线杆上反光的已知基准点P(Xw,Yw,Zw)进行拍摄，利用基于四元数的共线交会原理获取多目相机的初始外参数Posini，以及像点坐标的重投影误差σji，由不同位姿得到的基准点误差建立稀疏光束平差的赋权矩阵Σx，再根据双目定位原理获取多目相机共视下的环境特征不变点坐标P(Xk,Yk,Zk)；b、第二步标定，利用基于LM算法的稀疏光束平差，对第一步标定环节得到的相机初始外参数、像点坐标、已知基准点坐标以及环境特征不变点坐标进行联合平差，最终得到包括相机外参数Posopt在内的全部参数的精确估计，实现多目相机外参数的在线标定。所述标定平面为经过加工并进行固定的铟钢板或平整墙面，所述标定平面上按照规律设置有所述已知基准点，所述标定平面的前方设置有支撑台或固定架，所述支撑台或固定架上固定有多目相机，所述多目相机通过以太网与图像处理器GPU连接，所述图像处理器GPU与中央处理器CPU连接，对拍摄的图像进行处理。所述中央处理器CPU通过无线通讯网分别与个人信息终端和上位机连接，多目相机外参数的标定结果通过所述无线通讯网分别传输到上位机和个人信息终端上。所述已知基准点为设备的交叉点、设备标牌、设备线夹、套管顶端、标杆或杆塔，多目相机的安装架为固定式结构，或者为能够在竖直平面内转动的转动式结构，或为既能在竖直平面内转动又能在水平面内转动的转动式结构。所述转动式结构包括弧形板或弧形齿条，所述弧形板或弧形齿轮分别与紧固螺栓或驱动电机的齿轮连接。一种多目相机的外参数两步联合在线标定系统，包括双目相机、图像处理器GPU和中央处理器CPU，变电站需要监控范围内的墙壁或线杆上布设有大量反光的已知基准点，多目相机设置在监控现场且通过以太网与所述图像处理器GPU连接，所述图像处理器GPU与所述中央处理器CPU连接，所述多目相机对布设于标定平面或线杆上的已知基准点P(Xw,Yw,Zw)进行拍摄，利用基于四元数的共线交会原理获取多目相机的初始外参数Posini，以及像点坐标的重投影误差σji，由不同位姿得到的基准点误差建立稀疏光束平差的赋权矩阵Σx，再根据双目定位原理获取多目相机共视下的环境特征不变点坐标P(Xk,Yk,Zk)；所述中央处理器CPU利用基于LM算法的稀疏光束平差，对上一步标定环节得到的相机初始外参数、像点坐标、已知基准点坐标以及环境特征不变点坐标进行联合平差，最终得到包括相机外参数Posopt在内的全部参数的精确估计，实现多目相机外参数的在线标定。所述标定平面为经过加工并进行固定的铟钢板或平整墙面，所述标定平面上按照规律设置有所述已知基准点，所述标定平面的前方设置有支撑台或固定架，所述支撑台或固定架上固定有所述多目相机。所述中央处理器CPU通过无线通讯网分别与个人信息终端和上位机连接，多目相机外参数的标定结果通过所述无线通讯网分别传输到上位机和个人信息终端上。所述已知基准点为设备的交叉点、设备标牌、设备线夹、套管顶端、标杆或杆塔，多目相机的安装架为固定式结构，或者为能够在竖直平面内转动的转动式结构，或为既能在竖直平面内转动又能在水平面内转动的转动式结构。所述转动式结构包括弧形板或弧形齿条，所述弧形板或弧形齿轮分别与紧固螺栓或驱动电机的齿轮连接。本专利技术的有益效果是：1、本专利技术利用两步联合在线标定算法对多目相机外参数进行在线快速联合标定，操作十分简洁、高效，并且标定精度高。2、本专利技术能够根据不同多目相机的标定需求设计不同的标志方案，在一个标定平面实现多种型号多目相机的标定任务，具有通用性和灵活性，并且整个标定过程由计算机自动完成，无人工操作环节，具有自动化和快速高效的优点。3、本专利技术标定平面可以采用经过加工处理的铟钢板，也可以采用经过加工处理的平整墙面，根据需要确定；采用铟钢板时，下端通过底座进行固定。4、本专利技术标定结果既可以输入到个人信息终端，便于相关人员及时获知，还可以通过无线通讯网上传到上位机，便于监控和保存，安全性好5、本专利技术设计合理、容易实施、标定精确且方便快捷，其应用范围广，易于推广实施，具有良好的经济效益。附图说明：图1为多目相机的外参数两步联合在线标定的流程图；图2为多目相机的外参数两步联合在线标定系统的原理图。具体实施方式：实施例：参见图1-图2，图中，1-支撑台，2-多目相机，3-已知基准点，4-标定平面，5-底座，6-以太网，7-图像处理器GPU，8-中央处理器CPU，9-显示器，10-个人信息终端，11-无线通讯网，12-上位机。一种多目相机的外参数两步联合在线标定方法及系统，包括：a、第一步标定，利用多目相机2对布设于标定平面4或线杆上反光的已知基准点3P(Xw,Yw,Zw)进行拍摄，利用基于四元数的共线交会原理获取多目相机2的初始外参数Posini，以及像点坐标的重投影误差σji，由不同位姿得到的基准点误差建立稀疏光束平差的赋权矩阵Σx，再根据双目定位原理获取多目相机共视下的环境特征不变点坐标P(Xk,Yk,Zk)；b、第二步标定，利用基于LM算法的稀疏光束平差，对第一步标定环节得到的相机初始外参数、像点坐标、已知基准点坐标以及环境特征不变点坐标进行联合平差，最终得到包括相机外参数Posopt在内的全部参数的精确估计，实现多目相机外参数的在线标定。标定平面4为经过加工并进行固定的铟钢板或平整墙面，标定平面4上按照规律设置有已知基准点3，标定平面4的前方设置有支撑台1或固定架，支撑台1或固定架上固定有多目相机2，多目相机2通过以太网6与图像处理器GPU连接，图像处理器GPU与中央处理器CPU连接，对拍摄的图像进行处理。中央处理器CPU通过无线通讯网11分别与个人信息终端10和上位机12连接，多目相机2外参数的标定结果通过无线通讯网分别传输到上位机和个人信息终端上。已知基准点3为设备的交叉点、设备标牌、设备线夹、套管顶端、标杆或杆塔，多目相机2的安装架为固定式结构，本文档来自技高网...

【技术保护点】
一种多目相机的外参数两步联合在线标定方法，包括以下步骤：a、第一步标定，利用多目相机对布设于标定平面或线杆上反光的已知基准点P(Xw,Yw,Zw)进行拍摄，利用基于四元数的共线交会原理获取多目相机的初始外参数Posini，以及像点坐标的重投影误差σji，由不同位姿得到的基准点误差建立稀疏光束平差的赋权矩阵Σx，再根据双目定位原理获取多目相机共视下的环境特征不变点坐标P(Xk,Yk,Zk)；b、第二步标定，利用基于LM算法的稀疏光束平差，对第一步标定环节得到的相机初始外参数、像点坐标、已知基准点坐标以及环境特征不变点坐标进行联合平差，最终得到包括相机外参数Posopt在内的全部参数的精确估计，实现多目相机外参数的在线标定。

【技术特征摘要】
1.一种多目相机的外参数两步联合在线标定方法，包括以下步骤：a、第一步标定，利用多目相机对布设于标定平面或线杆上反光的已知基准点P(Xw,Yw,Zw)进行拍摄，利用基于四元数的共线交会原理获取多目相机的初始外参数Posini，以及像点坐标的重投影误差σji，由不同位姿得到的基准点误差建立稀疏光束平差的赋权矩阵Σx，再根据双目定位原理获取多目相机共视下的环境特征不变点坐标P(Xk,Yk,Zk)；b、第二步标定，利用基于LM算法的稀疏光束平差，对第一步标定环节得到的相机初始外参数、像点坐标、已知基准点坐标以及环境特征不变点坐标进行联合平差，最终得到包括相机外参数Posopt在内的全部参数的精确估计，实现多目相机外参数的在线标定。2.根据权利要求1所述的多目相机的外参数两步联合在线标定方法，其特征是：所述标定平面为经过加工并进行固定的铟钢板或平整墙面，所述标定平面上按照规律设置有所述已知基准点，所述标定平面的前方设置有支撑台或固定架，所述支撑台或固定架上固定有多目相机，所述多目相机通过以太网与图像处理器GPU连接，所述图像处理器GPU与中央处理器CPU连接，对拍摄的图像进行处理。3.根据权利要求2所述的多目相机的外参数两步联合在线标定方法，其特征是：所述中央处理器CPU通过无线通讯网分别与个人信息终端和上位机连接，多目相机外参数的标定结果通过所述无线通讯网分别传输到上位机和个人信息终端上。4.根据权利要求1所述的多目相机的外参数两步联合在线标定方法，其特征是：所述已知基准点为设备的交叉点、设备标牌、设备线夹、套管顶端、标杆或杆塔，多目相机的安装架为固定式结构，或者为能够在竖直平面内转动的转动式结构，或为既能在竖直平面内转动又能在水平面内转动的转动式结构。5.根据权利要求4所述的多目相机的外参数两步联合在线标定方法，其特征是：所述转动式结构包括弧形板或弧形齿条，所述弧形板或弧形齿轮分别与紧固螺栓或驱动电机的齿轮连接。6.一种多目相机的外参数两步联合在线标定系统，包括...

【专利技术属性】
技术研发人员：李丰阳，贾学东，林慧，董明，陈国军，何婷，辛军，张伟政，钟浩，
申请(专利权)人：国网河南省电力公司郑州供电公司，中国人民解放军信息工程大学，国家电网公司，
类型：发明
国别省市：河南;41