一种超大电力设备的相机阵列同步标定方法及系统技术方案

一种超大电力设备的相机阵列同步标定方法及系统，属于计算机视觉中相机阵列标定技术领域，解决一次性求解相机内部参数和外部参数之间的相关性影响的问题，从而对超大电力设备的相机阵列同步标定结果的精度，本发明专利技术的技术方案分为相机的内部参数标定以及相机的外部参数标定两个部分，首先使用相机阵列同步采集不同相机位姿下棋盘格标定板连续图像，进行相机内部参数标定；之后使用该相机阵列同步采集用于外部参数标定的靶标图像，根据相机内部参数矩阵构造相机投影矩阵求取相机外部参数，最大限度地克服从整体上一次性求解相机内部参数和外部参数之间的相关性影响的问题，适用于工业现场超大型的电力设备的测量。工业现场超大型的电力设备的测量。工业现场超大型的电力设备的测量。

【技术实现步骤摘要】
一种超大电力设备的相机阵列同步标定方法及系统


[0001]本专利技术属于计算机视觉中相机阵列标定
，涉及一种超大电力设备的相机阵列同步标定方法及系统。

技术介绍

[0002]超大型的电力设备状态监测的目的是采用有效的检测手段和分析诊断技术，及时准确的掌握设备运行状态，保证设备的安全、可靠和经济运行，利用在厂房内安装多台具有自由系统图像采集系统以及图像回传功能的相机，组成相机阵列来进行厂房内各种视角的拍摄。相机阵列可以代替传统的人工巡检将现场电力设备视频图像进行回传、拼接、呈现，实时的采集电力设备的图像、影像、声音、温度等数据，特别是存在人员安全风险或人员难以进入的场地，该相机阵列系统可以很好的进行现场的实时监控。
[0003]相机标定技术是计算机视觉领域中重要的技术，随着计算机视觉技术的大力发展，该技术在工业测量领域中有着广泛的应用与需求，尤其表现在工业现场的大尺寸物体测量中。随着大型设备制造业的发展以及工业技术的革新，大尺寸测量呈现出来的测量环境复杂，测量多样以及测量过程自动化和测量效率的需求等特点，传统的大尺寸测量系统已经无法满足日益增长的工业现场大尺度空间坐标测量的需求。
[0004]相机参数的标定精度直接影响着系统的测量精度，传统的方法大多都是基于已知形状和尺寸的标定板进行标定，例如，申请公布号为CN105513068A、申请公布日为2016年04月20日的中国专利技术专利申请《基于多相机阵列大尺寸视觉测量系统的标定系统及方法》采用基于多相机阵列的标定方法，即各待测特征点放置一相机，获得各特征点在对应相机坐标系下坐标，然后通过各相机间的位置关系,将各特征点坐，标转换到同一相机坐标系中。上述文献方法在标定过程中需要人为的移动标定板，来获得不同姿态下标定物的图像，这就对标定人员有着较高的要求，标定结果的精度也无法保证，无法在室外这类复杂的场景下使用。

技术实现思路

[0005]本专利技术的目的在于提供一种超大电力设备的相机阵列同步标定方法及系统，以解决一次性求解相机内部参数和外部参数之间的相关性影响的问题，从而对超大电力设备的相机阵列同步标定结果的精度。
[0006]本专利技术是通过以下技术方案解决上述技术问题的：
[0007]一种超大电力设备的相机阵列同步标定方法，包括以下步骤：
[0008]S1、获取相机阵列中各相机的内部参数；
[0009]S2、搭建用于标定相机外部参数的立体靶标，相机阵列在不移动的情况下，通过拍摄立体靶标的图像完成对相机外部参数的初始标定；
[0010]S3、搭建相机阵列完成对靶标的数据采集，将相机阵列固定安装在一个载台上，相机与相机之间间隔一定的距离即可，确保各个相机之间的相对位置关系不变，通过调用相
机阵列的API接口控制相机的快门，利用同一时间脉冲触发多个相机完成对同一目标物体的同步拍摄；
[0011]S4、处理单个相机采集的图像；
[0012]S5、将相机阵列中各个相机对靶标的拍摄视为同一时刻相互独立相机的采集，通过两两图像之间的匹配对应关系完成相机外部参数的标定；
[0013]S6、计算出相机的内、外部参数值之后，再利用极大似然估计对相机参数进行全局优化，利用给定的目标方程，使得目标方程的结果最小化，求得相机参数值；
[0014]S7、对相机阵列中各相机采集的图像进行唯一标识编号，并根据编号对不同时间下同一相机的外部参数进行K
‑
Means聚类，选择使得序列中参数值最优的子集求取平均值，计算得到相机的外部参数；
[0015]S8、以相机阵列中的某一相机为基准，将其他各个相机的外部参数变换到该坐标系下，实现相机阵列参数的统一。
[0016]本专利技术的技术方案分为相机的内部参数标定以及相机的外部参数标定两个部分，首先使用相机阵列同步采集不同相机位姿下棋盘格标定板连续图像，进行相机内部参数标定；之后使用该相机阵列同步采集用于外部参数标定的靶标图像，根据相机内部参数矩阵构造相机投影矩阵求取相机外部参数，最大限度地克服从整体上一次性求解相机内部参数和外部参数之间的相关性影响的问题，适用于工业现场超大型的电力设备的测量。
[0017]作为本专利技术技术方案的进一步改进，步骤S1中所述的获取相机阵列中各相机的内部参数的方法如下：
[0018]S11、采用张正友标定法，使用相机连续N张图像，使用Harris角点检测提取棋盘格中的角点，利用棋盘格的线性几何约束关系，计算标定图像与棋盘格之间的单应变换矩阵H；
[0019]S12、设棋盘格中角点在世界坐标系下的齐次坐标为M＝[X Y Z 1]T
，其对应于二维相机图像平面上的点坐标为m＝[u v 1]T
，为简化计算，设棋盘格中角点是满足共面约束，即设定Z＝0，则世界坐标系下的点和图像像素坐标系的点满足如下的关系：
[0020][0021]S13、定义物体平面和成像平面之间的单应变换矩阵H满足如下定义：
[0022][0023]可以得到相机的内部参数矩阵表述如下：
[0024][0025]其中，s表示尺度因子，参数r1,r2表示旋转向量，满足相互正交的关系；f
x
,f
y
表示相机的焦距，与相机的像素大小相关；c
x
,c
y
表示平移的距离，与相机成像平面的大小相关；
[0026]S14、不考虑相机畸变的情况下，可将单应矩阵化简为H＝[h1h2h3]；根据向量正交的关系，可得到求解约束关系如下：
[0027][0028]S15、由上约束关系可进一步确认，约束关系中的单项式均可写为的形式，同时由B矩阵为对称矩阵的形式可知，其有效参数为6个，则可以得到如下关系：
[0029][0030]S16、基于这个关系，可将上述约束关系进一步转化为如下形式：
[0031][0032]因此，基于这个关系式，利用连续采集的多个不同视角的图像，便可使用最小二乘方法，求解上述等式中b的值即为相机的内部参数值。
[0033]作为本专利技术技术方案的进一步改进，其特征在于，步骤S2中所述的立体靶标呈正四棱锥结构，每个面使用圆形斑点进行填充，四面体不同面之间的连接处，附着具有唯一标识的编码，以用于唯一标识面。
[0034]作为本专利技术技术方案的进一步改进，步骤S4中所述的处理单个相机采集的图像的方法如下：
[0035]S41、针对单个相机的图像，采用双边滤波减弱图像的噪声；
[0036]S42、对图像进行自适应阈值化，将窗口内像素点进行累加求均值，计算像素点窗口内的加权平均值，其结果再减去设定的常数以得到该区域的自适应阈值；
[0037]S43、调用Opencv中的blob斑点检测算法对图像进行圆形轮廓查找，同时根据提取到的圆形轮廓半径得到轮廓区域的像素面积，通过设定的阈值剔除干扰轮廓，保留需要的轮廓信息，并根据圆形轮廓边界的像素值得到圆形轮廓区域的中心，再根据圆心所在平面的不同分为四个集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种超大电力设备的相机阵列同步标定方法，其特征在于，包括以下步骤：S1、获取相机阵列中各相机的内部参数；S2、搭建用于标定相机外部参数的立体靶标，相机阵列在不移动的情况下，通过拍摄立体靶标的图像完成对相机外部参数的初始标定；S3、搭建相机阵列完成对靶标的数据采集，将相机阵列固定安装在一个载台上，相机与相机之间间隔一定的距离即可，确保各个相机之间的相对位置关系不变，通过调用相机阵列的API接口控制相机的快门，利用同一时间脉冲触发多个相机完成对同一目标物体的同步拍摄；S4、处理单个相机采集的图像；S5、将相机阵列中各个相机对靶标的拍摄视为同一时刻相互独立相机的采集，通过两两图像之间的匹配对应关系完成相机外部参数的标定；S6、计算出相机的内、外部参数值之后，再利用极大似然估计对相机参数进行全局优化，利用给定的目标方程，使得目标方程的结果最小化，求得相机参数值；S7、对相机阵列中各相机采集的图像进行唯一标识编号，并根据编号对不同时间下同一相机的外部参数进行K
‑
Means聚类，选择使得序列中参数值最优的子集求取平均值，计算得到相机的外部参数；S8、以相机阵列中的某一相机为基准，将其他各个相机的外部参数变换到该坐标系下，实现相机阵列参数的统一。2.根据权利要求1所述的一种超大电力设备的相机阵列同步标定方法，其特征在于，步骤S1中所述的获取相机阵列中各相机的内部参数的方法如下：S11、采用张正友标定法，使用相机连续N张图像，使用Harris角点检测提取棋盘格中的角点，利用棋盘格的线性几何约束关系，计算标定图像与棋盘格之间的单应变换矩阵H；S12、设棋盘格中角点在世界坐标系下的齐次坐标为M＝[X Y Z 1]
T
，其对应于二维相机图像平面上的点坐标为m＝[u v 1]
T
，为简化计算，设棋盘格中角点是满足共面约束，即设定Z＝0，则世界坐标系下的点和图像像素坐标系的点满足如下的关系：S13、定义物体平面和成像平面之间的单应变换矩阵H满足如下定义：可以得到相机的内部参数矩阵表述如下：其中，s表示尺度因子，参数r1,r2表示旋转向量，满足相互正交的关系；f
x
,f
y
表示相机的
焦距，与相机的像素大小相关；c
x
,c
y
表示平移的距离，与相机成像平面的大小相关；S14、不考虑相机畸变的情况下，可将单应矩阵化简为H＝[h
1 h
2 h3]；根据向量正交的关系，可得到求解约束关系如下：S15、由上约束关系可进一步确认，约束关系中的单项式均可写为的形式，同时由B矩阵为对称矩阵的形式可知，其有效参数为6个，则可以得到如下关系：S16、基于这个关系，可将上述约束关系进一步转化为如下形式：因此，基于这个关系式，利用连续采集的多个不同视角的图像，便可使用最小二乘方法，求解上述等式中b的值即为相机的内部参数值。3.根据权利要求1所述的一种超大电力设备的相机阵列同步标定方法，其特征在于，步骤S2中所述的立体靶标呈正四棱锥结构，每个面使用圆形斑点进行填充，四面体不同面之间的连接处，附着具有唯一标识的编码，以用于唯一标识面。4.根据权利要求1所述的一种超大电力设备的相机阵列同步标定方法，其特征在于，步骤S4中所述的处理单个相机采集的图像的方法如下：S41、针对单个相机的图像，采用双边滤波减弱图像的噪声；S42、对图像进行自适应阈值化，将窗口内像素点进行累加求均值，计算像素点窗口内的加权平均值，其结果再减去设定的常数以得到该区域的自适应阈值；S43、调用Opencv中的blob斑点检测算法对图像进行圆形轮廓查找，同时根据提取到的圆形轮廓半径得到轮廓区域的像素面积，通过设定的阈值剔除干扰轮廓，保留需要的轮廓信息，并根据圆形轮廓边界的像素值得到圆形轮廓区域的中心，再根据圆心所在平面的不同分为四个集合；S44、在每个靶平面上建立一个平面坐标系，根据每个靶标平面上特征圆之间的实际位
置关系计算出特征圆在靶标平面的坐标系中坐标；由于每个圆形轮廓在靶标中的物理位置是固定的，建立坐标系之后，基于上述圆形轮廓区域检测得到的中心位置，即可得到图像中圆形区域在靶标平面坐标系下的坐标关系。5.根据权利要求4所述的一种超大电力设备的相机阵列同步标定方法，其特征在于，步骤S5中所述的将相机阵列中各个相机对靶标的拍摄视为同一时刻相互独立相机的采集，通过两两图像之间的匹配对应关系完成相机外部参数的标定的方法具体如下：S51、将所有相机的拍摄图像放入同一图像集合中，根据提取出的特征圆像素坐标系和特征圆靶标面坐标系中的实际关系；S52、利用图像匹配任意选取两张图像A和图像B作为求解起始；S53、根据计算机视觉中的8点法基本矩阵F求解，由图像匹配关系可得到，两张图像中的任意一组匹配特征点x,x'满足：x'Fx＝0，基本矩阵与本质矩阵的关系满足：E＝K
T
FK其中，...

【专利技术属性】
技术研发人员：刘峰，陈思勤，沈军，张晓栋，
申请(专利权)人：华能国际电力股份有限公司上海石洞口第二电厂，
类型：发明
国别省市：