一种变电站多传感器标定及数据融合方法技术

本发明专利技术涉及一种变电站多传感器标定及数据融合方法，所述的方法包括以下步骤：步骤1：多传感器数据映射原理和映射关系；步骤2：图像的内参标定方法；步骤3：参数优化；步骤4：多个图像传感器的标定方法；步骤5：多传感器数据融合方法；本发明专利技术具有多传感器标定、标定误差小、实现多种图像信息融合的优点。实现多种图像信息融合的优点。实现多种图像信息融合的优点。

【技术实现步骤摘要】
一种变电站多传感器标定及数据融合方法


[0001]本专利技术属于变电站
，具体涉及一种变电站多传感器标定及数据融合方法。

技术介绍

[0002]任何一种传感器在装配完成后都必须按设计指标进行全面严格的性能鉴定，使用一段时间以后或经过修理，也必须对主要技术指标进行校准试验以便确保传感器的各项性能达到使用要求；传感器的标定，就是通过实验确立传感器的输出量和输入量之间的对应关系，同时也确定不同使用条件下的误差关系，有两层含义1)确定传感器的性能指标；2)明确这些性能指标所适用的工作环境；变电站是指电力系统中对电压和电流进行变换，接受电能及分配电能的场所，在发电厂内的变电站是升压变电站，其作用是将发电机发出的电能升压后馈送到高压电网中，变电站涉及多种传感器，因此需要定期对传感器进行标定以鉴定性能，并需要对来自多传感器或多源的信息和数据，在一定的准则下加以自动分析和综合，以完成所需要的决策和估计；因此，提供一种多传感器标定、标定误差小、实现多种图像信息融合的一种变电站多传感器标定及数据融合方法是非常有必要的。

技术实现思路

[0003]本专利技术的目的是为了克服现有技术的不足，而提供一种多传感器标定、标定误差小、实现多种图像信息融合的一种变电站多传感器标定及数据融合方法。
[0004]本专利技术的目的是这样实现的：一种变电站多传感器标定及数据融合方法，所述的方法包括以下步骤：
[0005]步骤1：多传感器数据映射原理和映射关系；
[0006]步骤2：图像的内参标定方法；
[0007]步骤3：参数优化；
[0008]步骤4：多个图像传感器的标定方法；
[0009]步骤5：多传感器数据融合方法：包括同源数据融合算法和异源数据融合算法。
[0010]所述的步骤1中的多传感器数据映射原理和映射关系具体为：多传感器数据之间的映射关系是实现多传感器数据融合的基础，为了获得二者的映射关系，首先应该确定多传感器之间的投影变换矩阵，这需要对多传感器之间的空间关系进行标定，采用特殊设计的标定物进行两传感器的联合标定；假设参考点X在三维激光雷达坐标系与图像像素坐标系下的位置分别为(X
w
,Y
w
,Z
w
)与(X
f
,Y
f
)，由相机成像方式可知二者的转换方法为：式中，Z
c
是一个比例因子；[R T]是相机的外参矩阵；f是相机的
焦距；K是相机的内参矩阵；K的表达式为：式中，(d
x
,d
y
)是图像中每个像素对应的真实物理坐标系下区域的物理尺寸；(C
x
,C
y
)是像平面与相机光轴相交的像素的坐标，该坐标以像平面左上角为原点，以像素为坐标单位；多传感器之间的投影变换矩阵M可由下式定义：通常相机的内参矩阵是固定的，外参矩阵会随着相机的平移旋转而改变，包括微光、红外、激光雷达的多传感器经过集成后相对位置不再变化，因此相机的内外参都不会发生变化，此时只需要通过平面标定板获取多组对应点在不同坐标系下的坐标即可求得投影变换矩阵M。
[0011]所述的步骤2中的图像的内参标定方法具体包括以下步骤：
[0012]步骤2.1：相机成像原理：相机成像系统中，共包含四个坐标系：世界坐标系、相机坐标系、图像坐标系、像素坐标系，这四个坐标系之间的转化关系为：式中，(U,V,W)为在世界坐标系下一点的物理坐标；(u,v)为该点对应的在像素坐标系下的像素坐标；Z为尺度因子；相机内参矩阵为：内参矩阵取决于相机的内部参数，式中，f为像距；dX、dY分别表示X、Y方向上的一个像素在相机感光板上的物理长度；u0、v0分别表示相机感光板中心在像素坐标系下的坐标；θ表示感光板的横边和纵边之间的角度；相机外参矩阵为：外参矩阵取决于相机坐标系和世界坐标系的相对位置；R表示旋转矩阵；T表示平移矢量；即单点无畸变相机成像模型为：
[0013]相机标定的目的为：对一个成像系统建模，进而进行相应的计算，所必须的参数就是相机的内参矩阵
和相机的外参矩阵因此，相机标定的第一个目的就是获得相机的内参矩阵和外参矩阵；
[0014]步骤2.2：畸变与畸变矫正：相机拍摄的图片还存在一定的畸变，畸变包括桶形畸变和枕形畸变，畸变模型包括径向畸变和切向畸变，畸变公式为：式中，(x,y)、(x
′
,y
′
)分别为理想的无畸变的归一化的图像坐标、畸变后的归一化图像坐标；r为图像像素点到图像中心点的距离，即r2＝x2+y2；相机标定的第二个目的就是获得相机的畸变参数，如式(7)中的k1、k2、p1、p2，进而对拍摄的图片进行去畸变处理；
[0015]步骤2.3：张正友标定法。
[0016]所述的步骤2.3中的张正友标定法具体为：张正友标定法利用棋盘格标定板，在得到一张标定板的图像之后，可以利用相应的图像检测算法得到每一个角点的像素坐标(u,v)，张正友标定法将世界坐标系固定于棋盘格上，则棋盘格上任一点的物理坐标W＝0，标定板上每一个格子的大小是已知的，计算得到每一个角点在世界坐标系下的物理坐标(U,V,W＝0)，利用每一个角点的像素坐标(u,v)、每一个角点在世界坐标系下的物理坐标(U,V,W＝0)信息，来进行相机的标定，获得相机的内外参矩阵、畸变参数。
[0017]所述的步骤2.3中的张正友标定法标定相机的内外参数具体包括以下步骤：
[0018]步骤2.31：求解单应矩阵：棋盘平面和成像平面间的单应将一个平面映射到另一个平面，将棋盘格所在的平面映射到相机的成像平面，则有：p＝HP(8)，式中，p为棋盘格所成像的像点坐标(u,v)；P为棋盘格角点在世界坐标系的坐标(U,V,W＝0)；根据小孔相机模型，用齐次坐标系表示可以化简为：式中，R1、R2为旋转矩阵R的前两列；R3由于W＝0，直接消去；为了简便，将内参矩阵记为A，对于不同的图片，内参矩阵A为定值；对于同一张图片，内参矩阵A，外参矩阵(R1 R2 T)为定值；对于同一张图片上的单点，内参矩阵A，外参矩阵(R1 R2 T)，尺度因子Z为定值；根据公式(8)
‑
(9)，可得单应矩阵H为内参矩阵和外参矩阵的积H＝A(R1 R2 T),记矩阵H的三列为(H1 H2 H3)，则有：消去尺度因子Z，可得：
[0019]步骤2.32：求解内参矩阵：已知矩阵H＝A(R1 R2 T)，需要求解相机的内参矩阵A；利用R1、R2作为旋转矩阵R的两列，存在单位正交的关系，即：R1
T
R2＝0,R1
T
R1＝R2
T
R2＝1,则由H和R1、R2的关系，可知：R1＝A
‑1H1，R2＝A
‑1H2，代入可得：H1
T
A
‑
T
A
‑1H2＝0，H1
T
A
‑
T
A
‑1H1＝H2本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种变电站多传感器标定及数据融合方法，其特征在于：所述的方法包括以下步骤：步骤1：多传感器数据映射原理和映射关系；步骤2：图像的内参标定方法；步骤3：参数优化；步骤4：多个图像传感器的标定方法；步骤5：多传感器数据融合方法：包括同源数据融合算法和异源数据融合算法。2.如权利要求1所述的一种变电站多传感器标定及数据融合方法，其特征在于：所述的步骤1中的多传感器数据映射原理和映射关系具体为：多传感器数据之间的映射关系是实现多传感器数据融合的基础，为了获得二者的映射关系，首先应该确定多传感器之间的投影变换矩阵，这需要对多传感器之间的空间关系进行标定，采用特殊设计的标定物进行两传感器的联合标定；假设参考点X在三维激光雷达坐标系与图像像素坐标系下的位置分别为(X
w
,Y
w
,Z
w
)与(X
f
,Y
f
)，由相机成像方式可知二者的转换方法为：式中，Z
c
是一个比例因子；[R T]是相机的外参矩阵；f是相机的焦距；K是相机的内参矩阵；K的表达式为：式中，(d
x
,d
y
)是图像中每个像素对应的真实物理坐标系下区域的物理尺寸；(C
x
,C
y
)是像平面与相机光轴相交的像素的坐标，该坐标以像平面左上角为原点，以像素为坐标单位；多传感器之间的投影变换矩阵M可由下式定义：通常相机的内参矩阵是固定的，外参矩阵会随着相机的平移旋转而改变，包括微光、红外、激光雷达的多传感器经过集成后相对位置不再变化，因此相机的内外参都不会发生变化，此时只需要通过平面标定板获取多组对应点在不同坐标系下的坐标即可求得投影变换矩阵M。3.如权利要求1所述的一种变电站多传感器标定及数据融合方法，其特征在于：所述的步骤2中的图像的内参标定方法具体包括以下步骤：步骤2.1：相机成像原理：相机成像系统中，共包含四个坐标系：世界坐标系、相机坐标系、图像坐标系、像素坐标系，这四个坐标系之间的转化关系为：式中，(U,V,W)为在世界坐标系下一点的物理坐标；(u,v)为该点对应的在像素坐标系下的像素坐标；Z为尺度因子；相机内参
矩阵为：内参矩阵取决于相机的内部参数，式中，f为像距；dX、dY分别表示X、Y方向上的一个像素在相机感光板上的物理长度；u0、v0分别表示相机感光板中心在像素坐标系下的坐标；θ表示感光板的横边和纵边之间的角度；相机外参矩阵为：外参矩阵取决于相机坐标系和世界坐标系的相对位置；R表示旋转矩阵；T表示平移矢量；即单点无畸变相机成像模型为：相机标定的目的为：对一个成像系统建模，进而进行相应的计算，所必须的参数就是相机的内参矩阵和相机的外参矩阵因此，相机标定的第一个目的就是获得相机的内参矩阵和外参矩阵；步骤2.2：畸变与畸变矫正：相机拍摄的图片还存在一定的畸变，畸变包括桶形畸变和枕形畸变，畸变模型包括径向畸变和切向畸变，畸变公式为：式中，(x,y)、(x
′
,y
′
)分别为理想的无畸变的归一化的图像坐标、畸变后的归一化图像坐标；r为图像像素点到图像中心点的距离，即r2＝x2+y2；相机标定的第二个目的就是获得相机的畸变参数，如式(7)中的k1、k2、p1、p2，进而对拍摄的图片进行去畸变处理；步骤2.3：张正友标定法。4.如权利要求3所述的一种变电站多传感器标定及数据融合方法，其特征在于：所述的步骤2.3中的张正友标定法具体为：张正友标定法利用棋盘格标定板，在得到一张标定板的图像之后，可以利用相应的图像检测算法得到每一个角点的像素坐标(u,v)，张正友标定法将世界坐标系固定于棋盘格上，则棋盘格上任一点的物理坐标W＝0，标定板上每一个格子的大小是已知的，计算得到每一个角点在世界坐标系下的物理坐标(U,V,W＝0)，利用每一
个角点的像素坐标(u,v)、每一个角点在世界坐标系下的物理坐标(U,V,W＝0)信息，来进行相机的标定，获得相机的内外参矩阵、畸变参数。5.如权利要求4所述的一种变电站多传感器标定及数据融合方法，其特征在于：所述的步骤2.3中的张正友标定法标定相机的内外参数具体包括以下步骤：步骤2.31：求解单应矩阵：棋盘平面和成像平面间的单应将一个平面映射到另一个平面，将棋盘格所在的平面映射到相机的成像平面，则有：p＝HP(8)，式中，p为棋盘格所成像的像点坐标(u,v)；P为棋盘格角点在世界坐标系的坐标(U,V,W＝0)；根据小孔相机模型，用齐次坐标系表示可以化简为：式中，R1、R2为旋转矩阵R的前两列；R3由于W＝0，直接消去；为了简便，将内参矩阵记为A，对于不同的图片，内参矩阵A为定值；对于同一张图片，内参矩阵A，外参矩阵(R1 R2 T)为定值；对于同一张图片上的单点，内参矩阵A，外参矩阵(R1 R2 T)，尺度因子Z为定值；根据公式(8)
‑
(9)，可得单应矩阵H为内参矩阵和外参矩阵的积H＝A(R1 R2 T),记矩阵H的三列为(H1 H2 H3)，则有：消去尺度因子Z，可得：步骤2.32：求解内参矩阵：已知矩阵H＝A(R1 R2 T)，需要求解相机的内参矩阵A；利用R1、R2作为旋转矩阵R的两列，存在单位正交的关系，即：R1
T
R2＝0,R1
T
R1＝R2
T
R2＝1,则由H和R1、R2的关系，可知：R1＝A
‑1H1，R2＝A
‑1H2，代入可得：H1
T
A
‑
T
A
‑1H2＝0，H1
T
A
‑
T
A
‑1H1＝H2
T
A
‑
T
A
‑1H2＝1，上述两个约束方程中均存在矩阵A
‑
T
A
‑1，因此，记A
‑
T
A
‑1＝B，则B为对称阵，先求解出矩阵B，通过矩阵B再求解相机的内参矩阵A，同时，为了简便，我们记相机内参矩阵A为：则：则用矩阵A表示矩阵B得：
可以使用B＝A
‑
T
A
‑1将前面通过R1、R2单位正交得到的约束方程化为：记v
ij
＝[H
1i
H
1j H
1i
H
2j
+H
2i
H
1j H
2i
H
2j H
1i
H
3j
+H
3i
H
1j H
2i
H
3j
+H
3i
H
2j H
3i
H
3j
]
T
，b＝[B
11 B
12 B
22 B
13 B
23 B
33
]
T
，则上述方程化为：此时，通过R1、R2单位正交得到的约束方程可化为：即：其中，矩阵由于矩阵H已知，矩阵v又全部由矩阵H的元素构成，因此矩阵v已知，只要求解出向量b，即可得到矩阵B，每张标定板图片可以提供一个vb＝0的约束关系，该约束关系含有两个约束方程，但是，向量b有6个未知元素，因此，单张图片提供的两个约束方程是不足以解出来向量b，因此，需要取3张标定板照片，得到3个vb＝0的约束关系B，即6个方程，即可求解向量b；当标定板图片的个数大于3时，可采用SVD求解最小二乘拟合最佳的向量b，根据矩阵B的元素和相机内参α、β、γ、u0、v0的对应关系，如式(13)，可得到：γ＝
‑
B
12
α2β，即可求得相机的内参矩阵A；步骤2.33：求解外参矩阵：对于同一个相机，相机的内参矩阵取决于相机的内部参数，无论标定板和相机的位置关系是怎么样的，相机...

【专利技术属性】
技术研发人员：李明，杨秋月，黄健钊，杨嘉梁，王紫阳，张珂，袁航，栗苑师，张静，韩丰宇，韩峰，
申请(专利权)人：国网河南省电力公司南召县供电公司，
类型：发明
国别省市：