一种电力变电站的全景视频监控方法技术

本发明专利技术公开了一种电力变电站的全景视频监控方法。该方法针对电力变电站现场多摄像机拍摄角度差异较大的情况，首先对各摄像机拍摄图像进行焦距变换和视角变换，将各摄像机拍摄图像变换到统一视角成像平面，然后再进行全景图像拼接，最后在监控屏幕上展示，实现全景监控。其中，为了实现图像焦距变换和视角变换，首先对各摄像机进行标定获取摄像机参数，并在场景中设置标记以便于寻找匹配点，然后根据摄像机参数和匹配点实现图像变换。本发明专利技术解决了现有的基于特征点匹配的全景拼接技术往往仅考虑视角平行或差异较小的情况，而在拼接拍摄角度差异较大的图像时往往失效的问题。

Panoramic video monitoring method for power transformer station

The invention discloses a panoramic video monitoring method of an electric power transformer station. The method for power substation multi camera shooting angle difference, first of all the camera focal length image transformation and perspective transformation, the camera image to the unified view imaging plane, and then the panoramic image stitching, the display on the monitor screen, achieve panoramic monitoring. Among them, in order to achieve image zoom and perspective transformation, first on the camera calibration for camera parameters, and set the flag in the scene in order to find matching points, then according to the camera parameters and matching points of image transformation. The invention solves the problem that the existing panoramic stitching technology based on feature point matching often considers only the parallel or small difference of the angle of view, and often fails when stitching images with different shooting angles.

【技术实现步骤摘要】

：本专利技术涉及一种电力变电站的监控方法,特别是一种电力变电站的全景视频监控方法。
技术介绍
：电力系统设施具有高度危险性，为了保障电力变电站正常安全工作，需要实时对变电站场所进行视频监控，以便及时发现安全隐患，如危险目标入侵、火灾等，避免造成严重后果。然而，由于变电站场所范围较广，监控区域较多，因此需要架设多架摄像机进行监控。但多摄像机系统的监视画面较复杂，不利于监控人员及时发现险情所在位置，且现场指挥救援时需要直观清楚地把握变电站的整体情况，因此需要对多摄像机拍摄画面进行全景拼接和展示。在进行全景图像拼接之前，首先对各摄像机拍摄画面进行焦距调整和视角变换，将所有摄像机拍摄画面变换到近似统一的焦距和视角成像平面上，从而能够解决现有方法拼接失效的问题。本专利技术的
技术介绍
为计算机视觉中的单目摄像机三维场景标定和立体视觉中的投影变换技术，其理论基础是摄像成像模型。摄像机成像原理可以用小孔透视投影模型来描述，如图2所示，该模型中存在三种坐标系：世界坐标系、摄像机标系和图像坐标系。世界坐标系中的一个点P(Xw,Yw,Zw)在摄像坐标系中的对应位置为P(Xc,Yc,Zc)，该点在图像平面上的投影为图像坐标系中的点P(u,v)。三个点之间的变换关系可以用下面的式子来表示：式中，Mw叫做外参数矩阵，R为旋转矩阵，t为平移向量；Mn叫做内参数矩阵，和分别是图像平面水平和垂直方向归一化焦距，(u0,v0)是图像坐标系原点的像素坐标。求解摄像机参数通常采用张正友标定法，用待标定摄像机采集3幅以上标定图像（黑白格棋盘平面）即可获得摄像机的内参数。通过拍摄地面上摆放的位置固定的标记，可以标定摄像机外部参数和方向角。为了对摄像机拍摄画面进行视角变换，需要求解从目标摄像机坐标系向主视角平面的投影变换矩阵。选定一个摄像机视角为主视角，则目标摄像机和主视角摄像机所获取的图像满足极线几何约束关系，如图3所示。其中，C和C’分别是两个摄像机的光心，I和I’是两摄像机的成像平面，物理世界中的点X在成像平面上的成像点分别为x和x’，光心连线CC’叫做基线，基线与成像平面的交点分别为e和e’，叫做极点，点C，C’，x，x’，e，e’和X共面于，叫做极平面。极平面与成像平面相交的直线叫做极线。设x和x’对应的极线分别为l和l’。则I平面上的x点对应I’平面上的极线l’，同理I’平面上的x’点对应I平面上的极线l。极线约束关系描述如下：其中M0和M1分别是图像I和I’的透视变换矩阵，可由两个摄像机的参数得到，e=[ex,ey,ez]T是极点e的坐标，[e]x是e的反对称矩阵。其中叫做基本矩阵，满足关系：。只要获得基本矩阵就能得到从一个摄像机图像平面到另一个摄像机图像平面的投影变换矩阵，进而实现摄像机间视角变换。基本矩阵包含8个独立参数，因此需要找到两个图像中至少8对匹配点来求解，通常使用8点法来求解基本矩阵。此外，由于存在匹配误差，还需要增加更多的匹配点来从中优选一个基本矩阵使匹配误差最小化，这里可以使用RANSAC算法来求解。由于变电站场景电力设施分布情况复杂，监控摄像机架设限于地理因素，其位置和拍摄角度差异较大，这给全景拼接带来较大困难。现有的基于特征点匹配的全景拼接技术往往仅考虑视角平行或差异较小的情况，而在拼接拍摄角度差异较大的图像时往往失效。
技术实现思路
：本专利技术目的在于提供一种电力变电站的全景视频监控方法，解决现有的基于特征点匹配的全景拼接技术往往仅考虑视角平行或差异较小的情况，而在拼接拍摄角度差异较大的图像时往往失效的问题。一种电力变电站的全景视频监控方法，其具体步骤为：第一步.搭建电力变电站全景视频监控系统电力变电站全景视频监控系统，包括:摄像机以及计算机，所述摄像机的数量是2-4个,所述计算机,包括:数据采集模块、图像预处理模块、标识识别模块、摄像机立体标定模块和图像融合与显示模块。数据采集模块的功能为：解析从摄像头传输过来的图像数据并存储数据供后续的模块调用；图像预处理模块的功能为：对原始的图像数据进行滤波、对比度拉伸、直方图均衡操作；标识识别模块的功能为：使用图像处理识别出预先摆放好的标记，并且获取标记在图像中的精确坐标；摄像机立体标定模块的功能为：根据识别出的标识的坐标计算两个摄像机之间的基本矩阵，根据基本矩阵完成图像的视角变换，将不同视角的图片统一到同一个视角上，并且在此基础上完成图像的配准；图像融合与显示模块的功能为：使用多波段融合方式将视角变换后的多张图像融合为一张完整的全景图像，最后根据实际情况调整全景图像的显示视角。摄像机的安装位置要保证相邻的两个摄像机至少有20%的画面重叠。摄像机的输出数据线与计算机的网口相连。计算机将计算好的全景视频画面输出到控制中心的屏幕上。当计算机的网口数量小于摄像机的数量时，需要使用交换机将多个摄像机的图像数据汇总后再与计算机的网口相连。计算机将计算好的全景视频画面输出到控制中心的屏幕上。摄像机的输出数据线与交换机的网口相连，交换机的网口与计算机的网口相连。另外在实际的室内场景中要根据摄像机中的视野，在相邻摄像机的重叠区域摆放用于识别的标记。第二步.数据采集模块采集数据并标定摄像机对架设好的多台摄像机，通过数据采集模块读入图像数据，然后用图像预处理模块对图像数据进行滤波、对比度拉伸、直方图均衡处理。采用张正友标定法通过数据采集模块读入图像数据，对摄像机进行标定和求解摄像机内部参数。第三步.摄像机图像视角变换比较各摄像机间的重合区域和覆盖面积，从中选取覆盖面积最广且与其他摄像机图像重合区域最多的摄像机作为主视角摄像机，其对应视角作为主视角。在监控场景中粘贴颜色形状各异的醒目标记，并保证每个摄像机与主视角摄像机的重合区域中包含超过10个标记。这样，两个摄像机中同一标记中心位置处为一对匹配点。标记识别模块识别和定位图像中的标记物。然后摄像机立体标定模块求得摄像机视角变换所需的基本矩阵。首先对各摄像机拍摄图像做焦距调整伸缩变换，使各摄像机画面变换到同一焦距平面上。然后在摄像机拍摄图像上检测标记匹配点，再结合摄像机参数，使用8点求解法和RANSAC算法来求解各摄像机最佳投影变换矩阵，对各图像做视角调整。第四步图像融合与显示模块进行全景图像拼接图像融合与显示模块处理视角变换过之后的图像。使用基于SIFT特征提取的图像匹配技术对视角变换后的各摄像机图像进行图像配准、定位和图像融合，形成全景图像，采用插值技术对图像匹配中缺失的部分进行修补。至此，完成了电力变电站的全景视频监控。现有的基于特征点匹配的全景拼接技术无法实现电力变电站场景中摄像机的图像拼接工作，因为现有技术需要图像重叠的部分信息差异很小，这就要求拍摄图像的摄像机之间的相对位置相对于相机与拍摄的物体之间的距离可以忽略不计或者所拍摄的物体含有很少的立体物信息，但是显然在电力变电站场景中不满足以上要求。本专利技术通过借助标识物获取摄像机相对视角的方法不依赖于现实场景本身的信息，可以有效的解决该问题。附图说明图1一种电力变电站的全景视频监控方法中全景图像拼接系统的结构图；图2一种电力变电站的全景视频监控方法中所述摄像机成像模型中的世界坐标系、摄像机标系和图像坐标系；图3一种电力变电站的全景视频监控方法中所述立体视觉中的极线几何约束关系示意图；图本文档来自技高网...

【技术保护点】
一种电力变电站的全景视频监控方法，其特征在于具体步骤为：第一步.搭建电力变电站全景视频监控系统电力变电站全景视频监控系统，包括:摄像机以及计算机，所述摄像机的数量是2‑4个,所述计算机,包括:数据采集模块、图像预处理模块、标识识别模块、摄像机立体标定模块和图像融合与显示模块；数据采集模块的功能为：解析从摄像头传输过来的图像数据并存储数据供后续的模块调用；图像预处理模块的功能为：对原始的图像数据进行滤波、对比度拉伸、直方图均衡操作；标识识别模块的功能为：使用图像处理识别出预先摆放好的标记，并且获取标记在图像中的精确坐标；摄像机立体标定模块的功能为：根据识别出的标识的坐标计算两个摄像机之间的基本矩阵，根据基本矩阵完成图像的视角变换，将不同视角的图片统一到同一个视角上，并且在此基础上完成图像的配准；图像融合与显示模块的功能为：使用多波段融合方式将视角变换后的多张图像融合为一张完整的全景图像，最后根据实际情况调整全景图像的显示视角；摄像机的安装位置要保证相邻的两个摄像机至少有20%的画面重叠；摄像机的输出数据线与计算机的网口相连；计算机将计算好的全景视频画面输出到控制中心的屏幕上；另外在实际的室内场景中要根据摄像机中的视野，在相邻摄像机的重叠区域摆放用于识别的标记；第二步.数据采集模块采集数据并标定摄像机对架设好的多台摄像机，通过数据采集模块读入图像数据，然后用图像预处理模块对图像数据进行滤波、对比度拉伸、直方图均衡处理；数据采集模块采用张正友标定法读入图像数据，对摄像机进行标定和求解摄像机内部参数；第三步.摄像机图像视角变换比较各摄像机间的重合区域和覆盖面积，从中选取覆盖面积最广且与其他摄像机图像重合区域最多的摄像机作为主视角摄像机，其对应视角作为主视角；在监控场景中粘贴颜色形状各异的醒目标记，并保证每个摄像机与主视角摄像机的重合区域中包含超过10个标记；这样，两个摄像机中同一标记中心位置处为一对匹配点；标记识别模块识别和定位图像中的标记物；然后摄像机立体标定模块求得摄像机视角变换所需的基本矩阵；首先对各摄像机拍摄图像做焦距调整伸缩变换，使各摄像机画面变换到同一焦距平面上；然后在摄像机拍摄图像上检测标记匹配点，再结合摄像机参数，使用8点求解法和RANSAC算法来求解各摄像机最佳投影变换矩阵，对各图像做视角调整；第四步 图像融合与显示模块进行全景图像拼接图像融合与显示模块处理视角变换过之后的图像；使用基于SIFT特征提取的图像匹配技术对视角变换后的各摄像机图像进行图像配准、定位和图像融合，形成全景图像，采用插值技术对图像匹配中缺失的部分进行修补；至此，完成了电力变电站的全景视频监控。...

【技术特征摘要】
1.一种电力变电站的全景视频监控方法，其特征在于具体步骤为：第一步.搭建电力变电站全景视频监控系统电力变电站全景视频监控系统，包括:摄像机以及计算机，所述摄像机的数量是2-4个,所述计算机,包括:数据采集模块、图像预处理模块、标识识别模块、摄像机立体标定模块和图像融合与显示模块；数据采集模块的功能为：解析从摄像头传输过来的图像数据并存储数据供后续的模块调用；图像预处理模块的功能为：对原始的图像数据进行滤波、对比度拉伸、直方图均衡操作；标识识别模块的功能为：使用图像处理识别出预先摆放好的标记，并且获取标记在图像中的精确坐标；摄像机立体标定模块的功能为：根据识别出的标识的坐标计算两个摄像机之间的基本矩阵，根据基本矩阵完成图像的视角变换，将不同视角的图片统一到同一个视角上，并且在此基础上完成图像的配准；图像融合与显示模块的功能为：使用多波段融合方式将视角变换后的多张图像融合为一张完整的全景图像，最后根据实际情况调整全景图像的显示视角；摄像机的安装位置要保证相邻的两个摄像机至少有20%的画面重叠；摄像机的输出数据线与计算机的网口相连；计算机将计算好的全景视频画面输出到控制中心的屏幕上；另外在实际的室内场景中要根据摄像机中的视野，在相邻摄像机的重叠区域摆放用于识别的标记；第二步.数据采集模块采集数据并标定摄像机对架设好的多台摄像机，通过数据采集模块读入图像数据，然后用图像预处理模块对图像数据进行滤波、对比度拉伸、直方图均衡处理；数据采集模块采用张正友...

【专利技术属性】
技术研发人员：陈晓刚，牟轩沁，崔建业，刘伟浩，陈炜，王超，潘坚跃，祝春捷，尤敏，俞旻慧，王伟，施松阳，
申请(专利权)人：国网浙江省电力公司杭州供电公司，西安交通大学，
类型：发明
国别省市：浙江;33