基于通道点云和监拍图像的数据融合方法及系统技术方案

本发明专利技术公开了一种基于通道点云和监拍图像的数据融合方法，包括由相机获取目标识别物的RGB格式彩色图像；采用加权平均法进行灰度化处理；对图像的灰度变化进行检测得到角点坐标；对角点坐标进行进一步精确得到亚像素级别角点坐标；对相机的参数矩阵进行标定；根据亚像素级别角点坐标和标定结果完成三维点云与二维图像之间的数据融合。本发明专利技术还公开了一种实现所述基于通道点云和监拍图像的数据融合方法的系统。本发明专利技术通过点云数据与图像数据之间数据的融合，能够完成目标物到导线的距离测量；而且本发明专利技术的可靠性高、实用性好且效率较高。高。高。

【技术实现步骤摘要】
基于通道点云和监拍图像的数据融合方法及系统


[0001]本专利技术属于数字图像处理领域，具体涉及一种基于通道点云和监拍图像的数据融合方法及系统。

技术介绍

[0002]随着经济技术的发展和人们生活水平的提高，电能已经成为了人们生产和生活中必不可少的二次能源，给人们的生产和生活带来了无尽的便利。因此，保障电能的稳定可靠供应，就成为了电力系统最重要的任务之一。
[0003]由于输电通道受外力破坏的影响，电网设备运行安全性降低，线路故障停电概率增大；因此，输电线路防外破工作已经成为当下线路运维工作的主要任务。现阶段，电网在输电线路杆塔上安装了大量的通道监拍装置，实现通道、设备本体、施工、车辆、树木生长、大棚等的远程监控；并在远端基于深度学习图像识别算法，实现施工机械、塔吊、吊车等的隐患目标的识别及告警。据统计，湖南地区现有监拍装置4万余套，日均告警量上万条。但是，现有这类设备及方案的告警有效率低，监控人员收到告警后，需要对识别目标物进行人工筛选；由于该图像无法量测目标物对输电线路的距离，最终会导致各类误报的发生。
[0004]目前，可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于通道点云和监拍图像的数据融合方法，包括如下步骤：S1.由相机获取目标识别物的RGB格式彩色图像；S2.对步骤S1获取的图像，采用加权平均法进行灰度化处理；S3.基于步骤S2得到的灰度图像，对图像的灰度变化进行检测，得到角点坐标；S4.对步骤S3得到的角点坐标进行进一步精确，得到亚像素级别角点坐标；S5.对步骤S1采用的相机的参数矩阵进行标定；S6.根据步骤S4得到的亚像素级别角点坐标和步骤S5得到的标定结果，完成三维点云与二维图像之间的数据融合。2.根据权利要求1所述的基于通道点云和监拍图像的数据融合方法，其特征在于步骤S2所述的对步骤S1获取的图像，采用加权平均法进行灰度化处理，具体包括如下步骤：采用如下算式对图像进行灰度化处理：Gay＝0.2989R+0.5870G+0.1140B式中Gay为灰度化处理后的灰度值；R为原始图像中的红色分量的值；G为原始图像中的绿色分量的值；B为原始图像中的蓝色分量的值。3.根据权利要求2所述的基于通道点云和监拍图像的数据融合方法，其特征在于步骤S3所述的基于步骤S2得到的灰度图像，对图像的灰度变化进行检测，得到角点坐标，具体包括如下步骤：设定一个固定大小的模板；以每个像素点为中心，沿任意方向移动，记录每次移动后模板内所有像素点的灰度值的和的变化量：若移动到某点后，此时模板内所有像素点的灰度值的和的变化量大于设定的阈值，则判定该点为角点；所述的变化量，采用如下步骤进行计算：设定矩阵M为其中ω(x,y)为高斯核函数；I
X
为灰度图像在X方向上的灰度梯度；I
Y
为灰度图像在Y方向上的灰度梯度；根据设定的矩阵M，计算得到变化量R为R＝det(M)
‑
k(trace(M))2，其中det(M)为矩阵M的行列式；trace(M)为矩阵M的迹；k为设定的经验系数。4.根据权利要求3所述的基于通道点云和监拍图像的数据融合方法，其特征在于步骤S4所述的对步骤S3得到的角点坐标进行进一步精确，得到亚像素级别角点坐标，具体包括如下步骤：设定起始角点Q
′
在亚像素角点Q的附近的设定范围内；亚像素角点Q附近的设定范围内点分为在边缘上的点和不在边缘上的点；亚像素角点Q与附近设定范围内的在边缘上的点P
i
之间的灰度梯度Sum表示为其中g
i
为点P
i
处的灰度，为梯度算子，为起始角点Q的坐标，为起始角点附近设定范围内的第i个在边缘上的点的坐标；然后，得到亚像素角点Q的迭代计算式为：
式中上标k表示第k次的迭代值；迭代时，将起始角点Q
′
的坐标作为初始值，然后通过迭代算式进行迭代计算，直至达到设定的迭代停止条件，最终得到亚像素级别角点坐标。5.根据权利要求4所述的基于通道点云和监拍图像的数据融合方法，其特征在于步骤S5所述的对步骤S1采用的相机的参数矩阵进行标定，具体包括如下步骤：设定三维世界空间点坐标为对应的二维相机平面像素点坐标为采用如下算式作为标定所用棋盘格平面与图像平面之间的单应性关系式：式中s为尺度因子标量；A为相机内参矩阵；R为旋转矩阵；t为平移向量；将世界坐标系的X
‑
Y平面建立在棋盘格平面上，此时Z＝0，则单应性关系式转换为其中H为单应性矩阵且H＝A[r
1 r
2 t]；将单应性矩阵H定义为H＝[h
1 h
2 h3]＝λA[r
1 r
2 t]，其中λ为计算参数；r1和r2为标准正交的向量，且存在如下约束：交的向量，且存在如下约束：然后，设定其中B为对称矩阵，由相机的5个内参数组成：α为成像平面的坐标x在水平方向上缩放倍数，β为成像平面的坐标y在在竖直方向上缩放倍数，u0为图像原点相对于光心成像点的的纵偏移量，v
o
为图像原点相对于光心成像点的的横偏移量，γ为图像物理坐标的扭曲因子；对称矩阵B的未知量表示为一个六维向量b，b＝[B
11 B
12 B
22 B
13 B
23 B
33
]
T
b＝[B

【专利技术属性】
技术研发人员：肖乔莎，杨嘉妮，丁虹宇，杨利波，朱紫奇，姚文灿，曾雅君，唐杰，刘兰兰，朱丽婷，彭沙沙，蒋智鹏，王振宇，
申请(专利权)人：国网湖南省电力有限公司超高压输电公司国家电网有限公司，
类型：发明
国别省市：