基于双目视觉的输电通道隐患物识别追踪方法技术

一种基于双目视觉的输电通道隐患物识别追踪方法，包括：收集输电线路可视化巡检系统中的监拍数据，构造输电线路及输电通道常见外破隐患样本数据集；构建基于双目视觉的左右目图像隐患识别追踪的模型：利用深度学习和双目视觉技术，对输入的双目视觉信息进行卷积以及左右目关联通路操作；对初始模型检测出的左右目图像隐患物分割轮廓与数据集中的真实分割轮廓进行损失计算，并进行迭代优化，直至整个损失函数完全收敛；将训练完成的模型投入测试与使用，接收双目视觉输入，即实现隐患物识别和追踪。本发明专利技术解决海量可视化图像后台人工判图工作量大的问题；同时实现对线路通道小样本隐患的精准识别，以及对隐患与线路之间安全距离的智能计算。

【技术实现步骤摘要】
基于双目视觉的输电通道隐患物识别追踪方法
本专利技术公开一种基于双目视觉的输电通道隐患物识别追踪方法，属于智能电网中的全息感知

技术介绍
随着现代电力系统的不断发展与进步，输电网规模越来越大，输电线及输电通道外破隐患(包括机械外破、烟雾山火、异物入侵、导地线异物、输电线覆冰和舞动等外部风险)成为全国范围内输电线路发生故障的主要原因。以上隐患发生后，易导致输电线故障和大面积停电，最终带来难以估量的经济损失。为有效解决上述技术问题，若干地区开始进行输电线路可视化建设，安装可视化监拍装置，建立了输电线路可视化巡检系统。然而，目前已投入运行的输电线路可视化巡检系统每年会产生海量图片，如果由人工逐一监视，会耗费大量人力物力；而且该系统对轻量烟火、导地线异物等小样本外破隐患的识别准确率较低，缺乏对隐患源与线路之间安全距离的自动计算。中国专利文献CN108665484A一种基于深度学习的危险源识别方法与系统，所述方法包括：S1、将摄像机采集到的图像以固定速率传输至后台服务器；S2、后台服务器将采集到的图像利用深度学习算法求得特征，以该特征作为运动图像的检测条件；S3、将所述特征输入系数字典，根据最优化稀疏表示求解得到运动目标；S4、利用双目视觉对由稀疏表示求得的运动特征进行定位，实现危险源识别。该专利文献解决了现有技术下输变电线路的危险源识别难度大的问题，有效降低了人工提取危险源特征的劳动复杂度，其对特征的表达较其他方法更加完整有效，最终实现对危险源运动特征的定位，保护输变电线路安全。但是该文献是用系数字典来得到运动目标，因此并不能精准识别输电线路隐患物，同时缺乏对隐患源与输电线之间安全距离的自动计算。
技术实现思路
针对现有技术的不足，本专利技术公开一种基于双目视觉的输电通道隐患物识别追踪方法。本专利技术基于人工智能和双目视觉技术，解决海量可视化图像后台人工判图工作量大的问题；同时实现对输电线路及输电通道小样本外破隐患的精准识别，以及对隐患与线路之间安全距离的智能计算，进而提升线路巡视效率和质量，保证输电线路长期安全稳定地运行。专业术语解释：双目视觉、深度神经网络、卷积神经网络、损失函数双目视觉：机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，可以充分利用采集到的视觉流信息。深度神经网络：深度神经网络是在输入层和输出层之间具有多个隐藏层的人工神经网络。神经网络由许多相互关联的概念化的人造神经元组成，这些人造神经元之间可以互相传递数据，并且根据网络调整相关权重。卷积神经网络：是一类包含卷积计算且具有深度结构的神经网络，能够按其阶层结构对输入信息进行平移不变的分类，因此适用于图像分类以及图像识别的任务。损失函数：在机器学习中用来定义当前模型与最优模型的误差指标，可以通过计算各权重对应损失函数的微分来进行权重更新及优化。本专利技术的技术方案如下：基于双目视觉的输电通道隐患物识别追踪方法，其特征在于，包括以下步骤：S1:收集输电线路可视化巡检系统中的监拍数据，构造输电线路及输电通道常见外破隐患样本数据集；S2:构建基于双目视觉的左右目图像隐患识别追踪的模型：利用深度学习和双目视觉技术，对输入的双目视觉信息进行卷积以及左右目关联通路操作；S3:利用步骤S2的模型，对初始模型检测出的左右目图像外破隐患分割轮廓与数据集中的真实分割轮廓进行损失计算，并进行迭代优化，直至整个损失函数完全收敛；S4:将训练完成的模型投入测试与使用，接收双目视觉输入，即实现外破隐患识别追踪。根据本专利技术优选的，所述步骤S1构造输电线路及输电通道常见外破隐患样本数据集的方法包括：S11:采样双目监控视频数据，采样的范围包括但不限于：山火以及异物等隐患源监控视频；优选的，过滤掉像素分辨率较低的视频以提升识别模型的训练效果；S12:对山火以及异物等隐患源进行人工标注，记录隐患源的位置及轮廓并保存数据标签，则数据集构建完毕；所述数据集可以用来进行后续的训练。根据本专利技术优选的，所述步骤S2构建基于双目视觉的左右目图像隐患识别追踪的模型的方法包括：S21:所述模型接收左目图像L与右目图像R，使用预训练的深度卷积神经网络ResNet分别获取特征图Flm＝ResNet(L),Frm＝ResNet(R)；S22:将获取的特征图Flm和Frm通过6个不同尺度的池化卷积模块，Pooli(Convi())，i＝{1,2,3,4,5,6}，得到Mli＝Pooli(Convi(Flm))和Mri＝Pooli(Convi(Frm))，这里Pool指不同尺度的池化操作，Conv指不同的卷积操作，下标i代表不同尺度，分别为1、2、3、4、5和6；S23:分别对每个Mli和Mri进行上采样操作，得到上采样本Uli＝UpSample(Mli),Uri＝UpSample(Mri),i＝{1,2,3,4,5,6}；S24:构建双目视觉左右目关联通路：接收左目图像特征图Flm与右目图像特征图Frm，并进行合并操作得到合并特征图Fc＝Concat(Flm,Frm)，对得到的Fc进行尺度为1的池化卷积操作，并同样进行上采样，得到：左右目关联特征z＝UpSample(Pool1(Conv1(Fc)))，其中UpSample(·)代表上采样操作，Pool1(Conv1(·))代表尺度为1的池化卷积操作；S25:分别对左目各个上采样本Uli及关联特征z，和右目各个上采样本Uri及关联特征z进行合并操作，得到：左目合并张量Cl＝Concat(Ul1,Ul2,Ul3,Ul4,Ul5,Ul6,z)和右目合并张量Cr＝Concat(Ur1,Ur2,Ur3,Ur4,Ur5,Ur6,z)；S26:对得到的合并张量Cl和Cr进行一层卷积及Softmax操作，得到最终的隐患物位置与轮廓的概率左目预测信息PL＝Softmax(Conv(Cl))与右目预测信息PR＝Softmax(Conv(Cr))。根据本专利技术优选的，所述步骤S3具体包括：S31:利用数据集对所述步骤S2的模型进行训练：从数据集中选取总帧数为n的视频流，获取双目视觉的左目视频流L1,L2,...,Ln和隐患物位置及轮廓的标签信息L'1,L'2,...,L'n，右目视频流R1,R2,...,Rn和隐患物位置及轮廓的标签信息R'1,R'2,...,R'n；S32：将双目视频流的每一左目帧Li和右目帧Ri输入到初始隐患物识别追踪模型中，分别得到最终的预测信息PLi和PRi，分别计算二者的损失函数和其中N为单目图像像素点总数，j为遍历单目图像像素索引，L'ij和R'ij分别为左目和右目真实标签信息；S33：利用双目立体视觉技术，根据视差原理对每一左目帧Li和右目帧Ri构建世界的三维几何信息，遍历三维几何世界的信息点，对于每一个公共三维点(x,y,z)，都会有对应的二维左目帧坐本文档来自技高网...

【技术保护点】
1.基于双目视觉的输电通道隐患物识别追踪方法，其特征在于，包括以下步骤：/nS1:收集输电线路可视化巡检系统中的监拍数据，构造输电线路及输电通道常见外破隐患样本数据集；/nS2:构建基于双目视觉的左右目图像隐患识别追踪的模型：利用深度学习和双目视觉技术，对输入的双目视觉信息进行卷积以及左右目关联通路操作；/nS3:利用步骤S2的模型，对初始模型检测出的左右目图像外破隐患分割轮廓与数据集中的真实分割轮廓进行损失计算，并进行迭代优化，直至整个损失函数完全收敛；/nS4:将训练完成的模型投入测试与使用，接收双目视觉输入，即实现外破隐患识别追踪。/n

【技术特征摘要】
1.基于双目视觉的输电通道隐患物识别追踪方法，其特征在于，包括以下步骤：
S1:收集输电线路可视化巡检系统中的监拍数据，构造输电线路及输电通道常见外破隐患样本数据集；
S2:构建基于双目视觉的左右目图像隐患识别追踪的模型：利用深度学习和双目视觉技术，对输入的双目视觉信息进行卷积以及左右目关联通路操作；
S3:利用步骤S2的模型，对初始模型检测出的左右目图像外破隐患分割轮廓与数据集中的真实分割轮廓进行损失计算，并进行迭代优化，直至整个损失函数完全收敛；
S4:将训练完成的模型投入测试与使用，接收双目视觉输入，即实现外破隐患识别追踪。


2.根据权利要求1所述的一种基于双目视觉的输电通道隐患物识别追踪方法，其特征在于，所述步骤S1构造输电线路及输电通道常见外破隐患样本数据集的方法包括：
S11:采样双目监控视频数据，采样的范围包括但不限于：山火以及异物等隐患源监控视频；
S12:对山火以及异物等隐患源进行人工标注，记录隐患源的位置及轮廓并保存数据标签，则数据集构建完毕。


3.根据权利要求1所述的一种基于双目视觉的输电通道隐患物识别追踪方法，其特征在于，所述步骤S2构建基于双目视觉的左右目图像隐患识别追踪的模型的方法包括：
S21:所述模型接收左目图像L与右目图像R，使用预训练的深度卷积神经网络ResNet分别获取特征图Flm＝ResNet(L),Frm＝ResNet(R)；
S22:将获取的特征图Flm和Frm通过6个不同尺度的池化卷积模块，Pooli(Convi())，i＝{1,2,3,4,5,6}，得到Mli＝Pooli(Convi(Flm))和Mri＝Pooli(Convi(Frm))，这里Pool指不同尺度的池化操作，Conv指不同的卷积操作，下标i代表不同尺度，分别为1、2、3、4、5和6；
S23:分别对每个Mli和Mri进行上采样操作，得到上采样本Uli＝UpSample(Mli),Uri＝UpSample(Mri),i＝{1,2,3,4,5,6}；
S24:构建双目视觉左右目关联通路：接收左目图像特征图Flm与右目图像特征图Frm，并进行合并操作得到合并特征图Fc＝Concat(Flm,Frm)，对得到的Fc进行尺度为1的池化卷积操作，并同样进行上采样，得到：
左右目关联特征z＝UpSample(Pool1(Conv1(Fc)))，其中UpSample(·)代表上采样操作，Pool1(Conv1(·))代表尺度为1的池化卷积操作；
S25:分别对左目各个上采样本Uli及关联特征z，和右目各个上采样本Uri及关联特征z...

【专利技术属性】
技术研发人员：聂礼强，郑晓云，姚一杨，战新刚，孙腾，尉寅玮，
申请(专利权)人：山东大学，国网浙江省电力有限公司衢州供电公司，国网浙江省电力有限公司，智洋创新科技股份有限公司，
类型：发明
国别省市：山东;37