一种基于视觉感知的智能电网异物入侵检测方法及系统技术方案

本发明专利技术公开了一种基于视觉感知的智能电网异物入侵检测方法及系统，所述方法基于智能电网视频监控数据和入侵物体检测模型完成智能电网异物入侵检测；入侵物体检测模型的构建步骤包括：步骤1，对输入的具有先后关系的视频帧进行多级特征抽取，生成高阶特征图、低阶特征图；步骤2，利用特征图的上采样和特征图沿通道维度方向的级联操作进行特征融合；步骤3，采用自注意力机制，获得处理后的特征；步骤4，通过级联模块获取物体属于目标或背景的二分类结果和坐标位置；步骤5，利用分类器输出像素级分类结果，实现像素级检测。本发明专利技术能够完成智能电网异物入侵检测这一像素级分类任务，可解决现有技术中模型精度的技术问题。决现有技术中模型精度的技术问题。决现有技术中模型精度的技术问题。

【技术实现步骤摘要】
一种基于视觉感知的智能电网异物入侵检测方法及系统


[0001]本专利技术属于视频物体检测与视频分割
，特别涉及一种基于视觉感知的智能电网异物入侵检测方法及系统。

技术介绍

[0002]随着智能电网的快速发展，电网系统安全性的监控和维护变得越来越重要。输电杆和输电线路等电网设施极易遭受工程机械和施工车辆造成的入侵破坏。因此，异物入侵检测是实现电网系统实时监控和预警的关键环节。
[0003]目前，由于电网监控视频数据集的缺乏，基于视频数据的异物入侵检测模型的研究并没有大量展开。从整体上讲，现有的视频物体检测方法分为传统方法和深度卷积神经网络方法。传统方法的性能受限于传统特征抽取方法进展较为缓慢。近年来，随着深度学习在许多视觉任务上取得了不错的成果，基于卷积神经网络的视频物体检测的方法的提出促进了这一领域的发展，并在性能上超越了传统方法。
[0004]然而，不同的视频数据适用的物体检测方法也不尽相同，亟需一种新的基于视觉感知的智能电网异物入侵检测方法及系统。

技术实现思路

[0005]本专利技术的目的在于提供一种基于视觉感知的智能电网异物入侵检测方法及系统，以解决上述存在的一个或多个技术问题。本专利技术能够完成智能电网异物入侵检测这一像素级分类任务，可解决现有技术中模型精度的技术问题。
[0006]为达到上述目的，本专利技术采用以下技术方案：
[0007]本专利技术的一种基于视觉感知的智能电网异物入侵检测方法，基于智能电网视频监控数据和入侵物体检测模型完成智能电网异物入侵检测；
[0008]所述入侵物体检测模型的构建步骤包括：
[0009]步骤1，利用深度卷积神经网络作为主干模型对输入的具有先后关系的视频帧进行多级特征抽取，生成高阶特征图、低阶特征图；
[0010]步骤2，基于每帧内抽取的高阶特征和低阶特征，利用特征图的上采样和特征图沿通道维度方向的级联操作进行特征融合，获得融合后的特征；
[0011]步骤3，采用自注意力机制，利用帧内高阶特征图各像素位置上的特征关系，对帧内特征进行重新配准和对齐，使得特征包含帧内上下文的语义和位置信息，获得处理后的特征；
[0012]步骤4，基于步骤3获得的处理后的特征，通过级联模块获取物体属于目标或背景的二分类结果和坐标位置；
[0013]步骤5，将步骤4获得的二分类结果和坐标位置，利用分类器输出像素级分类结果，实现像素级检测。
[0014]本专利技术的进一步改进在于，步骤1具体包括：
[0015]步骤1.1，基于给定的标注过的视频数据集构建获得训练数据集；
[0016]步骤1.2，构建基于静态图像的深度卷积编码译码网络，利用已有的静态图像数据集进行预训练，使得深度卷积编码译码网络具备静态图像的显著性检测能力；
[0017]步骤1.3，采用ResNet作为主干网络，将ResNet中Conv3～Conv5的常规3
×
3卷积用可变形卷积来替代；其中，可变形卷积的计算表达式为：
[0018][0019]式中，x(p)和y(p)分别表示输入特征图x和输出特征图y中位置p的特征；ω
k
表示第k个位置的权重值，p表示初始位置，p
k
表示第k个位置的偏移量，Δp
k
表示可学习的偏移量，Δm
k
表示第k个位置的可学习调制标量；
[0020]步骤1.4，在预训练的主干网络基础上，对输入的视频帧分别抽取多尺度高阶与低阶特征表达，完成多级特征抽取。
[0021]本专利技术的进一步改进在于，步骤2中，利用多尺度特征金字塔网络结构，对帧内的多尺度特征进行特征融合；
[0022]其中，特征融合时采用自上而下的路径，包括：首先，为1x1卷积层应用高级特征图以减少通道数；然后，采用2x上采样操作来生成与低级特征图相同大小的特征图；最后，在特征金字塔层次结构下将高级特征图和低级特征图融合。
[0023]本专利技术的进一步改进在于，步骤3具体包括：
[0024]步骤3.1，利用抽取的高阶特征数据，构建像素级键值关系对儿以及输出特征，分别通过投影变换得到低维嵌入空间的特征表达；
[0025]步骤3.2，利用矩阵乘法获得像素级键值关系矩阵，并利用softmax函数得到像素i与其他相关像素间的关系权重并进行权重配分，输出注意力权重；
[0026]步骤3.3，利用输出的注意力权重，作用到输出特征上，实现特征的配准；通过引入残差链接，保证深层网络的信息流通畅以及训练时的梯度回传。
[0027]本专利技术的进一步改进在于，步骤4具体包括：
[0028]步骤4.1，在Mask R-CNN框架下采用级联RPN结构生成初始区域建议；
[0029]步骤4.2，基于初始区域建议，采用多级IoU阈值进行检测，获取物体分类和坐标位置。
[0030]本专利技术的一种基于视觉感知的智能电网异物入侵检测系统，基于入侵物体检测模型完成智能电网异物入侵检测；
[0031]所述入侵物体检测模型包括：
[0032]多级特征抽取模块，用于利用深度卷积神经网络作为主干模型对输入的具有先后关系的视频帧进行多级特征抽取，生成高阶特征图、低阶特征图；
[0033]特征融合模块，用于根据每帧内抽取的高阶特征和低阶特征，利用特征图的上采样和特征图沿通道维度方向的级联操作进行特征融合，获得融合后的特征；
[0034]自注意力模块，用于采用自注意力机制，利用帧内高阶特征图各像素位置上的特征关系，对帧内特征进行重新配准和对齐，使得特征包含帧内上下文的语义和位置信息，获得处理后的特征；
[0035]级联模块，用于根据自注意力模块获得的处理后的特征，获取物体属于目标或背
景的二分类结果和坐标位置；
[0036]分类器模块，用于将级联模块获得的二分类结果和坐标位置，利用分类器输出每个像素点上显著性的概率，实现像素级检测。
[0037]本专利技术的进一步改进在于，所述多级特征抽取模块包括：
[0038]视频帧数据准备子模块，用于根据给定的标注过的视频数据集构建获得训练数据集；
[0039]基于卷积神经网络编码译码结构的预训练子模块，用于构建基于静态图像的深度卷积编码译码网络，利用已有的静态图像数据集进行预训练，使得深度卷积编码译码网络具备静态图像的显著性检测能力；
[0040]复杂特征抽取子模块，用于采用ResNet作为主干网络，将ResNet中Conv3～Conv5的常规3
×
3卷积用可变形卷积来替代；其中，可变形卷积的计算表达式为：
[0041][0042]式中，x(p)和y(p)分别表示输入特征图x和输出特征图y中位置p的特征；ω
k
表示第k个位置的权重值，p表示初始位置，p
k
表示第k个位置的偏移量，Δp
k
表示可学习的偏移量，Δm
k
表示第k个位置的可学习本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉感知的智能电网异物入侵检测方法，其特征在于，基于智能电网视频监控数据和入侵物体检测模型完成智能电网异物入侵检测；所述入侵物体检测模型的构建步骤包括：步骤1，利用深度卷积神经网络作为主干模型对输入的具有先后关系的视频帧进行多级特征抽取，生成高阶特征图、低阶特征图；步骤2，基于每帧内抽取的高阶特征和低阶特征，利用特征图的上采样和特征图沿通道维度方向的级联操作进行特征融合，获得融合后的特征；步骤3，采用自注意力机制，利用帧内高阶特征图各像素位置上的特征关系，对帧内特征进行重新配准和对齐，使得特征包含帧内上下文的语义和位置信息，获得处理后的特征；步骤4，基于步骤3获得的处理后的特征，通过级联模块获取物体属于目标或背景的二分类结果和坐标位置；步骤5，将步骤4获得的二分类结果和坐标位置，利用分类器输出像素级分类结果，实现像素级检测。2.根据权利要求1所述的一种基于视觉感知的智能电网异物入侵检测方法，其特征在于，步骤1具体包括：步骤1.1，基于给定的标注过的视频数据集构建获得训练数据集；步骤1.2，构建基于静态图像的深度卷积编码译码网络，利用已有的静态图像数据集进行预训练，使得深度卷积编码译码网络具备静态图像的显著性检测能力；步骤1.3，采用ResNet作为主干网络，将ResNet中Conv3～Conv5的常规3
×
3卷积用可变形卷积来替代；其中，可变形卷积的计算表达式为：式中，x(p)和y(p)分别表示输入特征图x和输出特征图y中位置p的特征；ω
k
表示第k个位置的权重值，p表示初始位置，p
k
表示第k个位置的偏移量，Δp
k
表示可学习的偏移量，Δm
k
表示第k个位置的可学习调制标量；步骤1.4，在预训练的主干网络基础上，对输入的视频帧分别抽取多尺度高阶与低阶特征表达，完成多级特征抽取。3.根据权利要求1所述的一种基于视觉感知的智能电网异物入侵检测方法，其特征在于，步骤2中，利用多尺度特征金字塔网络结构，对帧内的多尺度特征进行特征融合；其中，特征融合时采用自上而下的路径，包括：首先，为1x1卷积层应用高级特征图以减少通道数；然后，采用2x上采样操作来生成与低级特征图相同大小的特征图；最后，在特征金字塔层次结构下将高级特征图和低级特征图融合。4.根据权利要求1所述的一种基于视觉感知的智能电网异物入侵检测方法，其特征在于，步骤3具体包括：步骤3.1，利用抽取的高阶特征数据，构建像素级键值关系对儿以及输出特征，分别通过投影变换得到低维嵌入空间的特征表达；步骤3.2，利用矩阵乘法获得像素级键值关系矩阵，并利用softmax函数得到像素i与其他相关像素间的关系权重并进行权重配分，输出注意力权重；步骤3.3，利用输出的注意力权重，作用到输出特征上，实现特征的配准；通过引入残差
链接，保证深层网络的信息流通畅以及训练时的梯度回传。5.根据权利要求1所述的一种基于视觉感知的智能电网异物入侵检测方法，其特征在于，步骤4具体包括：步骤4.1，在Mask R-CNN框架下采用级联RPN结构生成初始区域建议；步骤4.2，基于初始区域建议，采用多级IoU阈值进行检测，获取物体分类和坐标位置。6.一种基于视觉感知的智能电网异物入侵检测系统，其特征在于，基于入侵物体检测模型完成智能电网异物入侵检测；所述入侵物体检测模型包括：多级特征抽取模块，用于利用深度卷积神经...

【专利技术属性】
技术研发人员：孙浩飞，王南，高峰，刘阳，魏昊焜，郭安祥，王辰曦，张海军，李群，杨彪，
申请(专利权)人：哈尔滨工业大学深圳国家电网有限公司，
类型：发明
国别省市：