基于人工智能与单目视觉的电力设备检测、测距及预警方法技术

一种基于人工智能与单目视觉的电力设备检测、测距及预警方法，依次通过采集、构建、映射、预测、判断和预警的多个步骤，结合2D掩膜与映射关系，得到目标的3D点云，并根据虚拟距离与实际距离的转换比，完成电力设备与人的最小距离预测，根据标准中对高压设备安全距离的规定，自动判断人员是否存在危险并预警，基于带电设备的结构特性，利用预测的最小距离以及三角几何关系，计算设备带电部位与人的距离，再根据南方电网企业标准中对人与带电体的安全距离的规定，判断人员是否存在危险并预警。该方法充分利用单目相机低成本、易部署、易维护的特点，实现带电设备的实时测距及安全预警。实现带电设备的实时测距及安全预警。实现带电设备的实时测距及安全预警。

【技术实现步骤摘要】
基于人工智能与单目视觉的电力设备检测、测距及预警方法


[0001]本专利技术属于电力设备安全监测
，涉及一种基于人工智能与单目视觉的电力设备检测、测距及预警方法。

技术介绍

[0002]工作人员的安全监控在电力系统运行与建设中至关重要，尽管带电高压设备周围一般会有警告标志、围栏或者预防触电的措施，但是这种方法过于被动，可能会由于保护措施被破坏或者工作人员精神懈怠等原因，而不能及时进行警告。这样不仅会产生巨大经济损失，也会造成人员伤亡。因此，对变电设备周围的工作人员进行实时的安全距离监测，及时发出警告，显得尤为重要。
[0003]近年来，计算机视觉技术以及深度学习方法的快速发展大大提高了目标识别和检测的效率，已经成为电力领域视觉检测的研究热点，但是大多数基于电力设备视觉检测的研究主要还是关注二维目标的检测，由于缺少一个维度的信息，所以不能直接用于三维空间中目标的检测与测距。
[0004]当前获取场景三维信息的技术主要是通过双目视觉和激光雷达(LiDAR)实现，而在实际电力场景中，双目相机存在体积大、立体匹配所需计算量大、预测距离受双目基线限制的问题，当图像的纹理不够明显时，它很难铺捉到足够的特征用于双目的匹配；作为一种主动测量技术，LiDAR不适用于实时监测任务中，并且价格极其昂贵。因此，需要一种低成本、易部署且便捷有效的三维测距方案用于带电设备安全距离的测量及预警。

技术实现思路

[0005]本专利技术所要解决的技术问题是提供一种基于人工智能与单目视觉的电力设备检测、测距及预警方法，通过结合实例分割、深度估计、深度重构、反投影技术完成电力设备与运维人员三维距离的自动预测，分割出精细化的电力设备与“person”目标掩膜，实现带电设备安全距离的自动测量及安全预警，进一步避免触电事故、减少人员伤亡。
[0006]为解决上述技术问题，本专利技术所采用的技术方案是：一种基于人工智能与单目视觉的电力设备检测、测距及预警方法，它包括如下步骤：
[0007]S1，采集，采集电力设备与运维人员图像，并对获取的图像进行预处理，与提取的COCO
‑
person数据形成有效的图像数据集；
[0008]S2，构建，构建改进的SOLOv2实例分割模型，用于检测和分割精细化的电力设备与人员掩膜；
[0009]S3，映射，基于相机的反投影变换，利用Diversedepth网络与点云编码器网络预测深度值与虚拟焦距，获得2D与3D的映射关系；
[0010]S4，预测，结合2D掩膜与映射关系，得到目标的3D点云，并根据虚拟距离与实际距离的转换比，完成电力设备与人的最小距离预测；
[0011]S5，判断，根据标准中对高压设备安全距离的规定，自动判断人员是否存在危险并
预警；
[0012]S6，预警，基于带电设备的结构特性，利用预测的最小距离以及三角几何关系，计算设备带电部位与人的距离，再根据南方电网企业标准中对人与带电体的安全距离的规定，判断人员是否存在危险并预警，从而实现带电设备的实时测距及安全预警。
[0013]在S1中，对图像进行预处理包括筛选原始的电力设备图像、对图像进行镜像对称等数据扩充操作，并利用EISeg工具对电力设备和“person”目标进行掩膜标注；COCO
‑
person数据是从COCO_val2014数据集中单独剥离出部分包含“person”目标的数据所构成的，包括图像及标签。
[0014]在S2中，对SOLOv2模型的骨干网络、颈部以及检测头三部分进行改进优化：
[0015]S2
‑
1，在特征提取网络ResNet50中引入Res2Net、ResNet
‑
c和ResNet
‑
d三种结构对模型进行优化，以提升模型的特征提取能力并减少计算量；其中，ResNet
‑
c和ResNet
‑
d结构减少网络的权值参数和特征图的信息缺失，Res2Net结构进一步扩大网络层的感受野；
[0016]S2
‑
2，将原本的特征融合模块FPN替换为性能更优的加权双向特征金字塔网络BiFPN结构，以进一步提升模型对多尺度特征的融合能力；
[0017]S2
‑
3，在SOLO检测头中引入可变卷积DCNv2，DCNv2提高模型对目标几何形变的建模能力，让模型更准确的预测目标的区域。
[0018]利用迁移学习在构建的数据集上对改进的SOLOv2模型进行训练，其中训练的损失函数包括如下的分类损失和掩膜损失两种：
[0019][0020]其中：
[0021][0022]式中，L
cls
是用于语义类别分类的Focal loss函数，L
mask
是基于Dice loss函数的掩膜预测损失，α
c
为第c类样本的权重因子，用于平衡正负样本不均，取值范围为[0,1]，γ是调节难易样本计算权重的系数，其值大于等于0，t
c
表示利用Softmax激活函数输出的第c类样本的预测概率，n
p
是正样本个数，是原图(i,j)位置的实例类别得分，f是指示函数，当时f取1，否则取0，P
k
和G
k
分别表示掩膜k的预测像素矩阵和真实像素矩阵，L
Dice
表示Dice损失函数，D(p,q)表示矩阵p,q对应的Dice系数，(x,y)表示原图(i,j)位置对应的特征图坐标，p
x,y
和q
x,y
为特征图中(x,y)位置预测的掩膜像素值和真实的掩膜像素值；在模型训练完后，利用测试集对模型进行测试。
[0023]在S3中，相机的反投影变换由如下相机坐标系转换关系推论出：
[0024][0025]其中，(X
w
,Y
w
,Z
w
)为世界坐标系坐标，(X
c
,Y
c
,Z
c
)为相机坐标系坐标、(x,y)为图像坐标系坐标、(u,v)为像素坐标系坐标，旋转矩阵R和平移向量T为相机的外参，f
x
,f
y
,u0,v0为相机的内参，其中，f为相机焦距以mm为单位，(dx dy分别为一个像素在图像坐标轴x,y方向的物理尺寸)，f
x
＝f/dx，它是相机在x轴上的焦距，f
y
＝f/dy，它是相机在y轴上的焦距，(u0,v0)为相机光心对应的像素点坐标。
[0026]单目视觉下，设定世界坐标系与相机坐标系重合，即不考虑旋转(R)、平移(T)操作，忽略矩阵运算中外参矩阵M2。然后计算得到单目下世界坐标(X
w
,Y
w
,Z
w
)与像素坐标(u,v)的换算公式，即反投影变换公式为：
[0027][0028]式中，Z...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能与单目视觉的电力设备检测、测距及预警方法，其特征是，它包括如下步骤：S1，采集，采集电力设备与运维人员图像，并对获取的图像进行预处理，与提取的COCO
‑
person数据形成有效的图像数据集；S2，构建，构建改进的SOLOv2实例分割模型，用于检测和分割精细化的电力设备与人员掩膜；S3，映射，基于相机的反投影变换，利用Diversedepth网络与点云编码器网络预测深度值与虚拟焦距，获得2D与3D的映射关系；S4，预测，结合2D掩膜与映射关系，得到目标的3D点云，并根据虚拟距离与实际距离的转换比，完成电力设备与人的最小距离预测；S5，判断，根据标准中对高压设备安全距离的规定，自动判断人员是否存在危险并预警；S6，预警，基于带电设备的结构特性，利用预测的最小距离以及三角几何关系，计算设备带电部位与人的距离，再根据南方电网企业标准中对人与带电体的安全距离的规定，判断人员是否存在危险并预警，从而实现带电设备的实时测距及安全预警。2.根据权利要求1所述的基于人工智能与单目视觉的电力设备检测、测距及预警方法，其特征是：在S1中，对图像进行预处理包括筛选原始的电力设备图像、对图像进行镜像对称等数据扩充操作，并利用EISeg工具对电力设备和“person”目标进行掩膜标注；COCO
‑
person数据是从COCO_val2014数据集中单独剥离出部分包含“person”目标的数据所构成的，包括图像及标签。3.根据权利要求1所述的基于人工智能与单目视觉的电力设备检测、测距及预警方法，其特征是：在S2中，对SOLOv2模型的骨干网络、颈部以及检测头三部分进行改进优化：S2
‑
1，在特征提取网络ResNet50中引入Res2Net、ResNet
‑
c和ResNet
‑
d三种结构对模型进行优化，以提升模型的特征提取能力并减少计算量；其中，ResNet
‑
c和ResNet
‑
d结构减少网络的权值参数和特征图的信息缺失，Res2Net结构进一步扩大网络层的感受野；S2
‑
2，将原本的特征融合模块FPN替换为性能更优的加权双向特征金字塔网络BiFPN结构，以进一步提升模型对多尺度特征的融合能力；S2
‑
3，在SOLO检测头中引入可变卷积DCNv2，DCNv2提高模型对目标几何形变的建模能力，让模型更准确的预测目标的区域。4.根据权利要求3所述的基于人工智能与单目视觉的电力设备检测、测距及预警方法，其特征是：利用迁移学习在构建的数据集上对改进的SOLOv2模型进行训练，其中训练的损失函数包括如下的分类损失和掩膜损失两种：其中：
式中，L
cls
是用于语义类别分类的Focal loss函数，L
mask
是基于Dice loss函数的掩膜预测损失，α
c
为第c类样本的权重因子，用于平衡正负样本不均，取值范围为[0,1]，γ是调节难易样本计算权重的系数，其值大于等于0，t
c
表示利用Softmax激活函数输出的第c类样本的预测概率，n
p
是正样本个数，是原图(i,j)位置的实例类别得分，f是指示函数，当时f取1，否则取0，P
k
和G
k
分别表示掩膜k的预测像素矩阵和真实像素矩阵，L
Dice
表示Dice损失函数，D(p,q)表示矩阵p,q对应的Dice系数，(x,y)表示原图(i,j)位置对应的特征图坐标，p

【专利技术属性】
技术研发人员：郑含博，李金恒，胡思佳，胡钧浩，
申请(专利权)人：广西大学，
类型：发明
国别省市：