一种面向电网作业的基于光流的自监督深度估计方法技术

本发明专利技术涉及一种面向电网作业的基于光流的自监督深度估计方法，该方法是指先构建深度图预测网络模块，以获得预测目标帧的深度图；然后利用目标帧的深度和光流提取网络模块提取的光流构建目标帧重建网络模块；最后通过构建损失计算模块得到经最小化光度损失进行学习的深度图。本发明专利技术利用自监督的深度估计方法并结合利用光流信息重构目标图像，从而完成单目深度估计任务，省时省力。省时省力。省时省力。

【技术实现步骤摘要】
一种面向电网作业的基于光流的自监督深度估计方法


[0001]本专利技术涉及电网施工作业
，尤其涉及一种面向电网作业的基于光流的自监督深度估计方法。

技术介绍

[0002]电网施工作业现场电气设备繁杂，人员流动性大，并且存在多个禁入的危险区域，对作业人员的人身安全构成威胁。
[0003]目前基于深度学习的单目深度估计方法取得了非常显著的成果，基于监督的方法需要标注大量单张图像的ground truth——深度图，而这耗费大量时间和人力物力，因此，如何利用自监督的深度估计方法对电网作业现场进行作业人员定位，以有效保证人员未进入危险区域，进而保证电网的安全生产与稳定运行就显得尤为重要。

技术实现思路

[0004]本专利技术所要解决的技术问题是提供一种省时省力的面向电网作业的基于光流的自监督深度估计方法。
[0005]为解决上述问题，本专利技术所述的一种面向电网作业的基于光流的自监督深度估计方法，其特征在于：该方法是指先构建深度图预测网络模块，以获得预测目标帧的深度图；然后利用目标帧的深度和光流提取网络模块提取的光流构建目标帧重建网络模块；最后通过构建损失计算模块得到经最小化光度损失进行学习的深度图。
[0006]所述深度图预测网络模块由解码器和编码器两个模块组成。
[0007]所述获得预测目标帧的深度图的方法是指采用图像语义分割中常用的Unet结构来实现。
[0008]所述目标帧重建网络模块按下述方法构建：
⑴
利用OpenCV库中calcOpticalFlowFarneback算法将相邻三帧两两组为一个pair提取图像序列的稠密光流，得到相邻帧光流，t
′
为t
‑
1或t+1；
⑵
利用下式重建第t帧，即得重建目标帧图像； 式中：t
′
为t
‑
1或t+1；proj() 输入共有三个，分别是光流信息、预测的深度图以及t
′
时间的图像。
[0009]所述损失计算模块按下式构建：式中：为重建目标帧图像；为真实的目标图像；t
′
为t
‑
1或t+1；pe为光度重建
误差；L
p
为光度损失。
[0010]所述光度重建误差pe按下式计算：；；式中：分别代表、；即；代表超参数，根据经验给定；和分别代表图片x，y像素的平均值；和分别表示x，y的标准差；为协方差；c1，c2是常数。
[0011]本专利技术与现有技术相比具有以下优点：1、本专利技术输入是各种类型摄像设备采集的一系列运动的图像，输出是目标图像的深度图，利用自监督的深度估计方法并结合利用光流信息重构目标图像，从而完成单目深度估计任务。
[0012]2、本专利技术自监督深度估计方法不需要大量标注了深度信息的深度图进行训练，节省了人力物力。
[0013]3、采用本专利技术方法，可以对电网作业现场进行作业人员定位，有效保证人员未进入危险区域，进而保证电网的安全生产与稳定运行。
附图说明
[0014]下面结合附图对本专利技术的具体实施方式作进一步详细的说明。
[0015]图1为本专利技术中目标帧重建模块网络结构图。
[0016]图2为本专利技术中目标帧重建模块网络流程图。
具体实施方式
[0017]一种面向电网作业的基于光流的自监督深度估计方法，该方法是指先构建深度图预测网络模块，以获得预测目标帧的深度图；然后利用目标帧的深度和光流提取网络模块提取的光流构建目标帧重建网络模块；最后通过构建损失计算模块得到经最小化光度损失进行学习的深度图。
[0018]其中：深度图预测网络模块由解码器和编码器两个模块组成。
[0019]获得预测目标帧的深度图的方法是指采用图像语义分割中常用的Unet结构来实现。
[0020]目标帧重建网络模块的输入为三张相邻帧组成的两个pair：将中间帧看作是目标帧，前一帧与后一帧分别与目标帧组成一个pair。该模块利用目标帧相邻帧（前一帧或后一帧）提取的光流以及深度图预测网络模块提取的深度图重建目标帧图像，如图1所示。
[0021]利用OpenCV库中calcOpticalFlowFarneback算法提取光流，该算法用多项式展开来逼近各像素点的邻域，然后用最小二乘逼近求得满足约束条件时的光流极值，用八参数
方程的实例带入求解，最后引入先验并结合迭代方法提高算法精度。
[0022]因此，目标帧重建网络模块的构建具体过程如图2所示：
⑴
利用OpenCV库中calcOpticalFlowFarneback算法将相邻三帧两两组为一个pair提取图像序列的稠密光流，得到相邻帧光流，t
′
为t
‑
1或t+1；
⑵
利用下式重建第t帧，即得重建目标帧图像；
ꢀꢀꢀꢀꢀ
(1)式中：t
′
为t
‑
1或t+1；proj() 输入共有三个，分别是光流信息、预测的深度图以及 t
′
时间的图像。其中t
′
时间的图像指的是3个图像中的第一个或最后一个。函数proj()由几层神经网络构成，输出重建的第t
′
帧图像。
[0023]⑶
损失计算模块按下式构建：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)式中：为重建目标帧图像；为真实的目标图像；t
′
为t
‑
1或t+1；pe为光度重建误差；L
p
为光度损失。
[0024]本专利技术使用深度学习中的常用公式L1来表示两个变量的绝对差之和，即和SSIM作为光度误差函数pe：。
[0025]光度重建误差pe按下式计算：光度重建误差pe按下式计算：式中：分别代表、；即；代表超参数，根据经验给定；和分别代表图片x，y像素的平均值；和分别表示x，y的标准差；为协方差；c1，c2是常数，避免分母为0带来的系统错误。
[0026]应用实例：在变电运维场景中，通过现场部署的摄像采集设备返回的监控视频流，利用本专利技术方法，检测变电运维作业人员与禁入的危险区域的距离，若有作业人员靠近及时发出警告，保证作业人员的人身安全，降低安全事故发生的风险，保障电网安全运行。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向电网作业的基于光流的自监督深度估计方法，其特征在于：该方法是指先构建深度图预测网络模块，以获得预测目标帧的深度图；然后利用目标帧的深度和光流提取网络模块提取的光流构建目标帧重建网络模块；最后通过构建损失计算模块得到经最小化光度损失进行学习的深度图。2.如权利要求1所述的一种面向电网作业的基于光流的自监督深度估计方法，其特征在于：所述深度图预测网络模块由解码器和编码器两个模块组成。3.如权利要求1所述的一种面向电网作业的基于光流的自监督深度估计方法，其特征在于：所述获得预测目标帧的深度图的方法是指采用图像语义分割中常用的Unet结构来实现。4.如权利要求1所述的一种面向电网作业的基于光流的自监督深度估计方法，其特征在于：所述目标帧重建网络模块按下述方法构建：
⑴
利用OpenCV库中calcOpticalFlowFarneback算法将相邻三帧两两组为一个pair提取图像序列的稠密光流，得到相邻帧光流，t
′

【专利技术属性】
技术研发人员：张祥全，王利平，马志程，李洪斌，马宏忠，聂江龙，张驯，刘超，王锋，狄磊，赵金雄，贺洲强，陈钊，夏天，张屹，陈维，张国梁，赵连斌，杜泽旭，朱海涛，
申请(专利权)人：国网甘肃省电力公司国网智能电网研究院有限公司，
类型：发明
国别省市：