一种输电线立体匹配方法组成比例

本发明专利技术提供一种输电线立体匹配方法，包括如下步骤：得到图像分割图；构造孪生残差立体匹配网络，以图像分割图作为先验知识输入到孪生残差立体匹配网络，用孪生残差立体匹配网络中2D卷积操作初步提取图像的特征；将S2初步提取的图像特征进行特征融合，通过平移拼接得到4D聚合体；针对S3生成的4D聚合体使用3D转置卷积展开特征，使用soft argmin损失函数回归深度图；采用深度平滑函数对S4得到的深度图进行优化，区别深度图的内部和边缘处变化。将图像分割图作为先验知识，大大降低了学习拟合的难度；孪生残差立体匹配网络的构建，提升网络的泛化能力；在网络结构中融合不同深浅特征平移得到4D聚合体，提高了立体匹配网络模型的匹配精度。精度。精度。

【技术实现步骤摘要】
一种输电线立体匹配方法


[0001]本专利技术涉及近电施工作业安全
，具体是一种输电线立体匹配方法。

技术介绍

[0002]随着国家城市化进程的加快，各类工程施工作业日益增多，由于施工作业机械通常较大，行动不灵活，容易误触输电线，导致安全事故的发生。国内外很多学者针对双目视觉应用在近电作业设施上的距离测量进行相关研究，并且提出许多新的解决方案，获得了良好效果。但是对于输电线此类存在外形细长、结构较薄、像素占比低、弱纹理“病态区域”问题还较难精准的输出图像深度信息，图像无法展示完整的输电线结构使得精准匹配也存在很大困难。目前，针对输电线图像的立体匹配问题，主要由传统方法与深度学习的方法回归得到视差图。
[0003]而输电线外形特殊，结构薄，形状细长，纹理不够明显，重复目标较多，占整幅图像像素比较低。利用局部信息速度较快，但是无法保证精度，特别是边缘处、遮挡处、弱纹理等“病态区域”问题上有严重的不足，传统方法与深度学习不适用于输电线此类目标。

技术实现思路

[0004]本专利技术的目的是，针对输电线由于弱纹理、像素占比小等“病态区域”导致的立体匹配效果较差、输出深度图较为困难的问题，提出一种输电线立体匹配方法，能够较好的对输电线此类目标进行立体匹配，从而输出深度图像。
[0005]为了实现以上目的，本专利技术采用以下技术方案：
[0006]一种输电线立体匹配方法，包括如下步骤：
[0007]S1：搭建编码
‑
解码分割网络对图像中的输电线与背景进行分割，得到图像分割图；
[0008]S2：构造孪生残差立体匹配网络，以S1中图像分割图作为先验知识输入到孪生残差立体匹配网络，用孪生残差立体匹配网络中2D卷积操作初步提取图像的特征；
[0009]S3：将S2初步提取的图像特征进行特征融合，通过平移拼接得到4D聚合体；
[0010]S4：针对S3生成的4D聚合体使用3D转置卷积展开特征，使用soft argmin损失函数回归深度图；
[0011]S5：采用深度平滑函数对S4得到的深度图进行优化，区别深度图的内部和边缘处变化。
[0012]进一步的，步骤S1具体为：
[0013]以双目视觉相机采集的左右图像数据集作为输入，使用VGG19作为编码器，转置卷积网络作为解码器，搭建编码
‑
解码分割网络，对多尺度的输电线进行分割，编码器的卷积网络用于特征的提取和变换，解码器的转置卷积网络用于图片大小的恢复。
[0014]进一步的，步骤S2具体为：
[0015]以S1的图像分割图作为网络输入，搭建2D卷积层进行特征提取，并在卷积层引入
残差模块，避免出现网络无法收敛及梯度消失或者维度爆炸的问题。
[0016]进一步的，步骤S3具体为：
[0017]将S2初步提取的深、浅图像特征采用特征融合网络层进行融合，在极线约束条件下对融合特征进行通道拼接构造4D聚合体，得到W
×
H
×
(D+1)
×
F的左右4D聚合特征张量。
[0018]进一步的，步骤S4具体为：
[0019]使用3D卷积对4D聚合体多维度进行压缩，计算特征线性加权代价，将空间域和视差域的代价融合，得到维度为D
×
W
×
H
×
1的4D聚合体；
[0020]采用2D卷积对D
×
W
×
H
×
1的三维张量进行处理，通过相同的通道数转换操作，得到1
×
W
×
H
×
1的二维矩阵；
[0021]采用soft argmin损失函数计算每个视差的概率，将像素的视差与该层视差的概率相乘，累加得到像素点的视差值，生成深度图。
[0022]与现有技术相比，本专利技术提供的输电线路立体匹配方法具有以下有益效果：
[0023]本专利技术提供的输电线路立体匹配方法，将图像分割图作为先验知识，大大降低了学习拟合的难度；孪生残差立体匹配网络，在2D卷积层引入残差模块，能避免网络出现网络无法收敛及梯度消失或者维度爆炸的问题，利于反向传播，使网络的泛化能力有所提升；将孪生残差立体匹配网络初步提取的图像特征进行融合，能有同时利用全局信息和位置、细节信息，能够较好地对输电线此类目标进行立体匹配；针对深度图广泛存在空洞像素的问题，引入深度平滑函数，能够较好的处理深度图中深度变化的位置，提升匹配精度。
附图说明
[0024]图1是本专利技术实施例一种输电线立体匹配方法的流程图；
[0025]图2是本专利技术实施例残差立体匹配网络与常规网络示意图；
[0026]图3是本专利技术实施例视觉平移示意图；
[0027]图4是本专利技术实施例构造4D聚合体过程示意图；
[0028]图5是本专利技术实施例3D卷积操作示意图；
[0029]图6是本专利技术实施例深度图输出过程示意图。
具体实施方式
[0030]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0031]请参见图1，图1是本专利技术实施例一种输电线立体匹配方法的流程图，该方法首先得到图像分割图，建立孪生残差立体匹配网络，用于2D卷积操作提取左右图像特征普；其次，将融合特征通过平移拼接得到4D聚合体；再次利用3D卷积对4D聚合体进行特征提取，使用3D转置卷积展开特征；最后使用soft argmin函数回归深度图，再采用深度函数对深度图进行处理。具体包括如下步骤：
[0032]S1：搭建编码
‑
解码分割网络对图像中的输电线与背景进行分割，得到图像分割图；
[0033]S2：构造孪生残差立体匹配网络，以S1中图像分割图作为先验知识输入到孪生残差立体匹配网络，用孪生残差立体匹配网络中2D卷积操作初步提取图像的特征；
[0034]S3：将S2初步提取的图像特征进行特征融合，通过平移拼接得到4D聚合体；
[0035]S4：针对S3生成的4D聚合体使用3D转置卷积展开特征，使用soft argmin损失函数回归深度图；
[0036]S5：采用深度平滑函数对S4得到的深度图进行优化，区别深度图的内部和边缘处变化。
[0037]步骤S1具体为：
[0038]以双目视觉相机采集的左右图像数据集作为输入，使用VGGl9作为编码器，转置卷积网络作为解码器，搭建编码
‑
解码分割网络，对多尺度的输电线进行分割，编码器的卷积网络用于特征的提取和变换，解码器的转置卷积网络用于图片大小的恢复。在训练期间，固定编码器参数(VGG19)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种输电线立体匹配方法，其特征在于，包括如下步骤：S1：搭建编码
‑
解码分割网络对图像中的输电线与背景进行分割，得到图像分割图；S2：构造孪生残差立体匹配网络，以S1中图像分割图作为先验知识输入到孪生残差立体匹配网络，用孪生残差立体匹配网络中2D卷积操作初步提取图像的特征；S3：将S2初步提取的图像特征进行特征融合，通过平移拼接得到4D聚合体；S4：针对S3生成的4D聚合体使用3D转置卷积展开特征，使用soft argmin损失函数回归深度图；S5：采用深度平滑函数对S4得到的深度图进行优化，区别深度图的内部和边缘处变化。2.根据权利要求1所述的一种输电线立体匹配方法，其特征在于，步骤S1具体为：以双目视觉相机采集的左右图像数据集作为输入，使用VGG19作为编码器，转置卷积网络作为解码器，搭建编码
‑
解码分割网络，对多尺度的输电线进行分割，编码器的卷积网络用于特征的提取和变换，解码器的转置卷积网络用于图片大小的恢复。3.根据权利要求2所述的一种输电线立体匹配方法，其特征在于，步骤S2具体为：以S1的图像分割图作为网络输入，搭建2D卷积层进行特征提取，并在卷积层引入残差模块，避免出现网络...

【专利技术属性】
技术研发人员：石岩，汪夏，张少康，贾小辉，吴少昱，王嘉伟，夏煜，邹琳，刘爽，罗炎，
申请(专利权)人：国网河南省电力公司西峡县供电公司，
类型：发明
国别省市：