基于深度学习视野自选择网络的密集匹配方法及系统技术方案

本发明专利技术属于密集匹配技术领域，特别涉及一种基于深度学习视野自选择网络的密集匹配方法及系统，构建深度学习视野自选择网络，包含多层级特征提取模块，匹配代价构建模块，多层级支路视差计算模块，上采样模块，单支路视差计算模块，支路选择权重计算模块，及输出模块；收集场景样本数据，划分为训练样本和测试样本，并分别用于对构建的网络进行训练和测试优化；针对目标场景数据，利用测试优化后的深度学习视野自选择网络选取最佳视野来实现目标场景数据的密集匹配。本发明专利技术在模型网络中采用多支路视差计算方式并基于单峰性构建的偏移损失为依据来实现最佳视野选择，能够确保视差不连续边缘匹配效果，提升场景数据匹配精度，具有较好应用前景。具有较好应用前景。具有较好应用前景。

【技术实现步骤摘要】
基于深度学习视野自选择网络的密集匹配方法及系统


[0001]本专利技术属于密集匹配
，特别涉及一种基于深度学习视野自选择网络的密集匹配方法及系统。

技术介绍

[0002]随着人工智能的发展，基于深度学习的有监督密集匹配方法在虚拟、室内以及驾驶等近景数据集上取得了不错的表现。深度学习方法在特征自动提取上具有传统方法无可比拟的优势。随着硬件技术的发展和深度学习理论的完善，这种方法在密集匹配上的潜力逐步显现。M
‑
CNN在密集匹配过程中采用了深度学习方法提取特征，利用卷积神经网络提取到了更为稳健的特征，替代了传统的测度匹配和相关系数匹配等特征提取方法，取得了不错的效果，同时为密集匹配端到端网络的出现奠定了基础。首个端到端的密集匹配网络DispNet，以光流预测网络FlowNet为基础，在改进其上采样模块后，应用于密集匹配网络。虽然其在KITTI数据集上的排名并不是当时最靠前的，但为后面其他端到端的网络提供了思路。考虑到DispNet视差图缺乏多尺度信息，且网络不包含视差精化模块，iResNet在DispNet基础上增加了多尺度信息，并采用贝叶斯网络精化视差，进一步提升了匹配精度。这个阶段的网络仍以类似“U
‑
Net”的通用密集匹配网络结构为基础，通过大量的参数拟合密集匹配过程。GCNet借鉴传统密集匹配思想，开创了密集匹配专用网络的分支，其基本流程为：特征提取、匹配代价构建、视差计算以及视差软回归四个步骤。该网络的主要贡献包括：
①
引入了残差块，进一步深挖特征；<br/>②
首次提出深度学习匹配代价构建和视差计算网络结构；
③
引入视差软回归(soft argmax)，将分类问题变为回归问题，以较小的参数代价取得了不错的效果。随后，PSMNet针对GCNet网络缺乏多尺度信息的问题，利用空洞卷积、金字塔池化(spatial pyramid pooling，SPP)以及堆叠沙漏等多种方式引入全局信息，进一步提升了匹配的效果。
[0003]但当前深度学习密集匹配方法在视差不连续边缘匹配效果不佳，虽然通过金字塔池化和空洞卷积空间金字塔池化(atrous spatial pyramid pooling，ASPP)的方式能够在一定程度上缓解该问题，但无法从本质上解决该问题。因此需要设计一种能够选择合适“视野”的网络结构来解决该问题。

技术实现思路

[0004]为此，本专利技术提供一种基于深度学习视野自选择网络的密集匹配方法及系统，在模型网络中采用多支路视差计算方式并基于单峰性构建的偏移损失为依据来实现最佳视野选择，确保视差不连续边缘匹配效果，提升场景数据匹配精度。
[0005]按照本专利技术所提供的设计方案，提供一种基于深度学习视野自选择网络的密集匹配方法，包含：
[0006]构建深度学习视野自选择网络，该网络结构包含多层级特征提取模块，匹配代价构建模块，用于获取不同尺度视野的多层级支路视差计算模块，用于线性插值的上采样模
块，用于视差回归的单支路视差计算模块，用于通过距离加权计算表示视野匹配效果偏移损失的支路选择权重计算模块，及用于通过支路视差与对应支路像素来获取最终视差的输出模块；
[0007]收集场景样本数据，并将场景样本数据划分为训练样本和测试样本；利用训练样本对深度学习视野自选择网络进行预训练，并利用测试样本对预训练后的网络进行测试优化；
[0008]针对目标场景数据，利用测试优化后的深度学习视野自选择网络选取最佳视野来实现目标场景数据的密集匹配。
[0009]作为本专利技术基于深度学习视野自选择网络的密集匹配方法，进一步地，多层级支路视差计算模块中，利用扩张率来控制视野大小，对多个视野支路设置不同的扩张率。
[0010]作为本专利技术基于深度学习视野自选择网络的密集匹配方法，进一步地，通过视差范围内整数点与回归视差偏移绝对值两者之间的距离及对应位置的概率来获取偏移损失。
[0011]作为本专利技术基于深度学习视野自选择网络的密集匹配方法，进一步地，偏移损失具体计算过程包含：首先，通过视差回归方法计算像素点视差回归值；然后，以视差回归值为基准，计算每个像素偏移值的绝对值；遍历当前视差和最大匹配视差之间的视差值，对视差值对应的偏移值绝对值和位置概率乘积进行求和；依据求和结果来获取偏移损失。
[0012]作为本专利技术基于深度学习视野自选择网络的密集匹配方法，进一步地，支路选择权重计算模块中，在softmax通过引入温度项来选择最优置信度通道。
[0013]作为本专利技术基于深度学习视野自选择网络的密集匹配方法，进一步地，假设c
k
为输入张量x的第k个支路置信度测度，则其对应的概率表示为：其中，N
path
为支路的数量，T为温度项。
[0014]作为本专利技术基于深度学习视野自选择网络的密集匹配方法，进一步地，支路选择权重计算模块中，通过设置置信度网络对偏移损失进行调整，使其网络权重分布相符合，来获取偏移代价，其中，所述置信度网络采用三层卷积核结构的网络模型。
[0015]作为本专利技术基于深度学习视野自选择网络的密集匹配方法，进一步地，网络预训练和测试调优中，还包含：利用场景样本数据分别对每个支路视差计算的网络参数进行预训练和调优测试；通过支路视差标签之间的光滑损失和最终生成的视差标签之间的光滑损失来构建深度学习视野自选择网络的总损失函数。
[0016]作为本专利技术基于深度学习视野自选择网络的密集匹配方法，进一步地，所述场景样本数据包含作为训练样本用于预训练的SceneFlow数据集和作为测试样本用于测试调优的近景数据集和遥感数据集。
[0017]进一步地，本专利技术还提供一种基于深度学习视野自选择网络的密集匹配系统，包含：模型构建模块、模型调优模块和密集匹配模块，其中，
[0018]模型构建模块，用于构建深度学习视野自选择网络，该网络结构包含多层级特征提取模块，匹配代价构建模块，用于获取不同尺度视野的多层级支路视差计算模块，用于线性插值的上采样模块，用于视差回归的单支路视差计算模块，用于通过距离加权计算表示视野匹配效果偏移损失的支路选择权重计算模块，及用于通过支路视差与对应支路像素来
获取最终视差的输出模块；
[0019]模型调优模块，用于收集场景样本数据，并将场景样本数据划分为训练样本和测试样本；利用训练样本对深度学习视野自选择网络进行预训练，并利用测试样本对预训练后的网络进行测试优化；
[0020]密集匹配模块，用于针对目标场景数据，利用测试优化后的深度学习视野自选择网络选取最佳视野来实现目标场景数据的密集匹配。
[0021]本专利技术的有益效果：
[0022]本专利技术针对当前深度学习密集匹配网络结构在视差不连续边缘表现较差的问题，通过构建视野自选择网络模型结构，采用多支路方式解决多视野问题，同时设置视野的选择依据偏移损失，并结合置信网络和带温度的sofmax函数选择最佳视野；进一步在损失函数设上采用了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习视野自选择网络的密集匹配方法，其特征在于，包含：构建深度学习视野自选择网络，该网络结构包含多层级特征提取模块，匹配代价构建模块，用于获取不同尺度视野的多层级支路视差计算模块，用于线性插值的上采样模块，用于视差回归的单支路视差计算模块，用于通过距离加权计算表示视野匹配效果偏移损失的支路选择权重计算模块，及用于通过支路视差与对应支路像素来获取最终视差的输出模块；收集场景样本数据，并将场景样本数据划分为训练样本和测试样本；利用训练样本对深度学习视野自选择网络进行预训练，并利用测试样本对预训练后的网络进行测试优化；针对目标场景数据，利用测试优化后的深度学习视野自选择网络选取最佳视野来实现目标场景数据的密集匹配。2.根据权利要求1所述的基于深度学习视野自选择网络的密集匹配方法，其特征在于，多层级支路视差计算模块中，利用扩张率来控制视野大小，对多个视野支路设置不同的扩张率。3.根据权利要求1所述的基于深度学习视野自选择网络的密集匹配方法，其特征在于，通过视差范围内整数点与回归视差偏移绝对值两者之间的距离及对应位置的概率来获取偏移损失。4.根据权利要求1或3所述的基于深度学习视野自选择网络的密集匹配方法，其特征在于，偏移损失具体计算过程包含：首先，通过视差回归方法计算像素点视差回归值；然后，以视差回归值为基准，计算每个像素偏移值的绝对值；遍历当前视差和最大匹配视差之间的视差值，对视差值对应的偏移值绝对值和位置概率乘积进行求和；依据求和结果来获取偏移损失。5.根据权利要求1所述的基于深度学习视野自选择网络的密集匹配方法，其特征在于，支路选择权重计算模块中，在softmax通过引入温度项来选择最优置信度通道。6.根据权利要求5所述的基于深度学习视野自选择网络的密集匹配方法，其特征在于，假设c
k
为输入张量x的第k个支路置信度测...

【专利技术属性】
技术研发人员：刘智，李志勇，郭昊珺，官恺，芮杰，王番，刘潇，赵自明，金飞，林雨准，王淑香，尚大帅，马刚，魏麟苏，
申请(专利权)人：中国人民解放军六一三六三部队，
类型：发明
国别省市：