一种基于遮挡解耦网络的无监督双目深度估计方法及系统技术方案

本发明专利技术公开一种基于遮挡解耦网络的无监督双目深度估计方法，构建双目深度估计模型，包括遮挡解耦的匹配模块、基于代价体的遮挡感知模块、域不变的遮挡填充模块；以及整个网络所对应的分步训练策略。匹配模块构建了一个精简的双目深度估计网络，用以仅回归非遮挡区域的视差，并在真实场景中通过自监督的方式对网络进行微调，遮挡感知模块利用匹配模块中聚合后的代价体生成遮挡掩码图，遮挡填充模块根据所生成的非遮挡区域的视差，以及相机左图中的语义信息来填充遮挡区域的视差。本发明专利技术采用遮挡解耦网络，解决了无监督对遮挡区域性能退化的问题，抑制了遮挡区域对匹配任务的不利影响，提升了对于遮挡以及非遮挡区域预测的准确性。

【技术实现步骤摘要】

本专利技术涉及图像处理，尤其涉及一种基于遮挡解耦网络的无监督双目深度估计方法及系统。

技术介绍

1、双目深度估计是一项从双目图像中恢复场景三维信息的技术，广泛应用于增强、自动驾驶以及三维重建等众多高级视觉任务中。为了获得全图的密集深度信息，遮挡填充通常被视作双目深度估计的一个附属任务来填充不适定的遮挡视差。传统的方法明确地将双目深度估计划分为了四个步骤，即匹配代价计算、代价聚合、视差回归和视差细化。

2、随着卷积神经网络的发展，基于深度学习的双目深度估计算法采用端对端的网络来直接回归全图的视差，在精度和完整性方面有了很大的改进。这些算法依赖大量的标注真值来在真实场景中微调，昂贵的真值录制成本阻碍了其在现实中的广泛部署和应用。为了缓解对真值的依赖，现有的算法通过构造的自监督损失函数来实现在真实场景中对整个模型进行潜在地监督训练，来缓解真值缺失所带来的性能退化问题。然而，这些算法忽视了模型中匹配任务与遮挡填充任务之间的耦合。

3、一方面，耦合使得利用几何先验知识所构造的自监督损失函数对非遮挡区域视差进行监督的同时，退化了网络对于遮挡区域本文档来自技高网...

【技术保护点】

1.一种基于遮挡解耦网络的无监督双目深度估计方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于遮挡解耦网络的无监督双目深度估计方法，其特征在于，所述合成场景数据集包含通过计算机渲染3D模型合成的左右图像以及对应的左右稠密视差图真值；所述真实场景数据集通过内参标定好的双目相机采集的原始左右图像进行极线校正获得。

3.根据权利要求1所述的一种基于遮挡解耦网络的无监督双目深度估计方法，其特征在于，所述匹配模块包括特征提取单元、代价体形成单元、代价聚合单元；所述特征提取单元提取输入的左右图像的特征，得到左右特征图；所述代价体形成单元将所述左右特征图通过分段...

【技术特征摘要】

1.一种基于遮挡解耦网络的无监督双目深度估计方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于遮挡解耦网络的无监督双目深度估计方法，其特征在于，所述合成场景数据集包含通过计算机渲染3d模型合成的左右图像以及对应的左右稠密视差图真值；所述真实场景数据集通过内参标定好的双目相机采集的原始左右图像进行极线校正获得。

3.根据权利要求1所述的一种基于遮挡解耦网络的无监督双目深度估计方法，其特征在于，所述匹配模块包括特征提取单元、代价体形成单元、代价聚合单元；所述特征提取单元提取输入的左右图像的特征，得到左右特征图；所述代价体形成单元将所述左右特征图通过分段点积的方式形成原始的代价体，所述原始的代价体通过代价聚合单元得到聚合后的代价体；

4.根据权利要求1所述的一种基于遮挡解耦网络的无监督双目深度估计方法，其特征在于，所述遮挡感知模块包括注意力体形成单元...

【专利技术属性】
技术研发人员：李长河，梁召淮，王兴宏，周广辉，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：