一种深度信息引导的全方向图像三维结构自动恢复方法技术

本发明专利技术一种深度信息引导的全方向图像三维结构自动恢复方法，构建基于编码

【技术实现步骤摘要】
一种深度信息引导的全方向图像三维结构自动恢复方法


[0001]本专利技术涉及室内场景重建
，尤其涉及一种深度信息引导的全方向图像三维结构自动恢复方法。

技术介绍

[0002]从单幅图像中恢复室内场景结构是计算机视觉中的一项基本的研究内容，其旨在推断出墙
‑
墙、墙
‑
地面、墙
‑
天花板边界的几何形状，能够为其他应用提供几何先验，例如室内导航、VR/AR/MR和设计。此外，几何结构的恢复对场景理解中的物体检测与恢复任务也具有一定的辅助功能。此前，针对标准针孔投影模型捕获的传统透视图像的结构恢复已经取得了一定的进展，但是其有限的视场角使得难以捕获整体的结构及上下文信息，使复杂场景的结构恢复达到一个瓶颈期。
[0003]超宽的视场角(180
°
或360
°
)能够完整的覆盖整体场景，为场景结构恢复与理解都提供了更丰富的全局上下文信息，因此，研究者更倾向于全方向图像三维结构恢复的研究。现有方法一类是基于几何的方法，利用几何特征生成结构假设，对结构假设进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度信息引导的全方向图像三维结构自动恢复方法，其特征在于，包括如下步骤：(1)构建基于编码
‑
解码策略的全方向图像结构深度估计网络模型，设置所述网络模型训练参数；所述编码
‑
解码策略中的编码器基于全方向畸变卷积模块实现，缓解图像畸变对全方向结构深度估计的干扰；所述编码
‑
解码策略中的解码器采用向上映射层模块加深网络模型的深度，提升全方向图像结构深度估计质量，得到带有深度信息的全方向图像；通过带有深度信息的全方向图像的训练数据集对所述全方向图像结构深度估计网络进行训练优化，并将带有深度信息的全方向图像的测试数据集输入到训练的所述网络模型中，预测出全方向图像结构深度；(2)以所述全方向图像结构深度作为几何先验信息，构建场景结构深度信息引导的全方向图像几何结构恢复网络模型，设置所述网络模型训练参数；所述全方向图像几何结构恢复网络模型的结构遵循编码
‑
解码策略，所述编码
‑
解码策略中的编码器根据不同的全方向投影模型选择对应的全方向畸变卷积模块，利用所述全方向卷积学习全方向图像中不同位置及不同程度的图像畸变特征，提高全方向图像特征提取的准确率；所述编码
‑
解码策略中的解码器采用并行的水平
‑
垂直步进模块捕获更多的全方向图像的局部上下文相关信息，提升全方向图像几何结构恢复的准确度；通过全方向图像的训练数据集对全方向图像几何结构恢复模型进行训练优化，并将全方向图像的测试数据集输入到全方向图像几何结构恢复模型中，从而预测出全方向图像的几何结构角点概率图；(3)采用全方向图像三维点云恢复方法对输入的全方向图像几何结构角点概率图进行峰值化后处理，恢复出全方向图像几何结构；并在曼哈顿世界假设下，根据不同的全方向投影模型的几何约束恢复出对应的全方向图像几何结构三维点云形式，从而恢复出全方向图像三维结构。2.根据权利要求1所述的一种深度信息引导的全方向图像三维结构自动恢复方法，其特征在于：所述步骤(1)中，构建基于编码
‑
解码策略的全方向图像几何结构深度估计网络模型中，编码器的实现为：以全方向图像和对应的全方向掩码图为输入，选择ResNet50作为主干网络提取输入全方向图像的语义特征信息，获得不同语义级别的语义信息特征图；所述ResNet
‑
50中最后一个区块根据不同的全方向投影模型引入相应的全方向畸变卷积模块，增强几何结构深度估计模型对全方向图像畸变的学习能力；所述全方向畸变卷积模块包括采用全景图像投影模型设计的全景卷积和采用鱼眼投影模型设计的鱼眼卷积。3.根据权利要求1所述的一种深度信息引导的全方向图像三维结构自动恢复方法，其特征在于：所述步骤(1)中，构建基于编码
‑
解码策略的全方向图像几何结构深度估计网络模型中，解码器的实现为：以...

【专利技术属性】
技术研发人员：孟明，肖立凯，周忠，
申请(专利权)人：中国传媒大学，
类型：发明
国别省市：