一种基于深度学习的自然景观多视图三维重建方法技术

本发明专利技术提供了一种基于深度学习的自然景观多视图三维重建方法，包括：获取自然景观的多视图图像集，并对多视图图像集中的二维图像进行预处理；构建多尺度特征提取网络，利用训练好的多尺度特征提取网络对预处理后的二维图像进行特征提取，得到目标关键特征；将目标关键特征输入基于学习的补丁匹配迭代模型中进行像素深度匹配的迭代计算，迭代计算结束之后输出对应的深度图；将得到的深度图和源图像输入深度残差网络中进行优化，得到优化后的最终深度图，根据优化后的最终深度图，构建物体三维模型以得到自然景观的立体视觉图，本发明专利技术通过局部区域分割的边缘处理算法优化深度图的边缘，使得到的深度图更完成和精确，且景观模型局部细节精度更高。模型局部细节精度更高。模型局部细节精度更高。

【技术实现步骤摘要】
一种基于深度学习的自然景观多视图三维重建方法


[0001]本专利技术涉及三维重建
，尤其涉及到一种基于深度学习的自然景观多视图三维重建方法。

技术介绍

[0002]元宇宙技术是综合虚拟现实、游戏引擎、移动互联网、区块链等为一体的虚实融合场景框架，提供高度沉浸式的交互体验。将元宇宙技术应用于现实的文旅场景，提升文旅产品的创新发展思路，保护文旅数字产品的知识产权，对于旅游产业的发展具有非常重要的理论意义和现实价值。构建虚实融合的自然景观场景，关键技术在于将图像数据的展现方式通过多视图三维重建技术创建仿真的虚拟场景。近年来，三维重建技术通过利用深度摄像设备、红外传感器、激光雷达等对现实世界场景进行深度信息提取并估算，被广泛应用于智能无人驾驶、AR/VR，卫星遥感测绘、娱乐多媒体等应用领域。人工智能技术可通过神经网络模型的高度泛化能力，对多视图二维图像进行特征提取与处理转化，使得三维场景预测估算更为精确和高效。自然场景的三维重建中样本数据采集受到采集设备、自然环境、噪声、遮挡等因素的影响，往往精度不高，对虚拟场景的仿真构建带来了极大的挑战。因此，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的自然景观多视图三维重建方法，其特征在于，包括以下步骤：步骤Step1:获取自然景观的多视图图像集，并对所述多视图图像集中的二维图像进行预处理；步骤Step2:构建多尺度特征提取网络，通过训练集对所述多尺度特征提取网络进行训练，得到训练好的多尺度特征提取网络，并利用训练好的多尺度特征提取网络对预处理后的二维图像进行特征提取，得到目标关键特征；步骤Step3:将得到的目标关键特征输入基于学习的补丁匹配迭代模型中进行像素深度匹配的迭代计算，模型迭代计算结束之后输出对应的深度图；步骤Step4:将步骤Step3得到的深度图和源图像输入深度残差网络中进行优化，得到优化后的最终深度图，并根据所述优化后的最终深度图，构建物体三维模型，以得到自然景观的立体视觉图。2.如权利要求1所述的基于深度学习的自然景观多视图三维重建方法，其特征在于，所述预处理包括：对所述多视图图像集中的二维图像进行关键重建区域分割，所述多视图图像集包括源图像及其对应的多个视角的参考图像；结合自然景观环境影响因素进行特征增强或遮挡修复。3.如权利要求2所述的基于深度学习的自然景观多视图三维重建方法，其特征在于，构建的多尺度特征提取网络为基于图像金字塔FPN结构的可变卷积网络，通过对原有卷积得到的特征图再施加一个卷积层，用以获取可变形卷积变形的偏移量来实现目标关键特征提取。4.如权利要求3所述的基于深度学习的自然景观多视图三维重建方法，其特征在于，在迭代计算过程中，在初次迭代时，则当前单个目标关键特征作为初始迭代的输入；若迭代已开始，则当前单个目标关键特征会与上一次迭代得到的深度图连接起来作为当前迭代的输入。5.如权利要求4所述的基于深度学习的自然景观多视图三维重建方法，其特征在于，所述基于学习的补丁匹配迭代模型中的像素深度匹配是通过预设的匹配代价计算方法来实现的。6.如权利要求5所述的基于深度学习的自然景观多视图三维重建方法，其特征在于，所述匹配代价计算方法通过group
‑
wise相关性计算每个像素的每个depth假设值的代价；具体包括：根据公式：计算每个group的相似性，其中，wi(p)表示像素P...

【专利技术属性】
技术研发人员：李毅，张笑钦，
申请(专利权)人：温州大学大数据与信息技术研究院，
类型：发明
国别省市：