一种基于细节信息保持的多视点视图深度估计方法技术

本发明专利技术公开了一种基于细节信息保持的多视点视图深度估计方法。本方法首先利用U型神经网络提取出图片序列在不同尺度的特征，在同一尺度的特征中，分为两个分支：一个分支进行分割操作，得到高质量细节保持的目标分割图；一个分支进行为后续的深度估计进行特征提取。将不同尺度的特征与同尺度下的分割图F

【技术实现步骤摘要】
一种基于细节信息保持的多视点视图深度估计方法


[0001]本专利技术涉及深度估计领域，具体是一种基于细节信息保持的多视点视图深度估计方法。

技术介绍

[0002]重建真实世界中物体的三维建模一直是计算机视觉领域热点之一。图像是真实世界中三维场景在二维平面的一个投影。传统多视点三维重建方法耗时长，易受到复杂背景的干扰，并存在因深度估计不准确而导致重建质量差等问题。近年来，随着深度相机的普及，基于RGB
‑
D相机的三维重建研究取得了显著进展，但仍存在深度分辨率不高，深度图过度平滑等缺点，导致重建的模型细节信息丢失。
[0003]基于图像的传统三维重建通常采用从运动恢复结构的技术，利用立体匹配算法计算出每帧图像对应的深度图，形成每帧图像的三维点云；并通过相邻帧运动估计获取每帧图像的相机位姿，进而将每帧图像的三维点云融合成最终的三维模型。然而传统三维重建技术通常存在以下缺点：在大尺度背景下重建小尺度目标时，特征提取与匹配易受到背景纹理干扰，使得估计的位姿不够精确，且容易丢失目标的细节信息；此外，传统立体匹配算法在遮挡和弱纹理区本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于细节信息保持的多视点视图深度估计方法，其特征在于输入为一组多视点图像，输出为主视点的深度图，输出的深度图中，只有目标区域有深度信息，其他区域没有深度信息；具体包括如下步骤：步骤1、输入多视点图像序列，尺寸为W
×
H，W为图像的宽，H为图像的高；多视点图像序列包含一幅主视点图像C
s
和其他视点图像C
i
；将多视点图像序列输入到一个U型神经网络中，提取图像语义特征；步骤2、将U型神经网络中的第十三层输出特征图对应的特征O3输入到两个分支网络中，其中一个分支网络将特征O3通过三层卷积层得到S/4尺度的分割图S3，另一个分支网络将特征O3通过三层卷积层得到特征图F3，将S3与F3逐像素相乘，获得3D特征体素V3；步骤3.将3D特征体素V3经过三层3D卷积进行特征提取后，按照基于方差的度量方法得到新的深度估计图DM
3d
；步骤4、将深度估计图DM
3d
上采样，得到(S/2)
×
(S/2)
×
1的深度图DM3；同时将U型神经网络中的第十六层的特征O2输入到两个分支网络，得到S/2尺度的分割图S2和特征图F2，将S2与F2逐像素相乘获得3D特征体素V2；步骤5、将3D特征体素V2经过三层3D卷积进行特征提取后，按照基于方差的度量方法得到新的深度估计图DM
2d
；步骤6、将深度估计图DM
2d
上采样，得到S
×
S
×
1的深度图DM2；将U型神经网络中的第十九层的特征O1输入到两个分支网络，得到S尺度的分割图S1和特征图F1，将S1与F1逐像素相乘得到3D特征体素V1；步骤7、将3D特征体素V1，经过三层3D卷积进行特征提取按照基于方差的度量方法得到新的最终深度估计图DM1。2.根据权利要求1所述的一种基于细节信息保持的多视点视图深度估计方法，其特征在于步骤1所述的U型神经网络的定义如下：卷积核的大小为3
×
3，池化层为最大池化层，上采样的方式选择转置卷积；在相同的尺度且未进入多分支的情况下，通道数不变；S/8尺度、S/4尺度、S/2尺度和S尺度对应的通道数分别为1024、512、256和128；将尺度为S
×
S的多视点图像输入到U型神经网络中，首先经过三层卷积层，得到的特征图尺度为S
×
S
×
128；将做最大池化并增加一倍，经过三层卷积，得到了(S/2)
×
(S/2)
×
256的特征图将特征图做最大池化并增加一倍，经过三层卷积，得到了(S/4)
×
(S/4)
×
512的特征图将做最大池化增加一倍，得到(S/8)
×
(S/8)
×
1024的特征图将特征图进行转置卷积并两两相加，得到(S/4)
×
(S/4)
×
512的特征图将特征图进行转置卷积并相加，得到(S/2)
×
(S/2)
×
256的特征图将特征图进行转置卷积并两两相加，得到S
×
S
×
128的特征图；第十三层的特征图尺度为原图的四分之一，是最大的尺度的深度估计；第十六层的特征图尺度为原图的二分之一，是中间尺度的深度估计；第十九层的特征尺度与原图相等的，是最精细尺度的深度估计。
3.根据权利要求2所述的一种基于细节信息保持的多视点视图深度估计方法，其特征在于步骤2所述的将S3与F3逐像素相乘获得3D特征体素V3，具体如下：取出特征图F3，其大小为(S/4)
×
(S/4)，取语义分割图S3，其大小为(S/4)
×
(S/4)；然后两个矩阵逐像素相乘，逐像素相乘的过程如下：取特征图F3第i行第j列的元素F
3|i,j
，取S3图的第i行第j列元素S
3|i,j
，两者相乘得到Output
i,j
，输出图的尺寸仍为(S/4)
×
(S/4)，其中i＝0,1...S,j＝0,1...S；然后再...

【专利技术属性】
技术研发人员：周文晖，黄鸿飞，张桦，戴国骏，徐风帆，沈蓉豪，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：