一种融合深度估计的神经隐式表面重建方法及装置制造方法及图纸

本发明专利技术涉及一种融合深度估计的神经隐式表面重建方法及装置

【技术实现步骤摘要】
层，最后一个卷积层输出一个1通道体积，最后沿深度方向应用
softmax
激活函数进行概率归一化；
[0014]使用稀疏深度图和预测深度值的误差作为损失函数监督
3D
卷积网络训练，只考虑稀疏深度数据中那些有效的像素点，损失函数如下：
[0015][0016]其中，
p
valid
表示有深度值的像素点的集合，为稀疏深度信息，为深度预测值；
‖
·
‖1为1范数，表示其中所有元素绝对值之和；
[0017]步骤
S5
，使用所述
3D
优化卷积网络处理所述场景多视角图像，得到每张场景多视角图像的估计深度图；
[0018]步骤
S6
，使用每张场景多视角图像的估计深度图指导优化神经隐式表面模型，得到神经隐式优化表面模型；
[0019]步骤
S7
，将所述场景多视角图像
、
所述相机位姿信息和每张场景多视角图像的估计深度图输入所述神经隐式优化表面模型，得到重建场景中每一点的颜色和深度信息；...

【技术保护点】

【技术特征摘要】
1.
一种融合深度估计的神经隐式表面重建方法，其特征在于，包括以下步骤：步骤
S1
，使用场景多视角图像，基于
COLMAP
软件，得到稀疏深度图和相机位姿信息；步骤
S2
，将所述场景多视角图像基于
2D
卷积神经网络进行特征提取，得到特征图；步骤
S3
，将所述相机位姿信息和对应场景多视角图像提取出来的特征图通过可微分的单应性变换，得到
3D
代价体；步骤
S4
，使用
3D
卷积网络对所述
3D
代价体进行训练，得到预测深度值，使其与所述步骤
S1
中稀疏深度图的误差最小化，从而优化网络参数，得到
3D
优化卷积网络；其中，所述
3D
卷积网络采用多尺度
3D CNN
，采用四层网络，使用编码器
‑
解码器结构，第一个
3D
卷积层将
32
通道成本量减少到8通道，并将每个尺度内的卷积从3层更改为2层，最后一个卷积层输出一个1通道体积，最后沿深度方向应用
softmax
激活函数进行概率归一化；使用稀疏深度图和预测深度值的误差作为损失函数监督
3D
卷积网络训练，只考虑稀疏深度数据中那些有效的像素点，损失函数如下：其中，
p
valid
表示有深度值的像素点的集合，为稀疏深度信息，为深度预测值；
‖
·
‖1为1范数，表示其中所有元素绝对值之和；步骤
S5
，使用所述
3D
优化卷积网络处理所述场景多视角图像，得到每张场景多视角图像的估计深度图；步骤
S6
，使用每张场景多视角图像的估计深度图指导优化神经隐式表面模型，得到神经隐式优化表面模型；步骤
S7
，将所述场景多视角图像
、
所述相机位姿信息和每张场景多视角图像的估计深度图输入所述神经隐式优化表面模型，得到重建场景中每一点的颜色和深度信息；步骤
S8
，提取所述重建场景的几何曲面，以输出高分辨率三维网格模型
。2.
根据权利要求1所述的融合深度估计的神经隐式表面重建方法，其特征在于，所述步骤
S3
具体包括以下内容：先从所述步骤
S2
得到的
N
张特征图中抽取出来的一张特征图
F
i
作为参考图像，同时抽取与之相邻的两张特征图
F
i+1
和特征图
F
i+2
作为源图像，为对应特征的所述相机位姿信息，所述相机位姿信息包括相机内参
、
旋转和平移位姿信息；然后，将特征图
F
i+1
和特征图
F
i+2
通过可微的单应性矩阵
H
j
(d)
，进行空间变换，把坐标变到深度为
d
的特征图
F
i
平行平面上，这一步的坐标转换公式为：
x
i
＝
H
j
(d)x
j
其中，
E
为单位矩阵；
n
i
为参考图
F
i
的主轴；
x
i
表示第
j
张特征图转换后的坐标；
H
j
(d)
表示对于第
j
个源图像，映射到深度
d
的特征参考图
F
i
上的单应性矩阵；
K
i
表示第
i
张特征参考图的相机内参；
K
j
表示第
j
张源图像的相机内参；
R
i
表示第
i
张特征参考图的相机旋转矩阵；
R
j
表示第
j
张源图像的相机旋转矩；
tr
i
表示第
i
张特征参考图的相机平移位姿信息；
tr
j
表示第
j
张源图像的相机平移位姿信息；通过单应性变换，
N
张特征图可形成
N
个特征体素取所有
3D
特征体素的平均值，得到
3D
代价体
。3.
根据权利要求1所述的融合深度估计的神经隐式表面重建方法，其特征在于，所述步骤
S6
具体包括以下内容：步骤
S61
，将场景的形状表示为带符号的距离函数
s
＝
SDF(x)
；步骤
S62
，对每一个所述场景多视角图像的像素沿着射线采样；步骤
S63
，对采样点
q
位置
x
和相机位姿
v<...

【专利技术属性】
技术研发人员：华璟，刘梦婷，孙杰，
申请(专利权)人：浙江工商大学，
类型：发明
国别省市：