针对无约束图像数据的三维重建方法技术

本发明专利技术公开了一种针对无约束图像数据的三维重建方法

【技术实现步骤摘要】
针对无约束图像数据的三维重建方法、系统、装置及介质


[0001]本专利技术涉及三维重建
，尤其涉及一种针对无约束图像数据的三维重建方法
、
系统
、
装置及介质
。

技术介绍

[0002]新视角合成是计算机视觉中一个长期存在的问题，为虚拟现实和数字人类等应用提供了基础
。
近期，神经辐射场的出现推动了该领域的发展，因为它在重建三维几何形状和从多视角图像集中恢复外观方面表现出了出色的性能
。
然而，神经辐射场假设图像没有可变的外观和移动的物体
(
即静态场景假设
)
，这导致在大规模互联网图像集上的性能下降
。
为了扩展神经辐射场的应用范围，我们的目标是利用这些图像集，提供一个
3D
的沉浸式体验，通过该体验可以从不同角度和时间参观国际地标，例如勃兰登堡门和特雷维喷泉
。
[0003]为了实现这一目标，我们解决了从无约束图像集中恢复外观可控且抗排斥的神经辐射场的问题
。
换句话说，通过重构神经辐射场表示，我们可以根据不同光度条件下的照片控制场景的外观，并消除图像造成的遮挡
。
然而，使用这些图像重建神经辐射场面临以下两个挑战：
1)
不同的外观：在同一地点拍摄的两张照片可能在拍摄时间
、
天气
(
如晴天
、
雨天和雾天
)
以及相机设置
(r/>如光圈
、
快门和
ISO)
等条件下有很大差异，这导致它们看起来截然不同
。2)
瞬时遮挡：即使外观是恒定的，瞬时出现的物体
(
如汽车和行人
)
可能会遮挡场景
。
由于这些物体通常只被一个摄影师拍到，因此实现高质量的物体重建通常是不现实的
。
这些挑战与神经辐射场的静态场景假设相冲突，导致重建结果不准确，出现过度平滑和重影伪影的问题
。
[0004]最近，研究者们提出
NeRF
‑
W
和
Ha
‑
NeRF
来解决上述挑战
。NeRF
‑
W
和
Ha
‑
NeRF
利用单射线方式，其中单个相机射线
(
即从相机延伸的光束通过图像平面上的像素进入
3D
场景
)
作为输入
。
这种方式涉及考虑外观和遮挡因素，然后独立合成新视图的每种颜色的像素
。
这种方式的一个潜在问题是它依赖于每条光线的局部信息
(
例如，单个图像像素的信息
)
来识别外观和瞬态物体
。
相比之下，人类倾向于利用全局信息
(
例如，跨多个图像像素的信息
)
，这种方式可以更全面地了解对象以观察其外观并处理遮挡
。

技术实现思路

[0005]为至少一定程度上解决现有技术中存在的技术问题之一，本专利技术的目的在于提供一种针对无约束图像数据的三维重建方法
、
系统
、
装置及介质
。
[0006]本专利技术所采用的技术方案是：
[0007]一种针对无约束图像数据的三维重建方法，包括以下步骤：
[0008]获取无约束的图片
I
a
，根据神经辐射场原理及网格采样算法，提取
m
条相机光线其中，
m
条相机光线对应
m
个图片像素
[0009]使用多层感知机从相机光线中提取出多光线特征
[0010]提取无约束的图片
I
a
的风格特征
[0011]根据多光线特征和风格特征获取风格转换后的跨光线特征
[0012]将跨光线特征输入渲染器，重建相机光线对应的图片像素的颜色，实现图像的三维重建
。
[0013]进一步地，所述使用多层感知机从相机光线中提取出多光线特征包括：
[0014]使用多层感知机模型
MLP
和体渲染算法
VR
提取多光线特征表达式如下：
[0015][0016][0017]其中，
m*n
是光线的个数，
x
ij
是光线中点的坐标，
d
ij
是光线的方向向量；
σ
ij
是光线中点的密度，
θ1是
MLP
的参数，
δ
ij
是相邻点的距离
。
[0018]进一步地，所述提取无约束的图片
I
a
的风格特征包括：
[0019]使用编码器提取输入图像
I
a
的风格特征表达式如下：
[0020][0021]进一步地，所述根据多光线特征和风格特征获取风格转换后的跨光线特征包括：
[0022]对多光线特征和风格特征的协方差矩阵相乘，获得风格转换后的跨光线特征表达式如下：
[0023][0024][0025]其中
φ1，
φ2，
φ3均表示非线性矩阵映射操作
。
[0026]进一步地，所述三维重建方法还包括以下步骤：
[0027]利用外观损失约束重建的像素颜色的风格特征和原图的像素风格特征一致；
[0028]外观损失的表达式为：
[0029][0030]其中，表示编码器，为，为
L2
范数
。
[0031]进一步地，所述三维重建方法还包括以下步骤：
[0032]利用掩码预测器，对无约束的图片
I
a
进行提取，获得可见图掩码
M
a
；
[0033]利用网格采样算法对可见图掩码
M
a
进行采样，使可见图掩码
M
a
与相机光线配对，得到瞬时物体可见图
M
，表达式如下：
[0034][0035]其中，
GS
为网格采样操作，为分割网络
。
[0036]进一步地，所述三维重建方法还包括以下步骤：
[0037]利用损失函数将瞬时物体可见图
M
与相机光线重建的颜色相乘，约束重建的像素颜色和原图的像素颜色一致，表达式如下：
[0038][0039]其中，为，
⊙
为，
||||1为
L1
范数
。
[0040]本专利技术所采用的另一技术方案是：
[0041]一种针对无约束图像数据的三维重建系统，包括：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种针对无约束图像数据的三维重建方法，其特征在于，包括以下步骤：获取无约束的图片
I
a
，提取
m
条相机光线其中，
m
条相机光线对应
m
个图片像素使用多层感知机从相机光线中提取出多光线特征提取无约束的图片
I
a
的风格特征根据多光线特征和风格特征获取风格转换后的跨光线特征将跨光线特征输入渲染器，重建相机光线对应的图片像素的颜色，实现图像的三维重建
。2.
根据权利要求1所述的一种针对无约束图像数据的三维重建方法，其特征在于，所述使用多层感知机从相机光线中提取出多光线特征包括：使用多层感知机模型
MLP
和体渲染算法
VR
提取多光线特征表达式如下：其中，
m*n
是光线的个数，
x
ij
是光线中点的坐标，
d
ij
是光线的方向向量；
σ
ij
是光线中点的密度，
θ1是
MLP
的参数，
δ
ij
是相邻点的距离
。3.
根据权利要求1所述的一种针对无约束图像数据的三维重建方法，其特征在于，所述提取无约束的图片
I
a
的风格特征包括：使用编码器提取输入图像
I
a
的风格特征表达式如下：
4.
根据权利要求1所述的一种针对无约束图像数据的三维重建方法，其特征在于，所述根据多光线特征和风格特征获取风格转换后的跨光线特征包括：对多光线特征和风格特征的协方差矩阵相乘，获得风格转换后的跨光线特征表达式如下：表达式如下：其中
φ1，
φ2，
φ3均表示非线性矩阵映射操作
。5.
根据权利要求1所述的一种针对无约束图像数据的三维重建方法，其特征在于，所述三维重建方法还包括以下步骤：利用外观损失约束重建的像素颜色的风格特征和原图的像素风格特征一致；外观损失的表达式为：其中，表示编码器，为，为
L2...

【专利技术属性】
技术研发人员：谭明奎，杨逸凡，张书海，黄子雄，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：