一种高质量透明物体重建方法及装置制造方法及图纸

本发明专利技术公开了一种高质量透明物体重建方法及装置，输入围绕透明物体使用手机拍摄的多张

【技术实现步骤摘要】
一种高质量透明物体重建方法及装置


[0001]本专利技术涉及计算机视觉领域，尤其涉及一种高质量透明物体重建方法及装置
。

技术介绍

[0002]真实世界中三维信息的获取一直以来都是计算机图形学和计算机视觉领域一个重要的研究方向
。
随着研究人员及大众对真实物体三维模型化的需求和兴趣的逐渐增长，以及不同应用形式的驱动，例如历史文化遗产的数字化保存，自动驾驶场景的需求等，对真实物体进行三维重建的研究日益活跃
。
过去几十年中，研究人员对漫反射表面物体的三维重建提出了众多不同的重建算法，如全自动扫描，多目立体视觉，光度立体法等
。
实验表明，这些技术能够有效地应用于非透明物体，但是却不能直接应用于透明物体的三维重建
。
因为透明物体与光线之间的相互作用存在复杂的反射和折射关系，几何形状的轻微误差会导致外观的整体变化，导致传统三维重建算法并不能有效地重建透明物体
。
针对透明物体的三维重建方法，无论是从数据采集还是三维重建算法方面，长期以来一直都被认为是很具挑战性的问题
。
同时，透明物体在生活中随处可见，如玻璃杯，水晶饰品等，对其的重建方法在增强现实，工业制造，医学领域中均有重要应用
。
因此，研究如何获得高质量的透明物体模型具有重要和现实的研究意义
。
[0003]目前的透明物体重建方法主要分为两大类：基于传统方法的透明物体重建和基于深度学习方法的透明物体重建
。
基于传统方法的透明物体重建，主要包括两类方法，一是从
X
恢复形状，包括从剪影恢复形状，从反射恢复形状，从红外恢复形状等
。
这类方法或者精度很低或者需要专业的设备和高昂的成本，很难被直接应用到实际场景中；二是断层摄影技术，将重建物体放入不同颜色的折射率相似的溶液中进行重建，该方法是侵入式的，难以适用于名贵物体或文物的三维重建
。
基于深度学习方法的透明物体重建使用基于多视图立体
(Multi
‑
view Stereo)
重建方法
(
如文献
[Zhengqin
，
Li
，
et al.Through the Looking Glass
：
Neural 3DReconstruction of Transparent Shapes.IEEE Conference Proceedings
，
Jan.2020.])
用于透明物体重建
。
但这一类方法存在采集设备较为复杂，通常需要大量图像作为输入进行优化，以及基于点云的显式表示方法很难进行优化等问题
。

技术实现思路

[0004]本专利技术目的在于针对现有技术的不足，提出一种高质量透明物体重建方法及装置
。
[0005]本专利技术的目的是通过以下技术方案来实现的：一种高质量透明物体重建方法，包括：
[0006](1)
围绕透明物体拍摄一系列
RGB
图像序列和对应环境图，并得到这些图像对应的相机姿态以及相机内参和图像所对应的掩码；
[0007](2)
使用神经隐式可微函数建模透明物体的带符号距离场，进而得到透明物体的入射光线和透明物体表面的可微交点；
[0008](3)
通过光场估计模型
PhysicalRendering
建模光线在透明物体中的光路，得到物体的光场信息；具体为：透明物体的入射光线在与透明物体表面的可微交点处发生第一次折射和反射，第一次折射光线与透明物体表面产生第二个可微交点，并在第二个可微交点处发生第二次折射，得到出射光线；入射光线
、
第一次折射光线以及第二次折射光线的方向的关系均遵循斯涅尔定律，入射光线
、
第一次折射光线
、
第一次反射光线以及第二次折射光线的辐射的关系均遵循菲涅尔方程；辐射通过在环境图上采样获取，进而得到入射光线的光场信息；
[0009](4)
在
RGB
图像序列上对神经隐式可微函数和光场估计模型进行优化，基于等值面提取方法得到透明物体模型
。
[0010]进一步地，步骤
(1)
中，通过运动恢复结构方法估计出拍摄图像所对应的相机位姿及相机内参
。
[0011]进一步地，步骤
(1)
中，基于图像分割算法提取
RGB
图像序列掩码
。
[0012]进一步地，步骤
(2)
中，首先利用带符号距离场估计模型
ImplicitNetwork
学习空间中三维点的带符号距离场，并生成光线和透明物体表面的交点，然后利用可微交点生成模型
SampleNetwork
将交点表示为隐式几何和相机参数的可微函数
。
[0013]进一步地，步骤
(3)
中，通过球面追踪方法计算入射光线与透明物体表面的可微交点，通过光线前进方法计算第一次折射光线与透明物体表面的第二个可微交点
。
[0014]进一步地，步骤
(4)
中，基于透明物体的带符号距离场
、
通过光场信息生成的图像和掩码与原
RGB
图像和对应掩码一起计算混合损失函数，用于反向传播更新隐式可微函数参数，优化带符号距离场，基于等值面提取方法，从带符号距离场中提取显式几何作为三维透明物体模型
。
[0015]第二方面，本专利技术还提供了一种高质量透明物体重建装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现所述的一种高质量透明物体重建方法
。
[0016]第三方面，本专利技术还提供了一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时，实现所述的一种高质量透明物体重建方法
。
[0017]本专利技术的有益效果：
[0018]1)
物理模型的引入解决了隐式可微渲染器方法无法处理透明物体复杂光路的问题；
[0019]2)
隐式可微渲染器用带符号距离场来表示物体几何，提高了三维模型重建的精度，同时基于物理模型的隐式可微渲染器可以得到与输入图像高度一致的渲染结果，解决了显式模型表达能力不够丰富的问题；
[0020]3)
抛弃物理设备和结构化背光的采集条件要求，实现基于普通
RGB
图像的高质量透明物体重建
。
附图说明
[0021]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种高质量透明物体重建方法，其特征在于，包括：
(1)
围绕透明物体拍摄一系列
RGB
图像序列和对应环境图，并得到这些图像对应的相机姿态以及相机内参和图像所对应的掩码；
(2)
使用神经隐式可微函数建模透明物体的带符号距离场，进而得到透明物体的入射光线和透明物体表面的可微交点；
(3)
通过光场估计模型
PhysicalRendering
建模光线在透明物体中的光路，得到物体的光场信息；具体为：透明物体的入射光线在与透明物体表面的可微交点处发生第一次折射和反射，第一次折射光线与透明物体表面产生第二个可微交点，并在第二个可微交点处发生第二次折射，得到出射光线；入射光线
、
第一次折射光线以及第二次折射光线的方向的关系均遵循斯涅尔定律，入射光线
、
第一次折射光线
、
第一次反射光线以及第二次折射光线的辐射的关系均遵循菲涅尔方程；辐射通过在环境图上采样获取，进而得到入射光线的光场信息；
(4)
在
RGB
图像序列上对神经隐式可微函数和光场估计模型进行优化，基于等值面提取方法得到透明物体模型
。2.
根据权利要求1所述的一种高质量透明物体重建方法，其特征在于，步骤
(1)
中，通过运动恢复结构方法估计出拍摄图像所对应的相机位姿及相机内参
。3.
根据权利要求1所述的一种高质量透明物体重建方法，其特征在于，步骤
(1)
中，基于图像分割算法提取
R...

【专利技术属性】
技术研发人员：周晓巍，张靖萌，吴博剑，
申请(专利权)人：浙江大学，
类型：发明
国别省市：