当前位置: 首页 > 专利查询>清华大学专利>正文

三维几何重建方法、装置、电子设备及存储介质制造方法及图纸

技术编号:37678686 阅读:42 留言:0更新日期:2023-05-26 04:45
本申请涉及三维计算机视觉技术领域,特别涉及一种三维几何重建方法、装置、电子设备及存储介质,其中,方法包括:采集目标在不同光照条件下的图像数据;识别图像数据中目标在不同光照条件下投射的阴影信息;基于阴影信息对目标的可见区域与不可见区域进行三维几何重建,得到以神经距离场表达的三维几何。由此,解决了相关技术中三维几何重建成本高、标定复杂且难以推广等问题。难以推广等问题。难以推广等问题。

【技术实现步骤摘要】
三维几何重建方法、装置、电子设备及存储介质


[0001]本申请涉及三维计算机视觉
,特别涉及一种三维几何重建方法、装置、设备及存储介质。

技术介绍

[0002]基于单张单视角图片进行三维重建是一个欠定问题。一些方法通过引入一些先验信息减少欠定性,实现三维重建,但它们需要额外构建先验信息且往往只适用于一类物体。另一些方法通过用多种光照照射场景来采集更多场景信息,比较典型的是光度立体法(Photometric Stereo),但是它们往往只能重建出以二维法向图或者深度图表达的几何。
[0003]神经场是一种涉及神经网络的新兴三维几何表示方式,有着精度高、拓扑结构灵活等优势。这类方法通常用一个多层感知机网络表达三维场景,这个网络输入查询的三维位置信息,输出查询点的几何信息比如距离物体表面的有向距离。目前基于神经场的三维重建方法往往需要多视角拍摄的图片作为输入,导致重建成本高。

技术实现思路

[0004]本申请提供一种三维几何重建方法、装置、电子设备及存储介质,以解决相关技术中三维几何重建成本高、标定复杂且难以推广等问题。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维几何重建方法,其特征在于,包括以下步骤:采集目标在不同光照条件下的图像数据;识别所述图像数据中所述目标在不同光照条件下投射的阴影信息;基于所述阴影信息对所述目标的可见区域与不可见区域进行三维几何重建,得到以神经距离场表达的三维几何。2.根据权利要求1所述的方法,其特征在于,所述基于所述阴影信息对所述目标的可见区域与不可见区域进行三维几何重建,得到以神经距离场表达的三维几何,包括:将所述目标的三维几何表示为全连接神经网络;基于可导渲染算法模拟不同光照条件下的光线传播方向,对所述全连接神经网络的参数进行优化迭代,直到满足迭代停止条件时,得到所述目标的神经距离场,完成对所述目标的可见区域与不可见区域的三维几何重建。3.根据权利要求2所述的方法,其特征在于,每个迭代步骤包括:将拟合目标设定为随机一张图像中的随机一部分像素,像素对应已知方向的光线,模拟已知方向的光线行进的过程,用光线行进算法找到第一条光线和有向距离场表示的表面的第一个交点,其中,如果光线不和有向距离场相交,则将表面点设为光线和已知地面的交点,并使用隐式微分法将交点位置变为对神经网络参数可导的形式;从表面位置出发,沿着已知的光源方向对第二条光线模拟,建模对光源的可见性,在第二条光线上均匀采样采样点,查询每个点的有向距离,并可导得到将有向距离转换成密度值,对密度值进行体积渲染得到光源发出的光线在到达表面交点时的入射光强度;查询所述全连接神经网络得到表面的材质信息和法向信息,结合入射光强度构建渲染方程,基于所述渲染方程计算表面点在采集视角下的出射光颜色,并利用损失约束所述出射光颜色与相机拍摄到的像素值,优化所述神经网络中表示有向距离和材质的参数,完成一个迭代步骤。4.根据权利要求1所述的方法,其特征...

【专利技术属性】
技术研发人员:徐枫凌精望
申请(专利权)人:清华大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1