三维重建物体光照信息的获取方法和装置制造方法及图纸

本公开实施例公开了一种三维重建物体光照信息的获取方法和装置

【技术实现步骤摘要】
三维重建物体光照信息的获取方法和装置、设备和介质


[0001]本公开涉及物体建模
，尤其是一种三维重建物体光照信息的获取方法和装置
、
设备和介质
。

技术介绍

[0002]基于神经辐射场
(Neural Radiance Field
，
NeRF)
的物体建模方法，可以根据多张二维全景图完成物体的三维重建，还可以基于神经渲染的方式还原出拍摄物体时候环境的光照变化
。
[0003]目前
NeRF
建模方法，通常在虚拟三维空间中放置三维重建物体，通过移动相机的方式去改变观测角度，然后通过神经渲染的方式逐像素的渲染出三维重建物体表面的光照感
。
但是，当用户在固定点位观看物体时经常会发现三维重建物体光照渲染错误的情况
。
[0004]如何正确渲染三维重建物体的光照，是一个亟待解决的问题
。

技术实现思路

[0005]本公开实施例提供一种三维重建物体光照信息的获取方法和装置
、
设备和介质，以解决上述问题
。
[0006]本公开实施例的第一方面，提供一种三维重建物体光照信息的获取方法，包括：
[0007]获取目标物体在虚拟空间的三维模型；
[0008]获取以所述目标物体的中心为坐标系原点的三维坐标系下，虚拟相机的空间坐标和所述目标物体表面上目标像素点的齐次坐标；
[0009]基于所述目标像素点的齐次坐标和所述虚拟相机的空间坐标，确定所述虚拟相机朝向所述目标像素点的相机视线；
[0010]基于所述相机视线对所述目标像素点进行光照渲染，得到所述目标像素点的光照值
。
[0011]在本公开的一个实施例中，所述获取目标物体在虚拟空间的三维模型，包括：
[0012]基于神经辐射场的建模方法，在所述虚拟空间对所述目标物体进行三维重建，得到所述三维模型
。
[0013]在本公开的一个实施例中，所述获取以所述目标物体的中心为坐标系原点的三维坐标系下，虚拟相机的空间坐标和所述目标物体表面上目标像素点的齐次坐标，包括：
[0014]基于所述目标像素点在虚拟坐标系的像素虚拟坐标
、
所述三维坐标系的原点坐标，以及所述虚拟坐标系和世界坐标系之间的变换矩阵，确定所述目标像素点的齐次坐标；
[0015]基于所述虚拟相机在虚拟坐标系的相机虚拟坐标
、
所述三维坐标系的原点坐标，以及所述变换矩阵，确定所述虚拟相机的空间坐标
。
[0016]在本公开的一个实施例中，所述基于所述目标像素点在虚拟坐标系的像素虚拟坐标
、
所述三维坐标系的原点坐标，以及所述虚拟坐标系和世界坐标系之间的变换矩阵，确定所述目标像素点的齐次坐标，包括：
[0017]基于所述像素虚拟坐标和所述变换矩阵，确定所述目标像素点在所述世界坐标系的像素世界坐标；
[0018]基于所述像素世界坐标和所述三维坐标系的原点坐标，确定所述目标像素点的齐次坐标
。
[0019]在本公开的一个实施例中，所述基于所述虚拟相机在虚拟坐标系的相机虚拟坐标
、
所述三维坐标系的原点坐标，以及所述变换矩阵，确定所述虚拟相机的空间坐标，包括：
[0020]基于所述相机虚拟坐标和所述三维坐标系的原点坐标，确定所述虚拟相机的向量坐标；
[0021]基于所述虚拟相机的向量坐标和所述变换矩阵的逆矩阵，确定所述虚拟相机的空间坐标
。
[0022]在本公开的一个实施例中，所述基于所述目标像素点的相机视线对所述目标像素点进行光照渲染，得到所述目标像素点的光照值，包括：
[0023]获取所述目标物体的反射贴图信息和法线贴图信息；
[0024]利用神经网络，基于所述目标像素点的相机视线
、
所述反射贴图信息和所述法线贴图信息中的至少一种进行卷积计算，基于卷积计算结果确定所述目标像素点的光照值
。
[0025]在本公开的一个实施例中，在得到所述目标像素点的光照值之后，还包括：
[0026]将所述虚拟相机固定在所述虚拟空间内的预设位置，获取所述目标物体表面至少一个像素的光照值；
[0027]从所述三维模型提取所述目标物体表面至少一个像素的颜色值；
[0028]基于所述三维模型
、
所述目标物体表面至少一个像素的光照值和所述目标物体表面至少一个像素的颜色值，得到所述目标物体在虚拟空间的三维光照颜色模型
。
[0029]本公开实施例的第二方面，提供一种三维重建物体光照信息的获取装置，包括：
[0030]三维模型获取模块，用于获取目标物体在虚拟空间的三维模型；
[0031]坐标获取模块，用于获取以所述目标物体的中心为坐标系原点的三维坐标系下，所述虚拟相机的空间坐标和所述目标物体表面上目标像素点的齐次坐标；
[0032]相机视线获取模块，用于基于所述目标像素点的齐次坐标和所述虚拟相机的空间坐标，确定所述虚拟相机朝向所述目标像素点的相机视线；
[0033]光照值获取模块，用于基于所述相机视线对所述目标像素点进行光照渲染，得到所述目标像素点的光照值
。
[0034]在本公开的一个实施例中，所述三维模型获取模块用于基于神经辐射场的建模方法，在所述虚拟空间对所述目标物体进行三维重建，得到所述三维模型
。
[0035]在本公开的一个实施例中，所述坐标获取模块用于基于所述目标像素点在虚拟坐标系的像素虚拟坐标
、
所述三维坐标系的原点坐标，以及所述虚拟坐标系和世界坐标系之间的变换矩阵，确定所述目标像素点的齐次坐标；所述坐标获取模块还用于基于所述虚拟相机在虚拟坐标系的相机虚拟坐标
、
所述三维坐标系的原点坐标，以及所述变换矩阵，确定所述虚拟相机的空间坐标
。
[0036]在本公开的一个实施例中，所述坐标获取模块用于基于所述像素虚拟坐标和所述变换矩阵，确定所述目标像素点在所述世界坐标系的像素世界坐标；所述坐标获取模块还用于基于所述像素世界坐标和所述三维坐标系的原点坐标，确定所述目标像素点的齐次坐
标
。
[0037]在本公开的一个实施例中，所述坐标获取模块用于基于所述相机虚拟坐标和所述三维坐标系的原点坐标，确定所述虚拟相机的向量坐标；所述坐标获取模块还用于基于所述虚拟相机的向量坐标和所述变换矩阵的逆矩阵，确定所述虚拟相机的空间坐标
。
[0038]在本公开的一个实施例中，所述光照值获取模块用于获取所述目标物体的反射贴图信息和法线贴图信息；所述光照值获取模块还用于利用神经网络，基于所述目标像素点的相机视线
、
所述反射贴图信息和所述法线贴图信息中的至少一种进行卷积计算，基于卷积计算结果确定所述目标像素点的光照值
。...

【技术保护点】

【技术特征摘要】
1.
一种三维重建物体光照信息的获取方法，其特征在于，包括：获取目标物体在虚拟空间的三维模型；获取以所述目标物体的中心为坐标系原点的三维坐标系下，虚拟相机的空间坐标和所述目标物体表面上目标像素点的齐次坐标；基于所述目标像素点的齐次坐标和所述虚拟相机的空间坐标，确定所述虚拟相机朝向所述目标像素点的相机视线；基于所述相机视线对所述目标像素点进行光照渲染，得到所述目标像素点的光照值
。2.
根据权利要求1所述的方法，其特征在于，所述获取目标物体在虚拟空间的三维模型，包括：基于神经辐射场的建模方法，在所述虚拟空间对所述目标物体进行三维重建，得到所述三维模型
。3.
根据权利要求1所述的方法，其特征在于，所述获取以所述目标物体的中心为坐标系原点的三维坐标系下，虚拟相机的空间坐标和所述目标物体表面上目标像素点的齐次坐标，包括：基于所述目标像素点在虚拟坐标系的像素虚拟坐标
、
所述三维坐标系的原点坐标，以及所述虚拟坐标系和世界坐标系之间的变换矩阵，确定所述目标像素点的齐次坐标；基于所述虚拟相机在虚拟坐标系的相机虚拟坐标
、
所述三维坐标系的原点坐标，以及所述变换矩阵，确定所述虚拟相机的空间坐标
。4.
根据权利要求3所述的方法，其特征在于，所述基于所述目标像素点在虚拟坐标系的像素虚拟坐标
、
所述三维坐标系的原点坐标，以及所述虚拟坐标系和世界坐标系之间的变换矩阵，确定所述目标像素点的齐次坐标，包括：基于所述像素虚拟坐标和所述变换矩阵，确定所述目标像素点在所述世界坐标系的像素世界坐标；基于所述像素世界坐标和所述三维坐标系的原点坐标，确定所述目标像素点的齐次坐标
。5.
根据权利要求3所述的方法，其特征在于，所述基于所述虚拟相机在虚拟坐标系的相机虚拟坐标
、
所述三维坐标系的原点坐标，以及所述变换矩阵，确定所述虚拟相机的空间坐标，包括：基于所述相机虚拟坐标和所述三维坐标系的原点坐标，确定所述虚拟相机的...

【专利技术属性】
技术研发人员：李沛伦，
申请(专利权)人：如你所视北京科技有限公司，
类型：发明
国别省市：