一种三维场景几何、材质与光照解耦和编辑系统技术方案

本发明专利技术提供了一种三维场景几何、材质与光照解耦和编辑系统，所述系统包括：几何重建模块，解码模块和编辑模块，其中：所述几何重建模块用于根据对三维场景采集的一组带有相机位姿的图像，以显式的三角网格重建三维场景的几何，并建立输入的图像及其相机与所述三角网格的位置关系；所述解码模块被配置为：根据三角网格的顶点上的几何特征和材质特征来确定采样点到所述三角网格的带符号距离和采样点的颜色，并进行渲染，根据输入的图像的像素颜色和对应像素的渲染颜色，更新各顶点上的几何特征、材质特征以及可学习的显示环境光照贴图；所述编辑模块被配置为：获取用户的自定义视角，向用户提供：几何编辑功能、材质编辑功能和光照编辑功能。光照编辑功能。光照编辑功能。

【技术实现步骤摘要】
一种三维场景几何、材质与光照解耦和编辑系统


[0001]本专利技术涉及计算机图形学和数字媒体
，具体来说，特别涉及一种三维场景几何、材质与光照解耦和编辑系统。

技术介绍

[0002]神经辐射场最初只是用于重建三维场景并渲染输入三维场景的新视角下的图像，最近一些研究人员对神经辐射场的几何、外观、和光照进行编辑。第一个对神经辐射场的外观进行编辑的工作是Steven Liu等人在2021年提出的“Editing conditional radiance fields”，该工作的想法是将三维场景的几何和外观分别用一个可学习的特征表示，在编辑三维场景的某一个视角下的图像后，可以对三维场景的外观特征表示进行优化，使得三维场景渲染的结果和编辑后的图像接近，但该工作只能支持对同一类物体的编辑，并且需要依赖一个较大的同类物体数据集才能进行训练，难以泛化到一般场景上。由Fanbo Xiang等人提出“Neutex:Neural texture mapping for volumetric neural rendering”，该工作是使用一个纹理坐标映射网络将神经辐射场三维空间中的采样点映射到二维平面，之后利用采样点的二维坐标预测该点的颜色值，在对三维场景进行编辑时则是在纹理的二维平面上进行编辑，然而该方法导出的纹理映射比较杂乱，使得编辑变得非常困难。由Pratul P Srinivasan等人提出“NeRV:Neural reflectance and visibility fields for relighting and view synthesis”，该方法可以在已知光照条件的情况下解耦出神经辐射场的几何和材质，但是该方法难以对未知光照条件情况下的三维场景进行解耦。由Mark Boss等人提出“NeRD:Neural reflectance decomposition from image collections”利用一组球面高斯函数逼近三维场景的光照，该方法可以在未知光源信息的条件下得到场景的材质和光照信息，然而该方法并没有考虑阴影的解耦，在解耦得到的材质中往往会有阴影的残留，因此在进行外观编辑后，对编辑结果进行渲染，其渲染结果往往会在编辑区域发生闪烁而无法保持正确的编辑效果。
[0003]神经辐射场是一种新兴的三维场景表示方法，可以实现三维场景的新视角合成并得到逼真的渲染结果，然而神经辐射场通常将三维场景的几何、外观和光照属性利用几个多层感知器网络编码在一起，通过几个多层感知器网络预测每条射线上多个采样点的密度值和颜色，用于渲染射线对应的像素。但是，由于现有技术没有解耦出几何、外观和光照属性，造成对密度值产生干扰，以致于神经辐射场的编辑结果无法呈现多视角一致性，阻碍了后续的神经辐射场的应用；另外，密度值也不能直观地反映出物体的几何，导致模型较难学习到准确表达物体几何的知识，使得一些渲染图像的物体表面出现异常(比如凹陷、突出、缺口等)。
[0004]因此，亟需一种能够解决在对三维场景的图像进行材质编辑和光照编辑时无法保持多视角一致性的解耦编辑系统。

技术实现思路

[0005]因此，本专利技术的目的在于克服上述现有技术的缺陷，提供一种三维场景几何、材质与光照解耦和编辑系统。
[0006]本专利技术的目的是通过以下技术方案实现的：
[0007]根据本专利技术提供的一种三维场景几何、材质与光照解耦和编辑系统，所述系统包括：几何重建模块，解码模块和编辑模块；其中：所述几何重建模块，被配置为：根据对三维场景采集的一组带有相机位姿的图像，以显式的三角网格重建三维场景的几何，并建立输入的图像及其相机与所述三角网格的位置关系；所述解码模块，被配置为：获取所述三角网格，并在所述三角网格的顶点上初始化几何特征和材质特征，基于所述位置关系，从输入的图像的相机原点发出多条射线分别指向图像的多个像素；在每条射线上采集多个采样点，根据采样点到所述三角网格上多个近邻的顶点的距离、近邻的顶点上的几何特征和材质特征，确定采样点的几何特征和材质特征；根据采样点到所述三角网格表面的距离、采样点的几何特征和材质特征，以及可学习的显式环境光照贴图，确定采样点到所述三角网格的带符号距离和采样点的颜色；在每条射线上，根据各采样点到所述三角网格的带符号距离和采样点的颜色，进行体渲染，得到对应像素的渲染颜色；根据输入的图像的像素颜色和对应像素的渲染颜色，更新各顶点上的几何特征、材质特征以及可学习的显示环境光照贴图；所述编辑模块，被配置为：获取用户的自定义视角，向用户提供：几何编辑功能，用于支持用户对所述三角网格的形态进行编辑；材质编辑功能，用于支持用户调用解码模块渲染出自定义视角的图像进行图像域编辑，并根据图像域编辑的结果更新三角网格上受影响的顶点的材质特征；光照编辑功能，用于支持用户对可学习的显式环境光照贴图进行替换以实现光照编辑。
[0008]在本专利技术的一些实施例中，所述几何重建模块被配置为：获取对三维场景采集的一组带有相机位姿的图像，从相机原点发出多条虚拟射线分别指向图像的多个像素；在各虚拟射线上分别采样多个原始采样点，得到各原始采样点的坐标，该坐标含有三维位置和相机位姿信息得到的视角方向；将各原始采样点的坐标分别输入经训练的隐式函数网络，以预测各原始采样点到输入的图像中物体表面的有符号距离值；基于各原始采样点到输入的图像中物体表面的有符号距离值，利用行进立方体算法得到所述显式的三角网格。
[0009]在本专利技术的一些实施例中，所述经训练的隐式函数网络按照以下方式训练得到：获取多个第一训练样本和第一标签，每个第一训练样本为一条虚拟射线上多个原始采样点的坐标，该坐标含有三维位置和相机位姿信息得到的视角方向，所述第一标签为第一训练样本对应的虚拟射线所穿透的输入的图像的像素的RGB颜色；利用隐式函数网络对所述第一训练样本的各个原始采样点分别处理得到各原始采样点到输入图像中物体表面的原始有符号距离值和对应的高维特征；将每个采样点的高维特征分别利用一层全连接网络进行处理得到原始采样点的原始漫反射颜色、原始粗糙度属性和原始镜面反射属性；利用第一光照解码器将原始有符号距离值对原始采样点的三维位置求导得到的原始法相与视角方向的点积、反射方向和原始粗糙度属性进行处理得到原始采样点的原始光照强度，并将所述原始光照强度和原始镜面反射属性相乘得到原始镜面反射颜色；基于所述原始镜面反射颜色和原始漫反射颜色，得到每个原始采样点的原始颜色；利用体渲染方式根据各条虚拟射线上的多个原始采样点的密度值和原始颜色，进行体渲染，得到各条虚拟射线对应像素
的渲染颜色，其中，所述原始采样点的密度值基于原始有符号距离转换得到；根据各条虚拟射线对应像素的渲染颜色和所述第一标签确定第一损失值，并根据第一损失值求梯度反向更新隐式函数网络、第一光照解码器和一层全连接网络的参数。
[0010]在本专利技术的一些实施例中，所述第一损失值按照如下方式确定：
[0011][0012]其中，V表示的是虚拟射线的集合，C(v)表示的是各条虚拟射线v对应像素的渲染颜色，C
t
(v)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维场景几何、材质与光照解耦和编辑系统，其特征在于，所述系统包括：几何重建模块，解码模块和编辑模块，其中：所述几何重建模块，被配置为：根据对三维场景采集的一组带有相机位姿的图像，以显式的三角网格重建三维场景的几何，并建立输入的图像及其相机与所述三角网格的位置关系；所述解码模块，被配置为：获取所述三角网格，并在所述三角网格的顶点上初始化几何特征和材质特征，基于所述位置关系，从输入的图像的相机原点发出多条射线分别指向图像的多个像素；在每条射线上采集多个采样点，根据采样点到所述三角网格上多个近邻的顶点的距离、近邻的顶点上的几何特征和材质特征，确定采样点的几何特征和材质特征；根据采样点到所述三角网格表面的距离、采样点的几何特征和材质特征，以及可学习的显式环境光照贴图，确定采样点到所述三角网格的带符号距离和采样点的颜色；在每条射线上，根据各采样点到所述三角网格的带符号距离和采样点的颜色，进行体渲染，得到对应像素的渲染颜色；根据输入的图像的像素颜色和对应像素的渲染颜色，更新各顶点上的几何特征、材质特征以及可学习的显示环境光照贴图；所述编辑模块，被配置为：获取用户的自定义视角，向用户提供：几何编辑功能，用于支持用户对所述三角网格的形态进行编辑；材质编辑功能，用于支持用户调用解码模块渲染出自定义视角的图像进行图像域编辑，并根据图像域编辑的结果更新三角网格上受影响的顶点的材质特征；光照编辑功能，用于支持用户对可学习的显式环境光照贴图进行替换以实现光照编辑。2.根据权利要求1中所述的系统，其特征在于，所述几何重建模块被配置为：获取对三维场景采集的一组带有相机位姿的图像，从相机原点发出多条虚拟射线分别指向图像的多个像素；在各虚拟射线上分别采样多个原始采样点，得到各原始采样点的坐标，该坐标含有三维位置和相机位姿信息得到的视角方向；将各原始采样点的坐标分别输入经训练的隐式函数网络，以预测各原始采样点到输入的图像中物体表面的有符号距离值；基于各原始采样点到输入的图像中物体表面的有符号距离值，利用行进立方体算法得到所述显式的三角网格。3.根据权利要求2中所述的系统，其特征在于，所述经训练的隐式函数网络按照以下方式训练得到：获取多个第一训练样本和第一标签，每个第一训练样本为一条虚拟射线上多个原始采样点的坐标，该坐标含有三维位置和相机位姿信息得到的视角方向，所述第一标签为第一训练样本对应的虚拟射线所穿透的输入的图像的像素的RGB颜色；利用隐式函数网络对所述第一训练样本的各个原始采样点分别处理得到各原始采样点到输入图像中物体表面的原始有符号距离值和对应的高维特征；
将每个采样点的高维特征分别利用一层全连接网络进行处理得到原始采样点的原始漫反射颜色、原始粗糙度属性和原始镜面反射属性；利用第一光照解码器将原始有符号距离值对原始采样点的三维位置求导得到的原始法相与视角方向的点积、反射方向和原始粗糙度属性进行处理得到原始采样点的原始光照强度，并将所述原始光照强度和原始镜面反射属性相乘得到原始镜面反射颜色；基于所述原始镜面反射颜色和原始漫反射颜色，得到每个原始采样点的原始颜色；利用体渲染方式根据各条虚拟射线上的多个原始采样点的密度值和原始颜色，进行体渲染，得到各条虚拟射线对应像素的渲染颜色，其中，所述原始采样点的密度值基于原始有符号距离转换得到；根据各条虚拟射线对应像素的渲染颜色和所述第一标签确定第一损失值，并根据第一损失值求梯度反向更新隐式函数网络、第一光照解码器和一层全连接网络的参数。4.根据权利要求3中所述的系统，其特征在于，所述第一损失值按照如下方式确定：其中，V表示的是虚拟射线的集合，C(v)表示的是各条虚拟射线v对应像素的渲染颜色，C
t
(v)表示的是虚拟射线v在输入图像上对应的像素点的RGB颜色，x
v,i
是虚拟射线v上第i个原始采样点的坐标，表示的是隐式函数网络F(x)在x
v,i
处求导得到的梯度。5.根据权利要求2中所述的系统，其特征在于，所述解码模块部署有经训练的几何解码器、材质解码器和第二光照解码器，其中：所述经训练的几何解码器用于根据采样点到所述三角网格上多个近邻的顶点的距离、顶点上的几何特征确定的采样点的几何特征和采样点到所述三角网格表面的距离进行解码...

【专利技术属性】
技术研发人员：高林，吴桐，孙嘉木，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：