基于神经辐射场的三维模型贴图方法技术

本发明专利技术提供一种基于神经辐射场的三维模型贴图方法

【技术实现步骤摘要】
基于神经辐射场的三维模型贴图方法、系统、存储介质及终端


[0001]本专利技术涉及纹理贴图
，特别是涉及一种基于神经辐射场的三维模型贴图方法
、
系统
、
存储介质及终端
。

技术介绍

[0002]三维模型本质是物体多边形的表示，通常由网格和纹理两部分构成
。
所述网格包括由众多点云连接而成的三角形
、
四边形或者其他简单凸多边形，所述纹理包括物体表面的沟纹和贴图
。
当所述纹理按照特定的方式映射到物体表面上时，能使物体看上去更真实，且更贴合模型实际的材质
。
[0003]现有的三维模型贴图方法可以为模型表面的每个三角面自动选择贴图图像，但由于每个三角面只能从多视角图像中选择其中一张图像进行贴图，在相邻三角面的贴图来源发生变化时，容易出现颜色的突变，从而降低三维模型的可视效果
。
此外，现有的三维模型贴图方法只适用于具有漫反射的物体表面，而无法对具有高光反射的物体表面进行高光贴图
。
[0004]神经辐射场使用多层感知机构成的神经网络来对复杂的三维场景进行隐式建模，仅使用多视角图像和相机位姿对网络模型进行训练，可以渲染出任意视点和观察方向下清晰的场景图像
。
神经辐射场隐函数模型本质是对三维空间中任意点在不同观察方向上的密度和颜色进行建模，因此可以使用神经辐射场隐函数模型沿观察方向计算积分，以获取模型表面任意点处的颜色，基于所述颜色合成模型表面的贴图
。

技术实现思路

[0005]鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种基于神经辐射场的三维模型贴图方法
、
系统
、
存储介质及终端，相比于现有的三维模型贴图方法，本专利技术利用漫反射贴图
、
高光贴图
、
高光级别贴图和光泽贴图来渲染模型，使生成的贴图不仅适用于纯漫反射物体，还适用于金属
、
瓷砖等具有高光材质的物体，提高了三维模型的渲染效果，使其更贴合真实的模型材质
。
[0006]为实现上述目的及其他相关目的，本专利技术提供一种基于神经辐射场的三维模型贴图方法，包括以下步骤：将三维模型的表面展开至
UV
坐标系；从所述
UV
坐标系中获取所述三维模型的表面采样点；基于所述表面采样点，计算高光反射颜色
、
漫反射颜色
、
高光级别和光泽度；基于所述高光反射颜色合成高光反射贴图，基于所述漫反射颜色合成漫反射贴图，基于所述高光级别合成高光级别贴图，基于所述光泽度合成光泽贴图
。
[0007]于本专利技术一实施例中，从所述
UV
坐标系中获取所述三维模型的表面采样点包括以下步骤：栅格化所述三维模型表面上的所有网格；对栅格化的所述所有网格进行均匀采样
。
[0008]于本专利技术一实施例中，基于所述表面采样点，计算高光反射颜色
、
漫反射颜色
、
高光级别和光泽度包括以下步骤：
[0009]基于所述表面采样点确定粗略的法线方向；
[0010]基于所述粗略的法线方向确定粗略的高光反射方向；
[0011]基于所述粗略的高光反射方向，利用神经辐射场计算高光反射颜色，并确定高光反射方向；
[0012]基于所述高光反射方向，利用神经辐射场计算漫反射颜色
、
高光级别和光泽度
。
[0013]于本专利技术一实施例中，基于所述表面采样点确定粗略的法线方向包括以下步骤：
[0014]基于所述表面采样点选定第一观察方向；
[0015]利用神经辐射场沿每个所述第一观察方向计算颜色和密度，以确定每个所述第一观察方向上达到颜色阈值且达到密度阈值的第一特征点；
[0016]计算所述第一特征点与所述表面采样点之间的距离；
[0017]去除大于距离阈值的所述第一特征点所在的第一观察方向；
[0018]对剩余的所述第一观察方向求向量和，并将其反方向作为粗略的法线方向
。
[0019]于本专利技术一实施例中，基于所述粗略的法线方向确定粗略的高光反射方向包括以下步骤：
[0020]基于所述粗略的法线方向选定第二观察方向，所述第二观察方向与所述粗略的法线方向的反方向之间的夹角小于第一夹角阈值；
[0021]利用神经辐射场沿每个所述第二观察方向计算颜色和密度，以确定每个所述第二观察方向上达到颜色阈值且达到密度阈值的第二特征点；
[0022]计算所述第二特征点与所述表面采样点之间的距离；
[0023]去除大于距离阈值的所述第二特征点所在的第二观察方向；
[0024]从剩余的所述第二观察方向中选取亮度最高的观察方向，并将其反方向作为粗略的高光反射方向
。
[0025]于本专利技术一实施例中，基于所述粗略的高光反射方向，利用神经辐射场计算高光反射颜色，并确定高光反射方向，包括以下步骤：
[0026]基于所述粗略的高光反射方向选定第三观察方向，所述第三观察方向与所述粗略的高光反射方向的反方向之间的夹角小于第二夹角阈值；
[0027]利用神经辐射场沿每个所述第三观察方向计算颜色，将亮度最高的颜色作为高光反射颜色，将所述高光反射颜色所在的第三观察方向的反方向作为高光反射方向
。
[0028]于本专利技术一实施例中，基于所述高光反射方向，利用神经辐射场计算漫反射颜色
、
高光级别和光泽度包括以下步骤：
[0029]从所述第二观察方向中筛选与所述高光反射方向的夹角大于等于
90
°
的观察方向，以获取无高光反射的观察方向；
[0030]利用神经辐射场沿所述无高光反射的观察方向计算无高光反射颜色；
[0031]将所述无高光反射颜色按照亮度进行降序或升序排列，以构成颜色亮度序列；
[0032]对所述颜色亮度序列中间预设百分比的颜色亮度求均值，以获取漫反射颜色；
[0033]基于所述漫反射颜色和所述高光反射颜色计算高光级别；
[0034]基于所述漫反射颜色
、
所述高光反射颜色和所述高光级别计算光泽度
。
[0035]对应地，本专利技术提供一种基于神经辐射场的三维模型贴图系统，包括：
[0036]采样模块，用于将三维模型的表面展开至
UV
坐标系，并从所述
UV
坐标系中获取所述三维模型的表面采样点；
[0037]神经辐射场模块，用于基于所述表面采样点，计算高光反射颜色
、
漫反射颜色
、
高光级别和光泽度；
[0038]贴图模块，用于基于所述高光反射颜色合成高光反射贴图，基于所述漫反射颜色合成漫反射贴图，基于所述高光级别合成高光级别贴图，基于所述光泽度合成光泽贴图...

【技术保护点】

【技术特征摘要】
1.
一种基于神经辐射场的三维模型贴图方法，其特征在于，包括以下步骤：将三维模型的表面展开至
UV
坐标系；从所述
UV
坐标系中获取所述三维模型的表面采样点；基于所述表面采样点，计算高光反射颜色
、
漫反射颜色
、
高光级别和光泽度；基于所述高光反射颜色合成高光反射贴图，基于所述漫反射颜色合成漫反射贴图，基于所述高光级别合成高光级别贴图，基于所述光泽度合成光泽贴图
。2.
根据权利要求1所述的基于神经辐射场的三维模型贴图方法，其特征在于，从所述
UV
坐标系中获取所述三维模型的表面采样点包括以下步骤：栅格化所述三维模型表面上的所有网格；对栅格化的所述所有网格进行均匀采样
。3.
根据权利要求1所述的基于神经辐射场的三维模型贴图方法，其特征在于，基于所述表面采样点，计算高光反射颜色
、
漫反射颜色
、
高光级别和光泽度包括以下步骤：基于所述表面采样点确定粗略的法线方向；基于所述粗略的法线方向确定粗略的高光反射方向；基于所述粗略的高光反射方向，利用神经辐射场计算高光反射颜色，并确定高光反射方向；基于所述高光反射方向，利用神经辐射场计算漫反射颜色
、
高光级别和光泽度
。4.
根据权利要求3所述的基于神经辐射场的三维模型贴图方法，其特征在于，基于所述表面采样点确定粗略的法线方向包括以下步骤：基于所述表面采样点选定第一观察方向；利用神经辐射场沿每个所述第一观察方向计算颜色和密度，以确定每个所述第一观察方向上达到颜色阈值且达到密度阈值的第一特征点；计算所述第一特征点与所述表面采样点之间的距离；去除大于距离阈值的所述第一特征点所在的第一观察方向；对剩余的所述第一观察方向求向量和，并将其反方向作为粗略的法线方向
。5.
根据权利要求3所述的基于神经辐射场的三维模型贴图方法，其特征在于，基于所述粗略的法线方向确定粗略的高光反射方向包括以下步骤：基于所述粗略的法线方向选定第二观察方向，所述第二观察方向与所述粗略的法线方向的反方向之间的夹角小于第一夹角阈值；利用神经辐射场沿每个所述第二观察方向计算颜色和密度，以确定每个所述第二观察方向上达到颜色阈值且达到密度阈值的第二特征点；计算所述第二特征点与所述表面采样点之间的距离；去除大于距离阈值的所述第二特征点所在的第二观察方向；从剩余的所述第二观察方向中选取亮度最高的观察方向...

【专利技术属性】
技术研发人员：宁岩，谷佳铭，
申请(专利权)人：上海宽带技术及应用工程研究中心，
类型：发明
国别省市：