基于神经基函数的智能三维重建方法、装置、设备及介质制造方法及图纸

本申请涉及图像处理技术领域，特别涉及一种基于神经基函数的智能三维重建方法、装置、设备及介质，方法包括：通过预先训练的MLP网络模型预测与视角相关的神经基函数系数，确定球坐标系下的与视角相关的神经基函数；由与视角相关的神经基函数和神经基函数系数的内积表示人体表面贴图像素点的RGB三通道值，得到人体表面材质RGB图；将人体表面材质RGB图和人体几何模型对应纹理贴图，得到体现人体表面材质的人体三维模型，渲染人体三维模型的多视角2D图像，得到人体表面材质重建结果。由此，通过神经基函数扩展人体表面贴图的像素点表示，实现不同视角的渲染结果，呈现出各向异性的折射反射效果，能够表示表面材质信息的三维人体重建。建。建。

【技术实现步骤摘要】
基于神经基函数的智能三维重建方法、装置、设备及介质


[0001]本申请涉及图像处理
，特别涉及一种基于神经基函数的智能三维重建方法、装置、设备及介质。

技术介绍

[0002]目前，基于多视角的三维表面重建工作主要可以分为基于参数化模型的重建和基于隐式表示的重建。其中，基于参数化模型的重建通常在人体参数化模型（Skinned Multi
‑
Person LinearModel，SMPL）的基础上添加顶点偏移（SMPL+Displacement，SMPL+D）表示穿衣人体。这种方式对人体表述简单紧凑，容易被参数化，但是，SMPL+D难以表示与参数化模型网格拓扑没有明显映射关系的衣物，如裙子、敞开的外套等。为了规避了参数化表示对空间内复杂几何描述的限制，基于隐式场表示的重建定义并建模三维空间内连续的标量值函数，如占有场（occupancy field，OF）和符号距离场（signed distance field，SDF）。
[0003]相关技术中，多采用多层感知机（Multilayer perception，MLP）本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经基函数的智能三维重建方法，其特征在于，包括以下步骤：通过预先训练的训练多层感知机MLP网络模型预测与视角相关的神经基函数系数，并确定球坐标系下的与视角相关的神经基函数；由所述与视角相关的神经基函数和所述神经基函数系数的内积表示人体表面贴图像素点的RGB三通道值，得到人体表面材质RGB图；以及将所述人体表面材质RGB图和人体几何模型进行对应纹理贴图，得到体现所述人体表面材质的人体三维模型，并渲染所述人体三维模型的多视角2D图像，得到人体表面材质重建结果。2.根据权利要求1所述的方法，其特征在于，在通过所述预先训练的MLP网络模型预测与视角相关的神经基函数系数之前，还包括：获取人体在多个角度和多个方位的多张图片，并基于每张图片计算生成所述人体的掩膜图片；将所述多张图片和所述多张图片对应的掩膜图片作为输入，对每个像素点提取高维特征，基于所述高维特征和人体几何表面训练MLP网络，得到所述预先训练的MLP网络模型，其中，所述人体几何表面由利用隐式表示定义一个连续的三维空间标量值函数得到；将所述多张图片输入至所述预先训练的MLP网络模型预测得到三维空间占有场，并通过等值立体搜寻算法重建所述人体几何模型。3.根据权利要求2所述的方法，其特征在于，所述由所述与视角相关的神经基函数和所述神经基函数系数的内积表示所述人体表面贴图像素点的RGB三通道值的公式如下：；其中，为内积表示，为表面法向量，为当前视角下P像素下的基础RGB值，为P像素下视角相关的反射系数，为神经基函数。4.根据权利要求3所述的方法，其特征在于，所述与视角相关的神经基函数映射表示为：；其中，为所述与视角相关的神经基函数映射，为实数域的数学表示。5.根据权利要求4所述的方法，其特征在于，所述神经渲染公式为：；其中，为最终渲染颜色，为内积计算公式，为相机采样光线，为所述人体三维模型的最近边界，为所述人体三维模型的最远边界。6.一种基于神经基函数的智能三维重建装置，其特征在于，包括：确定模块，用于通过预先训练的训练多层感知机MLP网络模型预测与视角相关的神经基函数系数，并确定球坐标系下的与视角相关的神经基函数；计算模块，用于由所述与视角相关的神经基函数和所述神经...

【专利技术属性】
技术研发人员：于涛，
申请(专利权)人：清华大学，
类型：发明
国别省市：