一种基于图像的人体三维重建方法技术

本发明专利技术公开一种基于图像的人体三维重建方法，由姿态融合三维人体重建网络与图神经辐射场三维人体重建网络各自对输入图像进行处理重建后，再进行融合实现最终的三维重建；姿态融合三维人体重建网络包括表面法向图生成模块、表面法向图特征编码模块、人体姿态特征编码模块、特征解码重建模块、背面图像生成模块以及纹理映射模块，图神经辐射场三维人体重建网络包括姿态优化模块、人体图像编码模块、特征解码模块以及集成模块。本发明专利技术提高了人体三维模型与人体新视角图像的重建质量。三维模型与人体新视角图像的重建质量。三维模型与人体新视角图像的重建质量。

【技术实现步骤摘要】
一种基于图像的人体三维重建方法


[0001]本专利技术涉及三维重建
，特别是涉及姿态融合三维人体重建网络与图神经辐射场三维人体重建网络的人体三维重建方法。

技术介绍

[0002]基于图像的人体三维重建是指从单张或多张人体二维图像中重建出人体三维模型的过程，是计算机视觉中研究价值较高的一个方向。
[0003]深度学习背景下的人体三维重建方法利用大量数据建立先验知识，将三维重建的过程转变为编码与解码，直接从二维图像中对人体进行三维重建。早期的人体三维重建方法通过重建人体参数化模型进行人体三维重建，但人体参数化模型只能表示人体的三维姿态，无法表示衣服等细节信息。为了获得更加良好的人体三维重建的重建表现和泛化能力，基于隐式函数的人体三维重建方法使用堆叠沙漏网络对图像进行编码，通过多层感知机解码隐式函数，预测三维点在人体模型的内部和外部的分布，构建点标签形式的隐式函数，使用提取算法从隐式表示中提取网格信息，重建人体模型。
[0004]基于神经辐射场的三维重建方法在多个视角上聚合图像特征，通过解码器获取颜色和体密度值，以体渲染的方式进行图像渲染。基于神经辐射场的方法在多个场景或特定的目标类上进行训练，从一个或多个视角的图像中进行三维重建。一些研究将人体参数化模型与神经辐射场相结合，从人体视频中建立神经辐射场并渲染出人体的其他视角的图像。然而，全局特征编码器对全局姿态敏感，只使用全局特征编码器的方法对复杂的人体姿态的重建效果较差，使用多层感知机进行特征解码的方式忽略了三维点之间的相互关系，对人体细节部位的重建效果较差。而准确提取图像特征和人体姿态特征并进行高效的特征解码，提升不同姿态的泛化能力是提高人体三维重建表现的关键。

技术实现思路

[0005]本专利技术的目的是针对现有技术中存在的重建表现较差和泛化能力不足的问题，提供一种基于图像的人体三维重建方法，旨在高效提取人体图像中的特征，获得具有良好质量的人体三维模型。
[0006]为实现本专利技术的目的所采用的技术方案是：
[0007]基于图像的人体三维重建方法，由姿态融合三维人体重建网络与图神经辐射场三维人体重建网络各自对输入图像进行处理三维重建后再进行融合实现最终的三维重建；其中，姿态融合三维人体重建网络包括表面法向图生成模块、表面法向图特征编码模块、人体姿态特征编码模块、特征解码重建模块、背面图像生成模块以及纹理映射模块；图神经辐射场三维人体重建网络包括姿态优化模块、人体图像编码模块、特征解码模块以及集成模块；
[0008]处理步骤如下：
[0009]由人体图像X
i
通过姿态估计方法预测人体参数化模型M
smp
，送入到可微渲染器得到人体参数化模型正面法向图N
sf
和人体参数化模型背面法向图N
sb
，与人体图像X
i
共同送入
表面法向图生成模块，获取人体正面法向图N
cf
和人体背面法向图N
cb
，送入表面法向图特征编码模块提取人体表面法向图特征f
i
；将人体参数化模型M
smp
送入人体姿态特征编码模块，提取局部特征编码f
lo
和体积特征编码f
v
，与人体表面法向图特征f
i
共同送入特征解码重建模块，获取符号距离函数值s
d
并重建无色彩纹理的人体三维模型Y
s
输出；人体图像X
i
和人体背面法向图N
cb
共同送入背面图像生成模块生成人体背面图像X
b
，人体图像X
i
、人体背面图像X
b
和无色彩纹理的人体三维模型Y
s
共同送入纹理映射模块重建具有正面色彩纹理和背面色彩纹理的人体三维模型Y
c
输出；
[0010]由人体图像编码模块提取人体图像X
i
的图像特征f
r
，图像特征f
r
与人体图像X
i
分别进行网格采样插值并进行特征拼接，获取图像特征编码f
ca
；将人体图像X
i
的像素转换为神经辐射场中的三维点坐标p，附加位置编码，获取具有位置编码的三维点特征f
l
并将姿态特征f
s
送入姿态优化模块获取优化后的姿态编码f
rs
；由相机参数计算出三维点的方向编码f
v
，与图像特征编码f
ca
、姿态特征f
rs
和三维点特征f
l
共同送入特征解码模块，获取颜色值c和形状特征f
σ
；将符号距离函数值s
d
和形状特征f
σ
共同送入集成模块获取体密度值σ，渲染输出相机参数所对应的人体预设视角图像Y
n
。
[0011]本专利技术采用表面法向图特征编码模块来进行特征提取，使用堆叠网络单元对人体表面法向图进行编码，增加网络的深度并融合不同阶段的特征，在残差编码中加入通道注意力层并使用Transformer网络编码捕获长距离依赖关系，获取人体表面法向图的不同部位之间的关系，提高特征提取信息的效率。
[0012]本专利技术采用人体姿态特征编码模块提取人体参数化模型的局部特征编码和体积特征编码，计算人体参数化模型的符号距离函数获取人体参数化模型的局部特征编码，将人体参数化模型进行体素化，通过三维残差编码获取人体参数化模型的体积特征编码，结合人体参数化模型的局部特征编码和体积特征编码，重建具有较高的精细度和完整度的人体三维模型。
[0013]本专利技术采用特征解码重建模块进行特征解码，将人体表面法向图特征、局部特征编码和体积特征编码共同送入特征解码器，获取人体三维模型的符号距离函数值，通过行进立方体算法重建无色彩纹理的人体三维模型。特征解码器由图卷积编码和一维卷积编码构成，利用KNN算法构建三维点的图结构，获取相邻三维点之间关系，更加高效地进行特征解码。
[0014]本专利技术采用纹理映射模块，使用网格采样插值提取人体模型颜色编码，将网格模型光栅化，选择不重复值获取人体模型可见性，利用人体模型颜色编码和人体模型可见性获取三维模型的正面色彩纹理和背面色彩纹理，同时利用人体图像和人体背面图像进行纹理映射，提高重建纹理的完整度，获取具有正面色彩纹理和背面色彩纹理的人体三维模型。
[0015]本专利技术采用姿态优化模块，使用KNN算法构建高维姿态特征所对应的姿态特征图结构，将姿态特征图结构送入图卷积编码，获取高维的姿态优化特征，提高了姿态优化的效果。
[0016]本专利技术采用人体图像编码模块，使用堆叠网络单元对人体图像进行编码，增加网络的深度并融合不同阶段的特征，将图像特征分为多个部分并使用KNN算法构建图像特征的图结构，获取人体图像的不同部位之间的关系，提高特征提取信息的效率，为生成人体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于图像的人体三维重建方法，其特征在于，由姿态融合三维人体重建网络与图神经辐射场三维人体重建网络各自对输入图像进行处理重建后，再进行融合实现最终的三维重建；其中，姿态融合三维人体重建网络包括表面法向图生成模块、表面法向图特征编码模块、人体姿态特征编码模块、特征解码重建模块、背面图像生成模块以及纹理映射模块，图神经辐射场三维人体重建网络包括姿态优化模块、人体图像编码模块、特征解码模块以及集成模块；人体三维重建方法的处理步骤如下：由人体图像X
i
通过姿态估计方法预测人体参数化模型M
smp
，送入到可微渲染器得到人体参数化模型正面法向图N
sf
和人体参数化模型背面法向图N
sb
，与人体图像X
i
共同送入表面法向图生成模块，获取人体正面法向图N
cf
和人体背面法向图N
cb
，送入表面法向图特征编码模块提取人体表面法向图特征f
i
；将人体参数化模型M
smp
送入人体姿态特征编码模块，提取局部特征编码f
lo
和体积特征编码f
v
，与人体表面法向图特征f
i
共同送入特征解码重建模块，获取符号距离函数值s
d
并重建无色彩纹理的人体三维模型Y
s
输出；人体图像X
i
和人体背面法向图N
cb
共同送入背面图像生成模块生成人体背面图像X
b
，人体图像X
i
、人体背面图像X
b
和无色彩纹理的人体三维模型Y
s
共同送入纹理映射模块重建出具有正面色彩纹理和背面色彩纹理的人体三维模型Y
c
输出；由人体图像编码模块提取人体图像X
i
的图像特征f
r
，图像特征f
r
与人体图像X
i
分别进行网格采样插值并进行特征拼接，获取图像特征编码f
ca
；将人体图像X
i
的像素转换为神经辐射场中的三维点坐标p，附加位置编码，获取具有位置编码的三维点特征f
l
并将姿态特征f
s
送入姿态优化模块获取优化后的姿态编码f
rs
；由相机参数计算出三维点的方向编码f
v
，与图像特征编码f
ca
、姿态特征f
rs
和三维点特征f
l
共同送入特征解码模块，获取颜色值c和形状特征f
σ
；将符号距离函数值s
d
和形状特征f
σ
共同送入集成模块获取体密度值σ，渲染输出相机参数所对应的人体预设视角图像Y
n
。2.根据权利要求1所述基于图像的人体三维重建方法，其特征在于，所述表面法向图生成模块获得人体正面法向图N
cf
和人体背面法向图N
cb
的步骤如下：将人体图像X
i
与人体参数化模型正面法向图N
sf
进行特征拼接后，送入图像编码器处理，得到表示人体参数化模型正面法向图编码特征f
sf
，将人体图像X
i
与人体参数化模型正面法向图N
sf
进行特征拼接后，送入图像编码器处理，得到人体参数化模型背面法向图编码特征f
sb
，对人体参数化模型正面法向图编码特征和人体参数化模型背面法向图编码特征f
sf
,f
sb
分别送入残差编码器进行处理后上采样操作，得到人体正面法向图N
cf
和人体背面法向图N
cb
；表示如下：其中，f
sf
,f
sb
分别表示人体参数化模型正面法向图编码特征和人体参数化模型背面法向图编码特征，E
s
(
·
)表示图像编码器的编码操作，F
cat
(
·
)表示特征拼接操作，E
res
(
·
)表示残差编码器的操作，F
up
(
·
)表示上采样操作。3.根据权利要求2所述基于图像的人体三维重建方法，其特征在于，所述表面法向图特
征编码模块提取人体表面法向图特征f
i
的步骤如下：分别对人体正面法向图N
cf
和人体背面法向图N
cb
进行编码，获取人体正面法向图特征编码和人体背面法向图特征编码，将特征编码拼接后进行网格采样插值获取人体表面法向图特征f
i
：其中，E
c
(
·
)表示表面法向图特征编码模块的人体表面法向图编码操作，f
cf
表示人体正面法向图特征编码，f
cb
表示人体背面法向图特征编码，F
cat
(
·
)表示特征拼接的操作，F
grid
(
·
)表示网格采样插值。4.根据权利要求3所述基于图像的人体三维重建方法，其特征在于，所述人体姿态特征编码模块提取局部特征编码f
lo
和体积特征编码f
v
的步骤如下：计算人体参数化模型M
smp
的符号距离函数，获取人体参数化模型M
smp
的符号距离函数编码f
sdf
，将人体参数化模型M
smp
进行体素化，通过三维残差单元获取体素化后人体参数化模型M
smp
的三维特征编码，通过网格采样插值基于符号距离函数编码f
sdf
获取局部特征编码f
lo
以及基于三维...

【专利技术属性】
技术研发人员：陈瑞，杨航，牟洋，
申请(专利权)人：天津大学，
类型：发明
国别省市：