三维人体模型重建方法、装置、电子设备和可读介质制造方法及图纸

本公开提供一种三维人体模型重建方法、装置、电子设备和可读介质，其中，三维人体模型重建方法包括：获取包括人体图像的原始RGB二维图像和人体图像的剪影；将原始RGB二维图像和剪影输入至SMPL预测网络，以构建SMPL人体参数模型；基于剪影对SMPL人体参数模型进行人体正面图像和人体反面图像的渲染，以得到无着装的人体法向图和纹理特征；根据人体法向图和纹理特征进行三维人体模型的重建。通过本公开实施例，既可以减少对训练数据的依赖，又提高了法向图生成的准确率和可靠性，也进一步提高了三维人体模型的表面纹理重建效果。维人体模型的表面纹理重建效果。维人体模型的表面纹理重建效果。

【技术实现步骤摘要】
三维人体模型重建方法、装置、电子设备和可读介质


[0001]本公开涉及信息
，具体而言，涉及一种三维人体模型重建方法、装置、电子设备和可读介质。

技术介绍

[0002]目前，现有的重建算法多为基于单张图像的三维人体重建。该重建方法输入图像的可观测部分有限，缺少被遮挡或者人物反面的信息，因此重建结构中不可见区域的恢复精度较低。
[0003]在相关技术中，对原始图像预测正/反法向图，再将法向图与原始图像一起作为三维人体重建网络的输入。
[0004]相关技术中的三维人体重建方案虽然一定程度上能提高不可见区域的重建精度，但是至少存在以下技术问题：
[0005](1)法向图的预测由RGB图像经过Pix2Pix网络得到，但是要在不同姿态上做到足够泛化，就需要大量的训练数据，且训练得到的法向图预测的精度是有限的；
[0006](2)将法向图与原始图像一起作为三维人体重建网络的输入，这就可能导致重建后的三维人体模型的细节精度较差。
[0007]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0008]本公开的目的在于提供一种三维人体模型重建方法、装置、电子设备和可读介质，用于至少在一定程度上克服由于相关技术的限制和缺陷而导致的三维人体模型重建的可靠性差等问题。
[0009]根据本公开实施例的第一方面，提供一种三维人体模型重建方法，包括：获取包括人体图像的原始RGB二维图像和所述人体图像的剪影；将所述原始RGB二维图像和所述剪影输入至SMPL预测网络，以构建SMPL人体参数模型；基于所述剪影对所述SMPL人体参数模型进行人体正面图像和人体反面图像的渲染，以得到无着装的人体法向图和纹理特征；根据所述人体法向图和所述纹理特征进行三维人体模型的重建。
[0010]在本公开的一种示例性实施例中，还包括：
[0011]确定所述人体法向图的体素特征、法向特征和所述纹理特征；
[0012]基于注意力机制将所述体素特征、所述法向特征和所述纹理特征融合至重建后的三维人体模型。
[0013]在本公开的一种示例性实施例中，确定所述人体法向图的体素特征、法向特征和所述纹理特征包括：
[0014]对所述人体法向图进行体素化，以确定所述体素特征；
[0015]对所述原始RGB二维图像提取纹理图和着装人体法向图；
[0016]通过特征提取网络对所述纹理图和所述着装人体法向图进行特征提取，以获得所述法向特征和所述纹理特征。
[0017]在本公开的一种示例性实施例中，通过特征提取网络对所述纹理图和所述着装人体法向图进行特征提取，以获得所述法向特征和所述纹理特征包括：
[0018]基于双线性插值算法将所述人体法向图投影至二维平面；
[0019]根据所述二维平面的投影结果提取所述法向特征和所述纹理特征；
[0020]确定所述人体法向图上任一采样点与所述法向特征之间的对应关系，以及所述采样点与所述纹理特征之间的对应关系。
[0021]在本公开的一种示例性实施例中，基于注意力机制将所述体素特征、所述法向特征和所述纹理特征融合至重建后的三维人体模型包括：
[0022]基于所述基于注意力机制对所述体素特征、所述法向特征和所述纹理特征进行归一化处理，并赋予预设权重值；
[0023]将所述人体法向图解码为SMPL网格，以确定顶点坐标、β和θ；
[0024]将所述顶点坐标、所述β、所述θ、所述预设权重值和对应的特征向量代入至身体拟合损失函数中，所述特征向量包括所述体素特征、所述法向特征和所述纹理特征；
[0025]基于所述身体拟合损失函数的计算结果与预设损失函数结果之间的大小关系，对所述特征向量的权重值进行调整。
[0026]在本公开的一种示例性实施例中，基于所述身体拟合损失函数的计算结果与预设损失函数结果之间的大小关系，对所述特征向量的权重值进行调整包括：
[0027]判断所述身体拟合损失函数的计算结果是否大于所述预设损失函数结果；
[0028]若判定所述身体拟合损失函数的计算结果大于所述预设损失函数结果，则对所述权重值进行调整至所述计算结果小于或等于所述预设损失函数结果时为止。
[0029]在本公开的一种示例性实施例中，所述身体拟合损失函数的表达式包括：
[0030][0031][0032]其中，所述v
j
表示第j个顶点，所述n
s
表示所述顶点的总数，所述c(v
j
)表示所述顶点对应的特征向量，所述F(c(v
j
))表示所述顶点的占有值，所述λ
R
为常量，所述β
init
与所述θ
init
为初始参数，所述η表示预设系数。
[0033]根据本公开实施例的第二方面，提供一种三维人体模型重建装置，包括：
[0034]获取模块，设置为获取包括人体图像的原始RGB二维图像和所述人体图像的剪影；
[0035]构建模块，设置为将所述原始RGB二维图像和所述剪影输入至SMPL预测网络，以构建SMPL人体参数模型；
[0036]渲染模块，设置为基于所述剪影对所述SMPL人体参数模型进行人体正面图像和人体反面图像的渲染，以得到无着装的人体法向图和纹理特征；
[0037]重建模块，设置为根据所述人体法向图和所述纹理特征进行三维人体模型的重建。
[0038]根据本公开的第三方面，提供一种电子设备，包括：存储器；以及耦合到所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如上述任意一项所述的方法。
[0039]根据本公开的第四方面，提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上述任意一项所述的三维人体模型重建方法。
[0040]本公开实施例，通过获取包括人体图像的原始RGB二维图像和人体图像的剪影，并将原始RGB二维图像和剪影输入至SMPL预测网络，SMPL预测网络能够基于剪影对人体图像区域和背景进行预测训练，以构建SMPL人体参数模型，并且基于剪影对SMPL人体参数模型进行人体正面图像和人体反面图像的渲染，以得到无着装的人体法向图和纹理特征，最终根据人体法向图和纹理特征进行三维人体模型的重建，既可以减少对训练数据的依赖，又提高了法向图生成的准确率和可靠性，也进一步提高了三维人体模型的表面纹理重建效果。
[0041]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0042]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维人体模型重建方法，其特征在于，包括：获取包括人体图像的原始RGB二维图像和所述人体图像的剪影；将所述原始RGB二维图像和所述剪影输入至SMPL预测网络，以构建SMPL人体参数模型；基于所述剪影对所述SMPL人体参数模型进行人体正面图像和人体反面图像的渲染，以得到无着装的人体法向图和纹理特征；根据所述人体法向图和所述纹理特征进行三维人体模型的重建。2.如权利要求1所述的三维人体模型重建方法，其特征在于，还包括：确定所述人体法向图的体素特征、法向特征和所述纹理特征；基于注意力机制将所述体素特征、所述法向特征和所述纹理特征融合至重建后的三维人体模型。3.如权利要求2所述的三维人体模型重建方法，其特征在于，确定所述人体法向图的体素特征、法向特征和所述纹理特征包括：对所述人体法向图进行体素化，以确定所述体素特征；对所述原始RGB二维图像提取纹理图和着装人体法向图；通过特征提取网络对所述纹理图和所述着装人体法向图进行特征提取，以获得所述法向特征和所述纹理特征。4.如权利要求3所述的三维人体模型重建方法，其特征在于，通过特征提取网络对所述纹理图和所述着装人体法向图进行特征提取，以获得所述法向特征和所述纹理特征包括：基于双线性插值算法将所述人体法向图投影至二维平面；根据所述二维平面的投影结果提取所述法向特征和所述纹理特征；确定所述人体法向图上任一采样点与所述法向特征之间的对应关系，以及所述采样点与所述纹理特征之间的对应关系。5.如权利要求1
‑
4中任一项所述的三维人体模型重建方法，其特征在于，基于注意力机制将所述体素特征、所述法向特征和所述纹理特征融合至重建后的三维人体模型包括：基于所述基于注意力机制对所述体素特征、所述法向特征和所述纹理特征进行归一化处理，并赋予预设权重值；将所述人体法向图解码为SMPL网格，以确定顶点坐标、β和θ；将所述顶点坐标、所述β、所述θ、所述预设权重值和对应的特征向量代入至身体拟合损失函数中，所述特征向量包括所述体素特征、所述法向特征和所述纹理特征；基于所述身体拟合损失...

【专利技术属性】
技术研发人员：苏明兰，张超颖，刘巧俏，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：