一种人体三维模型重建方法技术

本申请涉及人工智能领域，提供一种人体三维模型重建方法，在获取目标图像后，能够基于目标图像，利用神经网络模型和/或参数化模型，得到基于整体的总人体三维模型和基于不同语义的子人体三维模型，并将它们融合，得到融合人体三维模型，该融合人体三维模型的不同部分具有不同的分辨率。能够在保持人体三维模型的部分特征高分辨率的同时，降低人体三维模型重建对于终端计算能力和存储能力的要求。建对于终端计算能力和存储能力的要求。建对于终端计算能力和存储能力的要求。

【技术实现步骤摘要】
一种人体三维模型重建方法


[0001]本申请涉及计算机视觉
，尤其涉及一种人体三维模型重建方法。

技术介绍

[0002]三维重建是计算机视觉未来发展的关键技术，目前在开发应用的是针对诸如人体这种有特定形貌和特征的群体，广泛应用于各种交互场景中。人体三维模型重建是指根据单张或者多张的二维图像重建出人体三维模型的过程。
[0003]人体三维模型重建可以根据多张图像生成人体三维模型，也可根据单张图像生成人体三维模型。根据多张图像生成人体三维模型过程较为繁琐；根据单张RGBD图像对硬件系统的要求较高，一般需要基于红外深度的摄像头，成本高，支持设备少；而根据单张RGB图像生成人体三维模型的方法，若需求高分辨率的人体三维模型，则需要大量的存储和计算资源。
[0004]现有技术都是一次性重建身体所有部分，重建分辨率一致。因而产生高精度三维模型需要大量的算力和内存需求，而产生分辨率较低三维模型虽然可以在手机等终端设备实施，但是难以满足用户需求。

技术实现思路

[0005]本申请提供了一种人物识别方法及装置，能够解决当目标人物更换衣物后，识别准确率低的问题。
[0006]为达到上述目的，本申请采用如下技术方案：
[0007]本申请第一方面，提供了一种人体三维模型重建方法。
[0008]具体的，在获取到即时拍摄到的或从已经存储的图片中选取的包括人体特征目标图像后，对该目标图像进行图像分割，得到掩模，所述掩模用于区分所述人体特征和非人体特征；对该目标图像或掩模进行三维重建，得到总人体三维模型，所述总人体三维模型用于描述整个人体特征；对目标图像进行语义分割，得到用于区分具有不同语义的人体特征的语义分割图像，或者，对掩模进行语义分割，得到用于区分具有不同语义的人体特征的语义分割掩模，对语义分割图像或语义分割掩模进行三维重建，得到子人体三维模型，所述子人体三维模型用于描述具有不同语义的人体特征；融合总人体三维模型和子人体三维模型，得到融合人体三维模型，其中，由于总人体三维模型的分辨率和子人体三维模型的分辨率不同，因此，融合人体三维模型的不同特征部分具有不同的分辨率。
[0009]本申请第一方面提供的一种人体三维模型重建方法能够在保持人体三维模型的部分特征高分辨率的同时，降低人体三维模型重建对于终端计算能力和存储能力的要求。
[0010]根据第一方面，在第一方面的第一种可能的实现方式中，具有不同语义的人体特征包括：头部，身体，胳膊，腿部，手部或脚部。
[0011]具有不同语义的人体特征能够很好的区分人体特征，用户可以根据需要确定哪些语义的人体特征对高分辨率的需求很高，哪些语义的人体特征不需要很高的分辨率即可。
[0012]根据第一方面或第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，对所述目标图像进行图像分割，得到掩模具体包括：
[0013]将所述目标图像输入到预先训练好的第一神经网络模型中进行图像分割，得到掩模，所述掩模用于区分所述人体特征和非人体特征，所述第一神经网络是根据预先标注人体与背景的图像训练得到的。
[0014]掩模能够很好的区分人体特征和非人体特征，有益于更好的识别目标图像中的人体特征。
[0015]根据第一方面或第一方面的第一至第二种可能的实现方式，在第一方面的第三种可能的实现方式中，对所述目标图像或掩模进行三维重建，得到总人体三维模型具体包括：
[0016]将所述目标图像或所述掩模输入到重建模块中，得到所述总人体三维模型，所述总人体三维模型用于描述整个人体特征。重建模块包括第三神经网络模型或参数化模型，所述重建模块能够根据二维图像通过卷积生成三维模型。总人体三维模型包括总人体三维网格模型或总人体三维符号距离场体模型。
[0017]根据第一方面或第一方面的第一至第三种可能的实现方式，在第一方面的第四种可能的实现方式中,根据所述语义分割图像，得到所述子人体三维模型具体包括：
[0018]将所述目标图像或所述掩模输入到预先训练好的第二神经网络模型中进行语义分割，得到所述语义分割图像或所述语义分割掩模，所述语义分割图像或所述语义分割掩模用于区分所述具有不同语义的人体特征，所述第二神经网络是根据预先标注人体特征语义的图像训练得到的。
[0019]根据第一方面或第一方面的第一至第四种可能的实现方式，在第一方面的第五种可能的实现方式中,对所述语义分割图像或语义分割掩模进行三维重建，得到子人体三维模型具体包括：
[0020]将所述语义分割掩模或所述语义分割图像输入到重建模块中，得到所述子人体三维模型，所述子人体三维模型用于描述具有不同语义的人体特征。重建模块包括第三神经网络模型或参数化模型，所述重建模块能够根据二维图像通过卷积生成三维模型。子人体三维模型包括子人体三维网格模型或子人体三维符号距离场体模型。
[0021]根据第一方面或第一方面的第一至第五种可能的实现方式，在第一方面的第六种可能的实现方式中，当子人体三维模型为所述子人体三维网格模型，或者，当总人体三维模型为所述总人体三维网格模型时，所述方法还包括：
[0022]网格处理，所述网格处理包括对所述总人体三维网格模型或所述子人体三维网格模型进行网格补洞，网格均一化和/或网格平滑。
[0023]根据第一方面或第一方面的第一至第六种可能的实现方式，在第一方面的第七种可能的实现方式中，所述融合所述总人体三维模型和所述子人体三维模型，得到融合人体三维模型，具体包括：
[0024]对所述子人体三维模型和所述总人体三维模型进行边缘切割，其中，所述子人体三维模型上所切割的边缘和所述总人体三维模型上所切割的边缘具有互补性；
[0025]缝合所述总人体三维模型和所述子人体三维模型，得到所述融合人体三维模型。
[0026]通过边缘切割和缝合得到的融合人体三维模型，能够在保证整体性的情况下，保持高分辨率的同时，降低人体三维模型重建对于终端计算能力和存储能力的要求。
[0027]本申请第二方面，提供了一种人体三维模型重建装置。该人体三维模型重建装置包括获取单元、处理单元和融合单元。
[0028]具体的，上述获取单元，用于获取到即时拍摄到的或从已经存储的图片中选取的包括人体特征目标图像；上述处理单元，用于对该目标图像进行图像分割，得到掩模，所述掩模用于区分所述人体特征和非人体特征；对该目标图像或掩模进行三维重建，得到总人体三维模型，所述总人体三维模型用于描述整个人体特征；对目标图像进行语义分割，得到用于区分具有不同语义的人体特征的语义分割图像，或者，对掩模进行语义分割，得到用于区分具有不同语义的人体特征的语义分割掩模，对语义分割图像或语义分割掩模进行三维重建，得到子人体三维模型，所述子人体三维模型用于描述具有不同语义的人体特征；上述融合单元，用于融合总人体三维模型和子人体三维模型，得到融合人体三维模型，其中，由于总人体三维模型的分辨率和子人体三维模型的分辨率不同，因此，融合人体三维模型的不同特征部分具有不本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人体三维模型重建方法，其特征在于，包括：获取目标图像，所述目标图像包括人体特征；对所述目标图像进行图像分割，得到掩模，所述掩模用于区分所述人体特征和非人体特征；对所述目标图像或所述掩模进行三维重建，得到总人体三维模型，所述总人体三维模型用于描述整个人体特征；对所述目标图像进行语义分割，得到语义分割图像，所述语义分割图像用于区分具有不同语义的人体特征，或者，对所述掩模进行语义分割，得到语义分割掩模，所述语义分割掩模用于区分具有不同语义的人体特征；对所述语义分割图像或所述语义分割掩模进行三维重建，得到子人体三维模型，所述子人体三维模型用于描述具有不同语义的人体特征；融合所述总人体三维模型和所述子人体三维模型，得到融合人体三维模型，所述融合人体三维模型的不同特征部分具有不同的分辨率。2.根据权利要求1所述的方法，其特征在于，所述具有不同语义的人体特征包括：头部，身体，胳膊，腿部，手部或脚部。3.根据权利要求1或2所述的方法，其特征在于，所述目标图像为即时拍摄到的，或者，为从已经存储的图片中选取的。4.根据权利要求1-3任一所述的方法，其特征在于，所述总人体三维模型的分辨率和所述子人体三维模型的分辨率不同。5.根据权利要求1所述的方法，其特征在于，所述对所述目标图像进行图像分割，得到掩模具体包括：将所述目标图像输入到预先训练好的第一神经网络模型中进行图像分割，得到掩模，所述掩模用于区分所述人体特征和非人体特征，所述第一神经网络是根据预先标注人体与背景的图像训练得到的。6.根据权利要求1所述的方法，其特征在于，所述对所述目标图像或掩模进行三维重建，得到总人体三维模型具体包括：将所述目标图像或所述掩模输入到重建模块中，得到所述总人体三维模型，所述总人体三维模型用于描述整个人体特征。7.根据权利要求1所述的方法，其特征在于，所述根据所述语义分割图像，得到所述子人体三维模型具体包括：将所述目标图像或所述掩模输入到预先训练好的第二神经网络模型中进行语义分割，得到所述语义分割图像或所述语义分割掩模，所述语义分割图像或所述语义分割掩模用于区分所述具有不同语义的人体特征，所述第二神经网络是根据预先标注人体特征语义的图像训练得到的。8.根据权利要求1所述的方法，其特征在于，所述对所述语义分割图像或所述语义分割掩模进行三维重建，得到子人体三维模型具体包括：将所述语义分割掩模或所述语义分割图像输入到重建模块中，得到所述子人体三维模型，所述子人体三维模型用于描述具有不同语义的人体特征。9.根据权利要求6或8所述的方法，其特征在于，所述重建模块包括第三神经网络模型
或参数化模型，所述重建模块能够根据二维图像通过卷积生成三维模型。10.根据权利要求1-9任一所述的方法，其特征在于，所述总人体三维模型包括总人体三维网格模型或总人体三维符号距离场体模型。11.根据权利要求1-9任一所述的方法，其特征在于，所述子人体三维模型包括子人体三维网格模型或子人体三维符号距离场体模型。12.根据权利要求1-11任一所述的方法，其特征在于，当所述子人体三维模型为所述子人体三维网格模型，或者，当所述总人体三维模型为所述总人体三维网格模型时，所述方法还包括：网格处理，所述网格处理包括对所述总人体三维网格模型或所述子人体三维网格模型进行网格补洞，网格均一化和/或网格平滑。13.根据权利要求1-12任一所述的方法，其特征在于，所述融合所述总人体三维模型和所述子人体三维模型，得到融合人体三维模型，具体包括：对所述子人体三维模型和所述总人体三维模型进行边缘切割，其中，所述子人体三维模型上所切割的边缘和所述总人体三维模型上所切割的边缘具有互补性；缝合所述总人体三维模型和所述子人体三维模型，得到所述融合人体三维模型。14.一种人体三维模型重建装置，其特征在于，包括：获取单元，用于获取目标图像，所述目标图像包括人体特征；处理单元，用于对所述目标图像进行图像分割，得到掩模，所述掩模用于区分所述人体特征和非人体特征；对所述目标图像或所述掩模进行三维重建，得到总人体三维模型，所述总人体三维模型用于描述整个人体特征；对所述目标图像进行语义分割，得到语义分割图像，所述语义分割图像用于区分具有不同语义的人体特征，或者，对所述掩模进行语义分割，得到语义分割掩模，所述语义分割掩模用于区分具有不同语义的人体特征；对所述语义分割图像或语义分割掩模进行三维重建，得到子人体三维模型，所述子人体三维模型用于描述具有不同语义的人体特...

【专利技术属性】
技术研发人员：陈国文，赵磊，吕培，胡守刚，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：