生成人体三维模型的方法、装置、设备以及存储介质制造方法及图纸

本申请公开了生成人体三维模型的方法、装置、设备以及存储介质，涉及人工智能技术领域，具体为深度学习和计算机视觉领域。该方法的一具体实施方式包括：接收单张人体图像，提取人体图像对应的SMPL人体三维模型和PIFu人体三维模型；将SMPL人体三维模型和PIFu人体三维模型进行匹配，得到匹配结果；基于匹配结果，确定与PIFu人体三维模型的顶点最接近的SMPL人体三维模型的顶点，得到PIFu人体三维模型的顶点和SMPL人体三维模型的各个骨骼点的绑定权重；输出可驱动人体三维模型。该实施方式降低了生成人体三维模型的成本，并提高了生成效率。并提高了生成效率。并提高了生成效率。

【技术实现步骤摘要】
生成人体三维模型的方法、装置、设备以及存储介质


[0001]本申请实施例涉及计算机领域，具体涉及深度学习、计算机视觉等人工智能领域，尤其涉及生成人体三维模型的方法、装置、设备以及存储介质。

技术介绍

[0002]传统方法中，为了获得一个高精度可驱动的人体三维(threedimensional，3D)模型，需要使用扫描设备对人体进行重建，并人工将3D模型的表面顶点和骨骼点进行绑定。

技术实现思路

[0003]本申请实施例提出了一种生成人体三维模型的方法、装置、设备以及存储介质。
[0004]第一方面，本申请实施例提出了一种生成人体三维模型的方法，包括：接收单张人体图像，提取人体图像对应的蒙皮多人线性SMPL 人体三维模型和像素对齐隐式函数PIFu人体三维模型；将SMPL人体三维模型和PIFu人体三维模型进行匹配，得到PIFu人体三维模型的顶点与SMPL人体三维模型的匹配结果；基于匹配结果，确定与PIFu 人体三维模型的顶点最接近的SMPL人体三维模型的顶点，得到PIFu 人体三维模型的顶点和SMPL人体三维模型的各个骨骼点的绑定权重；输出可驱动人体三维模型。
[0005]第二方面，本申请实施例提出了一种生成人体三维模型的装置，包括：提取模块，被配置成接收单张人体图像，提取人体图像对应的 SMPL人体三维模型和PIFu人体三维模型；匹配模块，被配置成将 SMPL人体三维模型和PIFu人体三维模型进行匹配，得到PIFu人体三维模型的顶点与SMPL人体三维模型的匹配结果；确定模块，被配置成基于匹配结果，确定与PIFu人体三维模型的顶点最接近的SMPL 人体三维模型的顶点，得到PIFu人体三维模型的顶点和SMPL人体三维模型的各个骨骼点的绑定权重；输出模块，被配置成输出可驱动人体三维模型。
[0006]第三方面，本申请实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。
[0007]第四方面，本申请实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法。
[0008]第五方面，本申请实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面中任一实现方式描述的方法。
[0009]本申请实施例提供的生成人体三维模型的方法、装置、设备以及存储介质，首先接收单张人体图像，提取人体图像对应的SMPL人体三维模型和PIFu人体三维模型；之后将SMPL人体三维模型和PIFu 人体三维模型进行匹配，得到PIFu人体三维模型的顶点与SMPL人体三维模型的匹配结果；然后基于匹配结果，确定与PIFu人体三维模型的顶点最接近的SMPL人体三维模型的顶点，得到PIFu人体三维模型的顶点和SMPL人体三维模型的各个骨骼
点的绑定权重；最后输出可驱动人体三维模型。本申请提供了一种基于单张图像生成可驱动人体三维模型的方法，降低了生成可驱动人体三维模型的成本，提高了生成可驱动人体三维模型的效率。
[0010]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0011]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本申请的限定。其中：
[0012]图1是本申请可以应用于其中的示例性系统架构图；
[0013]图2是根据本申请的生成人体三维模型方法的一个实施例的流程图；
[0014]图3是根据本申请的生成人体三维模型方法的另一个实施例的流程图；
[0015]图4是对输出的可驱动人体三维模型的驱动效果图；
[0016]图5是图3所示的生成人体三维模型方法的匹配步骤的分解流程图；
[0017]图6是SMPL模型6个部分的2D投影图；
[0018]图7是PIFu模型的2D投影图；
[0019]图8是PIFu模型2D投影图的分割图；
[0020]图9是基于2D匹配结果生成的3D匹配结果图；
[0021]图10是根据本申请的生成人体三维模型装置的一个实施例的结构示意图；
[0022]图11是用来实现本申请实施例的生成人体三维模型方法的电子设备的框图。
具体实施方式
[0023]以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0024]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0025]图1示出了可以应用本申请的生成人体三维模型方法或生成人体三维模型装置的实施例的示例性系统架构100。
[0026]如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0027]用户可以使用终端设备101、102、103通过网络104与服务器105 交互，以接收或发送人体图像等。终端设备101、102、103上可以安装有各种客户端应用，例如拍摄软件等等。
[0028]终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述电子设备中。其可以实现
成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
[0029]服务器105可以提供各种服务。例如，服务器105可以对从终端设备101、102、103获取到的人体图像进行分析和处理，并生成处理结果(例如可驱动人体三维模型)。
[0030]需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
[0031]需要说明的是，本申请实施例所提供的生成人体三维模型的方法一般由服务器105执行，相应地，生成人体三维模型的装置一般设置于服本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种生成人体三维模型的方法，包括：接收单张人体图像，提取所述人体图像对应的蒙皮多人线性SMPL人体三维模型和像素对齐隐式函数PIFu人体三维模型；将所述SMPL人体三维模型和所述PIFu人体三维模型进行匹配，得到所述PIFu人体三维模型的顶点与所述SMPL人体三维模型的匹配结果；基于所述匹配结果，确定与所述PIFu人体三维模型的顶点最接近的SMPL人体三维模型的顶点，得到所述PIFu人体三维模型的顶点和所述SMPL人体三维模型的各个骨骼点的绑定权重；输出可驱动人体三维模型，其中，所述可驱动人体三维模型包括所述PIFu人体三维模型、所述SMPL人体三维模型的各个骨骼点，以及所述PIFu人体三维模型的顶点和所述SMPL人体三维模型的各个骨骼点的绑定权重。2.根据权利要求1所述的方法，其中，在所述将所述SMPL人体三维模型和所述PIFu人体三维模型进行匹配之前，所述方法还包括：将所述SMPL人体三维模型分割为预定数目个部分；基于所述SMPL人体三维模型的顶点的位置将所述SMPL人体三维模型的顶点与所述SMPL人体三维模型的各个部分进行对应。3.根据权利要求2所述的方法，其中，所述将所述SMPL人体三维模型和所述PIFu人体三维模型进行匹配，得到所述PIFu人体三维模型的顶点与所述SMPL人体三维模型的匹配结果，包括：将分割后的SMPL人体三维模型和所述PIFu人体三维模型投影在二维平面上，得到所述SMPL人体三维模型的各个部分的二维投影图和所述PIFu人体三维模型的二维投影图；将所述PIFu人体三维模型的二维投影图中的每个像素点与所述SMPL人体三维模型的各个部分的二维投影图进行匹配；基于匹配后的PIFu人体三维模型的二维投影图与所述PIFu人体三维模型的映射关系，得到所述PIFu人体三维模型的顶点与所述SMPL人体三维模型的各个部分的匹配结果。4.根据权利要求3所述的方法，其中，所述将所述PIFu人体三维模型的二维投影图中的每个像素点与所述SMPL人体三维模型的各个部分的二维投影图进行匹配，包括：采用图割算法计算所述PIFu人体三维模型的二维投影图中的每个像素点与所述SMPL人体三维模型的各个部分的二维投影图的匹配结果，将所述PIFu人体三维模型的二维投影图中的每个像素点与所述SMPL人体三维模型的各个部分的二维投影图进行匹配。5.根据权利要求3所述的方法，其中，在所述基于所述匹配结果，确定与所述PIFu人体三维模型的顶点最接近的SMPL人体三维模型的顶点之前，所述方法还包括：分别计算所述PIFu人体三维模型和所述SMPL人体三维模型的各个部分内所有顶点坐标的平均值，得到所述PIFu人体三维模型和所述SMPL人体三维模型的各个部分的顶点均值；将所述PIFu人体三维模型的各个部分的顶点和所述SMPL人体三维模型的各个部分的顶点分别减去对应的顶点均值，将所述PIFu人体三维模型和所述SMPL人体三维模型对齐到同一位置。6.根据权利要求5所述的方法，其中，所述基于所述匹配结果，确定与所述PIFu人体三
维模型的顶点最接近的SMPL人体三维模型的顶点，得到所述PIFu人体三维模型的顶点和所述SMPL人体三维模型的各个骨骼点的绑定权重，包括：基于所述匹配结果，计算所述PIFu人体三维模型的顶点与对应的所述SMPL人体三维模型的顶点的距离，确定与所述PIFu人体三维模型的顶点最接近的SMPL人体三维模型的顶点；将所述最接近的SMPL人体三维模型的顶点的权重作为所述PIFu人体三维模型顶点的权重，得到所述PIFu人体三维模型的顶点和所述SMPL人体三维模型的各个骨骼点的绑定权重。7.根据权利要求6所述的方法，其中，所述PIFu人体三维模型的顶点与对应的所述SMPL人体三维模型的顶点的距离为所述PIFu人体三维模型的顶点与对应的所述SMPL人体三维模型的顶点的欧式距离。8.一种生成人体三维模型的装置，包括：提取模块，被配置成接收单张人体图像，提取所述人体图像对应的SMPL人体三维...

【专利技术属性】
技术研发人员：林天威，李甫，叶晓青，张赫男，李鑫，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：