三维人体重建方法、装置、设备及存储介质制造方法及图纸

本申请适用于计算机视觉领域，提供一种三维人体重建方法、装置、设备及存储介质，其中方法包括：获取目标人体图像；从所述目标人体图像中提取人体关节点；采用预设的三维重建模型，根据所述人体关节点得到第一人体网格特征图，对所述第一人体网格特征图进行顶点扩增，得到第二人体网格特征图，根据所述第二人体网格特征图得到第一三维人体特征模型。该方案能够降低单视角的三维人体重建方法在人体特征处理中二维至三维映射的不确定性。处理中二维至三维映射的不确定性。处理中二维至三维映射的不确定性。

【技术实现步骤摘要】
三维人体重建方法、装置、设备及存储介质


[0001]本申请属于计算机视觉领域，尤其涉及一种三维人体重建方法、装置、设备及存储介质。

技术介绍

[0002]传统三维人体重建通过多视角相机、深度相机、激光扫描或惯性传感器等设备，采集多张图像及多方面的人体特征，并在此基础上实施后续的特征处理，实现人体三维重建，该方案具有三维重建精度高的优点，同时也导致人体三维重建的成本高、操作复杂，也会使得有较多噪声需要后处理。
[0003]为平衡该缺点，现有技术采用基于单视角的三维人体重建方法，能够降低成本，不需复杂操作，且实际应用场景更广泛。然而单视角的三维人体重建方法在人体特征处理中会存在二维至三维映射的不确定性。

技术实现思路

[0004]本申请实施例提供了一种数据处理方法、装置、设备及存储介质，以解决现有技术中单视角的三维人体重建方法在人体特征处理中会存在二维至三维映射的不确定性的问题。
[0005]本申请实施例的第一方面提供了一种三维人体重建方法，包括：
[0006]获取目标人体图像；
[0007]从所述目标人体图像中提取人体关节点；
[0008]采用预设的三维重建模型，根据所述人体关节点得到第一人体网格特征图，对所述第一人体网格特征图进行顶点扩增，得到第二人体网格特征图，根据所述第二人体网格特征图得到第一三维人体特征模型。
[0009]本申请实施例的第二方面提供了一种三维人体重建装置，包括：
[0010]获取模块，用于获取目标人体图像；
[0011]提取模块，用于从所述目标人体图像中提取人体关节点；
[0012]三维重建模块，用于采用预设的三维重建模型，根据所述人体关节点得到第一人体网格特征图，对所述第一人体网格特征图进行顶点扩增，得到第二人体网格特征图，根据所述第二人体网格特征图得到第一三维人体特征模型。
[0013]本申请实施例的第三方面提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述方法的步骤。
[0014]本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述方法的步骤。
[0015]本申请的第五方面提供了一种计算机程序产品，当所述计算机程序产品在计算机
设备上运行时，使得所述计算机设备执行上述第一方面所述方法的步骤。
[0016]由上可见，本申请实施例中，通过获取目标人体图像，从目标人体图像中提取人体关节点，采用预设的三维重建模型，根据人体关节点得到第一人体网格特征图，对第一人体网格特征图进行顶点扩增，得到第二人体网格特征图，根据第二人体网格特征图得到三维人体特征模型，该过程通过预设的三维重建模型基于人体关节点处理得到人体网格特征图，仅使用人体关节点这一点位特征实施人体三维重建，在降低成本且不需复杂操作的同时，通过对人体网络图像进行顶点扩增实现图像中与人体关节对应的像素点的数量及特征维度的扩增，确保人体二维特征至三维映射的有效性。
附图说明
[0017]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]图1是本申请实施例提供的一种三维人体重建方法的流程图；
[0019]图2是本申请实施例提供的一种三维人体重建的数据流向图；
[0020]图3是本申请实施例提供的三维重建模型的结构图；
[0021]图4是本申请实施例提供的输入层的结构图；
[0022]图5是本申请实施例提供的渐进层的一个图像处理示意图；
[0023]图6是本申请实施例提供的渐进层的另一个图像处理示意图；
[0024]图7是本申请实施例提供的渐进层的又一个图像处理示意图；
[0025]图8是本申请实施例提供的渐进层的再一个图像处理示意图；
[0026]图9是本申请实施例提供的渐进层的还一个图像处理示意图；
[0027]图10是本申请实施例提供的渐进层的输出层的图像处理示意图。
[0028]图11是本申请实施例提供的一种三维人体重建装置的结构图；
[0029]图12是本申请实施例提供的一种计算机设备的结构图。
具体实施方式
[0030]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
[0031]应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0032]还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0033]还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是
指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0034]如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0035]具体实现中，本申请实施例中描述的计算机设备包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，所述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。
[0036]在接下来的讨论中，描述了包括显示器和触摸敏感表面的计算机设备。然而，应当理解的是，计算机设备可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其它物理用户接口设备。
[0037]计算机设备支持各种应用程序，例如以下中的一个或多个：绘图应用程序、演示应用程序、文字处理应用程序、网站创建应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维人体重建方法，其特征在于，包括：获取目标人体图像；从所述目标人体图像中提取人体关节点；采用预设的三维重建模型，根据所述人体关节点得到第一人体网格特征图，对所述第一人体网格特征图进行顶点扩增，得到第二人体网格特征图，根据所述第二人体网格特征图得到第一三维人体特征模型。2.根据权利要求1所述的方法，其特征在于，所述三维重建模型包括输入层，所述输入层用于根据所述人体关节点得到所述第一人体网格特征图；所述输入层包括依次串联的至少一个第一图卷积单元、第一数据维度转换层、全连接层和第二数据维度转换层；至少一个所述第一图卷积单元用于增加所述人体关节点的特征维度后输出特征图，所述全连接层用于将输入的第一特征图进行关节点扩增，所述第一数据维度转换层和所述第二数据维度转换层用于对输入的第二特征图进行维度转换，所述第二数据维度转换层输出所述第一人体网格特征图。3.根据权利要求1所述的方法，其特征在于，所述三维重建模型包括渐进层，所述渐进层用于对所述第一人体网格特征图进行顶点数量扩增及顶点特征维度调整，得到所述第二人体网格特征图；所述渐进层包括依次串联的N个图卷积层，N为大于1的整数；前N
‑
1个所述图卷积层中的每个所述图卷积层用于将输入的第三特征图中各个顶点的特征维度增加至预设维度，并按照预设倍数对所述第三特征图中的顶点数量进行扩增；第N个所述图卷积层用于将输入的第四特征图中各个顶点的特征维度增加至预设维度；其中，第1个所述图卷积层中输入的所述第三特征图为所述第一人体网格特征图，第N个所述图卷积层输出的特征图为所述第二人体网格特征图。4.根据权利要求3所述的方法，其特征在于，前N
‑
1个所述图卷积层中的每个所述图卷积层中包含图卷积模块和上采样层，所述图卷积模块包括依次串联的M个第二图卷积单元，M为大于1的整数；所述图卷积层中输入的所述第三特征图输入至所述图卷积模块中，所述图卷积模块用于将所述第三特征图中各个顶点的特征维度增加至预设维度，得到...

【专利技术属性】
技术研发人员：王磊，程俊，刘薰裕，陈恭斌，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：