三维人体的重建方法、训练方法以及相关装置制造方法及图纸

本公开涉及一种图像处理领域，涉及一种三维人体的重建方法、训练方法以及相关装置。本公开的方法包括：提取视频中图像的不同尺度的多个空间特征；根据每个空间特征，确定每个空间特征对应的预测概率，其中，每个空间特征对应的预测概率包括：每个空间特征下图像中每个像素点属于预设人体各个部分的概率；将多个空间特征按照尺度由小到大的顺序依次作为当前空间特征；根据当前空间特征、当前空间特征对应预测概率以及基于上一空间特征确定的图像中人体的参数，确定图像中人体的当前参数；在尺度最大的空间特征作为当前空间特征的情况下，根据图像中人体的当前参数进行三维人体的重建。重建。重建。

【技术实现步骤摘要】
三维人体的重建方法、训练方法以及相关装置


[0001]本公开涉及图像处理领域、计算机
，特别涉及一种三维人体的重建方法、训练方法以及相关装置。

技术介绍

[0002]近些年来，随着人工智能技术的不断发展，基于单目视频的三维人体重建技术已被广泛应用于虚拟现实、医学和电影制作等领域。同时，这种技术还可以应用于文化遗产保护、安全防范等方面，为人类的发展进步带来了巨大的推动力。
[0003]相关技术中，使用特征编码器预测输入帧的全局平均特征，根据全局平均特征确定人体的参数，以获得输入帧中人体的三维姿态和形状，用于人体重建。

技术实现思路

[0004]专利技术人发现：相关技术中通常采用全局平均特征进行人体重建，但是由于全局平均特征在空间细节上可能会丢失很多有用的信息，使得它们对微小运动变化敏感，导致人体重建结果与实际相差较大。
[0005]本公开所要解决的一个技术问题是：如何提高三维人体重建的准确性。
[0006]根据本公开的一些实施例，提供的一种三维人体的重建方法，包括：提取视频中图像的不同尺度的多个空间特征；根据每个空间特征，确定每个空间特征对应的预测概率，其中，每个空间特征对应的预测概率包括：每个空间特征下图像中每个像素点属于预设人体各个部分的概率；将多个空间特征按照尺度由小到大的顺序依次作为当前空间特征；根据当前空间特征、当前空间特征对应预测概率以及基于上一空间特征确定的图像中人体的参数，确定图像中人体的当前参数，其中，在尺度最小的空间特征作为当前空间特征的情况下，基于上一空间特征确定的图像中人体的参数为预设参数；在尺度最大的空间特征作为当前空间特征的情况下，根据图像中人体的当前参数进行三维人体的重建。
[0007]在一些实施例中，当前空间特征、当前空间特征对应预测概率以及基于上一空间特征确定的图像中人体的参数，确定图像中人体的当前参数包括：根据基于上一空间特征确定的图像中人体的参数，确定当前二维人体网格特征；根据当前空间特征和当前二维人体网格特征，确定当前空间特征对应的当前网格特征；根据当前空间特征对应的预测概率，确定当前网格特征中每个顶点特征的重要度，作为当前空间特征对应的当前重要度特征；根据当前网格特征和当前重要度特征，确定图像中人体的当前参数。
[0008]在一些实施例中根据当前空间特征对应的预测概率，确定当前网格特征中每个顶点特征的重要度包括：根据当前空间特征对应的预测概率和当前二维人体网格特征，确定当前网格特征中每个顶点属于预设人体各个部分的概率，作为当前空间特征对应的当前参考概率；根据当前参考概率，确定当前网格特征中每个顶点特征的重要度。
[0009]在一些实施例中根据当前网格特征和当前重要度特征，确定图像中人体的当前参数包括：根据当前空间特征对应的预测概率和当前二维人体网格特征，确定当前网格特征
中每个顶点属于预设人体各个部分的概率，作为当前空间特征对应的当前参考概率；根据当前网格特征和当前重要度特征，进行时序编码，确定当前空间特征对应的当前时间特征；根据当前时间特征，确定图像中人体的当前参数。
[0010]在一些实施例中，根据当前网格特征和当前重要度特征，进行时序编码，确定当前空间特征对应的当前时间特征包括：将当前网格特征划分为互不重叠的多个当前特征子集，其中，多个当前特征子集对应人体不同部位；根据每个当前特征子集中每个顶点特征的重要度，确定每个当前特征子集的重要度；针对每个当前特征子集，获取与图像连续的预设范围内其他图像的与该当前特征子集相对应的特征子集，并与该当前特征子集组成该当前特征子集对应的当前特征序列；获取与图像连续的预设范围内其他图像的与该当前特征子集相对应的特征子集的重要度，并与该当前特征子集的重要度，组成该当前特征子集对应的当前重要度序列；根据每个当前特征子集对应的当前特征序列和当前重要度序列，确定当前时间特征。
[0011]在一些实施例中根据每个当前特征子集对应的当前特征序列和当前重要度序列，确定当前时间特征包括：根据每个当前特征子集对应的当前特征序列，基于注意力机制，确定每个当前特征子集对应的当前注意力矩阵；根据每个当前特征子集对应的当前注意力矩阵和当前重要度序列，确定每个当前特征子集对应的当前时序增强特征；将每个当前特征子集对应的当前时序增强特征进行拼接，得到当前增强网格特征；根据当前增强网格特征，确定当前时间特征。
[0012]在一些实施例中根据每个当前特征子集对应的当前注意力矩阵和当前重要度序列，确定每个当前特征子集对应的当前时序增强特征包括：针对每个当前特征子集，将该当前特征子集对应的当前重要度序列按照预设范围内图像的数量进行复制，生成该当前特征子集对应的当前重要度矩阵；将该当前特征子集对应的当前重要度矩阵和该当前特征子集对应的当前注意力矩阵，逐元素相乘并进行归一化，确定该当前特征子集对应的当前更新注意力矩阵；根据该当前特征子集对应的当前更新注意力矩阵、该当前特征子集对应的当前特征序列和第一值变换矩阵，确定该当前特征子集对应的当前时序增强特征。
[0013]在一些实施例中根据该当前特征子集对应的当前更新注意力矩阵、该当前特征子集对应的当前特征序列和第一值变换矩阵，确定该当前特征子集对应的当前时序增强特征包括：根据当前特征子集对应的当前特征序列和第一值变换矩阵，确定第一值矩阵；将该当前特征子集对应的当前更新注意力矩阵与第一值矩阵相乘，再与该当前特征子集对应的当前特征序列相加，得到该当前特征子集对应的当前时序增强特征。
[0014]在一些实施例中根据当前增强网格特征，确定当前时间特征包括：获取在图像之前和之后与图像相邻的预设数量的其他图像的与当前增强网格特征相对应的增强网格特征，并与当前增强网格特征组成当前网格特征序列；根据当前网格特征序列，基于注意力机制，确定当前网格特征序列中每个增强网格特征的权重；根据每个增强网格特征的权重对每个增强网格特征进行加权融合，确定当前时间特征。
[0015]在一些实施例中根据当前网格特征序列，基于注意力机制，确定当前网格特征序列中每个增强网格特征的权重包括：根据第一变换矩阵和当前增强网格特征，得到第一变换特征；根据第二变换矩阵和当前网格特征序列，得到第二变换特征；根据第一变换特征和第二变换特征，确定当前网格特征序列中每个增强网格特征的权重。
[0016]在一些实施例中，根据当前参考概率，确定当前网格特征中每个顶点特征的重要度包括：根据当前参考概率中当前人体网格特征中每个顶点属于预设人体各个部分的概率，确定每个顶点的熵；根据每个顶点的熵，确定每个顶点特征的重要度。
[0017]在一些实施例中，根据当前空间特征和当前二维人体网格特征，确定当前空间特征对应的当前网格特征包括：根据当前二维人体网格特征对当前空间特征进行采样，确定当前空间特征对应的当前基础网格特征；根据当前基础网格特征和当前重要度特征，确定当前网格特征。
[0018]在一些实施例中，根据当前基础网格特征和当前重要度特征，确定当前网格特征包括：针对当前基础网格特征中每个顶点特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维人体的重建方法，包括：提取视频中图像的不同尺度的多个空间特征；根据每个空间特征，确定所述每个空间特征对应的预测概率，其中，所述每个空间特征对应的预测概率包括：所述每个空间特征下所述图像中每个像素点属于预设人体各个部分的概率；将所述多个空间特征按照尺度由小到大的顺序依次作为当前空间特征；根据所述当前空间特征、所述当前空间特征对应预测概率以及基于上一空间特征确定的所述图像中人体的参数，确定所述图像中人体的当前参数，其中，在所述尺度最小的空间特征作为所述当前空间特征的情况下，所述基于上一空间特征确定的所述图像中人体的参数为预设参数；在尺度最大的空间特征作为所述当前空间特征的情况下，根据所述图像中人体的当前参数进行三维人体的重建。2.根据权利要求1所述的重建方法，其中，所述当前空间特征、所述当前空间特征对应预测概率以及基于上一空间特征确定的所述图像中人体的参数，确定所述图像中人体的当前参数包括：根据所述基于上一空间特征确定的所述图像中人体的参数，确定当前二维人体网格特征；根据所述当前空间特征和所述当前二维人体网格特征，确定所述当前空间特征对应的当前网格特征；根据所述当前空间特征对应的预测概率，确定所述当前网格特征中每个顶点特征的重要度，作为所述当前空间特征对应的当前重要度特征；根据所述当前网格特征和所述当前重要度特征，确定所述图像中人体的当前参数。3.根据权利要求2所述的重建方法，其中，所述根据所述当前空间特征对应的预测概率，确定所述当前网格特征中每个顶点特征的重要度包括：根据所述当前空间特征对应的预测概率和所述当前二维人体网格特征，确定所述当前网格特征中每个顶点属于预设人体各个部分的概率，作为所述当前空间特征对应的当前参考概率；根据所述当前参考概率，确定所述当前网格特征中每个顶点特征的重要度。4.根据权利要求2所述的重建方法，其中，所述根据所述当前网格特征和所述当前重要度特征，确定所述图像中人体的当前参数包括：根据所述当前空间特征对应的预测概率和所述当前二维人体网格特征，确定所述当前网格特征中每个顶点属于预设人体各个部分的概率，作为所述当前空间特征对应的当前参考概率；根据所述当前网格特征和所述当前重要度特征，进行时序编码，确定所述当前空间特征对应的当前时间特征；根据所述当前时间特征，确定所述图像中人体的当前参数。5.根据权利要求4所述的重建方法，其中，所述根据所述当前网格特征和所述当前重要度特征，进行时序编码，确定所述当前空间特征对应的当前时间特征包括：将所述当前网格特征划分为互不重叠的多个当前特征子集，其中，所述多个当前特征
子集对应人体不同部位；根据每个当前特征子集中每个顶点特征的重要度，确定所述每个当前特征子集的重要度；针对所述每个当前特征子集，获取与所述图像连续的预设范围内其他图像的与该当前特征子集相对应的特征子集，并与该当前特征子集组成该当前特征子集对应的当前特征序列；获取与所述图像连续的预设范围内其他图像的与该当前特征子集相对应的特征子集的重要度，并与该当前特征子集的重要度，组成该当前特征子集对应的当前重要度序列；根据所述每个当前特征子集对应的当前特征序列和当前重要度序列，确定所述当前时间特征。6.根据权利要求5所述的重建方法，其中，所述根据所述每个当前特征子集对应的当前特征序列和当前重要度序列，确定所述当前时间特征包括：根据所述每个当前特征子集对应的当前特征序列，基于注意力机制，确定所述每个当前特征子集对应的当前注意力矩阵；根据所述每个当前特征子集对应的当前注意力矩阵和当前重要度序列，确定每个当前特征子集对应的当前时序增强特征；将每个当前特征子集对应的当前时序增强特征进行拼接，得到当前增强网格特征；根据所述当前增强网格特征，确定所述当前时间特征。7.根据权利要求6所述的重建方法，其中，所述根据所述每个当前特征子集对应的当前注意力矩阵和当前重要度序列，确定每个当前特征子集对应的当前时序增强特征包括：针对所述每个当前特征子集，将该当前特征子集对应的当前重要度序列按照所述预设范围内图像的数量进行复制，生成该当前特征子集对应的当前重要度矩阵；将该当前特征子集对应的当前重要度矩阵和该当前特征子集对应的当前注意力矩阵，逐元素相乘并进行归一化，确定该当前特征子集对应的当前更新注意力矩阵；根据该当前特征子集对应的当前更新注意力矩阵、该当前特征子集对应的当前特征序列和第一值变换矩阵，确定该当前特征子集对应的当前时序增强特征。8.根据权利要求7所述的重建方法，其中，所述根据该当前特征子集对应的当前更新注意力矩阵、该当前特征子集对应的当前特征序列和第一值变换矩阵，确定该当前特征子集对应的当前时序增强特征包括：根据当前特征子集对应的当前特征序列和第一值变换矩阵，确定第一值矩阵；将该当前特征子集对应的当前更新注意力矩阵与所述第一值矩阵相乘，再与该当前特征子集对应的所述当前特征序列相加，得到该当前特征子集对应的当前时序增强特征。9.根据权利要求6所述的重建方法，其中，所述根据所述当前增强网格特征，确定所述当前时间特征包括：获取在所述图像之前和之后与所述图像相邻的预设数量的其他图像的与所述当前增强网格特征相对应的增强网格特征，并与所述当前增强网格特征组成当前网格特征序列；根据所述当前网格特征序列，基于注意力机制，确定所述当前网格特征序列中每个增强网格特征的权重；根据所述每个增强网格特征的权重对所述每个增强网格特征进行加权融合，确定所述
当前时间特征。10.根据权利要求9所述的重建方法，其中，所述根据所述当前网格特征序列，基于注意力机制，确定所述当前网格特征序列中每个增强网格特征的权重包括：根据第一变换矩阵和当前增强网格特征，得到第一变换特征；根据第二变换矩阵和当前网格特征序列，得到第二变换特征；根据所述第一变换特征和所述第二变换特征，确定所述当前网格特征序列中每个增强网格特征的权重。11.根据权利要求3所述的重建方法，其中，所述根据所述当前参考概率，确定所述当前网格特征中每个顶点特征的重要度包括：根据所述当前参考概率中所述当前人体网格特征中每个顶点属于预设人体各个部分的概率，确定所述每个顶点的熵；根据所述每个顶点的熵，确定所述每个顶点特征的重要度。12.根据权利要求2所述的重建方法，其中，所述根据所述当前空间特征和所述当前二维人体网格特征，确定所述当前空间特征对应的当前网格特征包括：根据所述当前二维人体网格特征对所述当前空间特征进行采样，确定所述当前空间特征对应的当前基础网格特征；根据所述当前基础网格特征和所述当前重要度特征，确定所述当前网格特征。13.根据权利要求12所述的重建方法，其中，所述根据所述当前基础网格特征和所述当前重要度特征，确定所述当前网格特征包括：针对所...

【专利技术属性】
技术研发人员：曹琼，洪晓林，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：