一种数据处理方法及其装置制造方法及图纸

一种数据处理方法，涉及人工智能领域，包括：获取目标图像中目标对象的第一姿态信息；通过扩散模型的加噪模块，对所述第一姿态信息进行加噪，得到所述第一姿态信息的加噪信息；通过所述扩散模型中的去噪模块，对所述第一姿态信息的加噪信息进行去噪

【技术实现步骤摘要】
一种数据处理方法及其装置


[0001]本申请涉及人工智能领域，尤其涉及一种数据处理方法及其装置
。

技术介绍

[0002]人体动作捕捉技术是影视
、
游戏行业中常用的技术，该技术可对输入的视频流进行处理，以捕捉每一帧图像中人体的姿态，从而得到人体的运动信息
。
基于这种技术，可以从海量的视频中提取人体运动时的姿态数据，具有广阔的应用场景，例如，增强现实
(augmented reality
，
AR)
场景和虚拟现实
(virtual reality
，
VR)
场景中的虚拟人物驱动
、
远程会议以及元宇宙等等
。
[0003]目前，可基于
AI
技术中实现人体动作捕捉
(
可简称为动捕
)。
具体地，对于某一个图像而言，可通过已训练的神经网络对该图像进行处理，从而得到姿态参数，该姿态参数可用于确定人体的姿态
。
[0004]现有基于物理的动捕有一定的物理约束，但是较为依赖运动学的动捕结果
。
当运动学的动捕结果不够准确时，物理优化容易失败
。
具体的，现有方法把物理优化当作运动学动捕的一个后处理模块，然而，直接物理跟踪一个不准的参考姿态，容易导致跟踪失败，从而使得动捕的姿态精度较低
。

技术实现思路

[0005]本申请提供了一种数据处理方法，包括：获取目标图像中目标对象的第一姿态信息；通过扩散模型的加噪模块，对所述第一姿态信息进行加噪，得到所述第一姿态信息的加噪信息；通过所述扩散模型中的去噪模块，对所述第一姿态信息的加噪信息进行去噪
。
[0006]本申请利用扩散模型进行姿态信息的优化，可以提高姿态的准确度和合理性
。
[0007]在一种可能的实现中，所述方法还包括：通过约束模型，对所述第一姿态信息的加噪信息进行处理，得到第二姿态信息，所述约束模型用于纠正姿态信息中不满足物理约束的信息；所述通过所述扩散模型中的去噪模块，对所述第一姿态信息的加噪信息进行去噪，包括：将所述第二姿态信息作为扩散模型的去噪过程的条件，通过所述扩散模型中的去噪模块，对所述第一姿态信息的加噪信息进行去噪
。
[0008]为了能够使得姿态信息满足物理约束，通常需要通过一个物理约束模型来对姿态信息进行处理，使得姿态信息本身符合物理合理性
(
例如，不存在深度歧义性和遮挡的情况，没有脚部穿模和滑动的情况等
)。
然而，由于物理约束模型的处理精度有限，得到的姿态信息并不准确，本申请实施例中，将姿态的优化过程建模为扩散模型的去噪过程，并且将物理约束模型得到的信息作为扩散模型的去噪过程的条件，从而可以提高优化后的姿态的精度
。
[0009]在一种可能的实现中，所述将所述第二姿态信息作为扩散模型中去噪过程的条件，包括：将所述第二姿态信息和所述第一姿态信息对应的二维信息的融合结果作为条件
。
[0010]在一种可能的实现中，所述第一姿态信息的加噪信息为第
T
时间步所述去噪模块
的输出；所述对所述第一姿态信息的加噪信息进行去噪得到的结果为第
T
‑1时间步所述去噪模块的输出
。
[0011]在一种可能的实现中，所述目标对象为人物
、
动物或者机械设备
。
[0012]在一种可能的实现中，所述第一姿态信息的加噪信息满足所述第一姿态信息对应的二维信息的分布
。
[0013]在一种可能的实现中，所述方法还包括：将所述第一姿态信息对应的二维信息的分布作为所述扩散模型进行加噪和去噪过程中的先验分布
。
[0014]在一种可能的实现中，所述第一姿态信息对应的二维信息的分布为通过
VAE
编码器处理所述二维信息确定的
。
[0015]在现有的扩散模型中，往往以标准高斯噪声作为输入，这需要更多的迭代次数和时间
。
本申请实施例中，利用
2D
信息
(
例如，图片或
2D
关键点等
)
的先验分布作为输入，能有效地减少迭代时间，提高优化效率
。
[0016]在一种可能的实现中，所述方法还包括：根据去噪后的所述第一姿态信息，生成所述目标对象的数字形象
。
[0017]第二方面，本申请提供了一种数据处理装置，包括：
[0018]获取模块，用于获取目标图像中目标对象的第一姿态信息；
[0019]处理模块，用于通过扩散模型的加噪模块，对所述第一姿态信息进行加噪，得到所述第一姿态信息的加噪信息；
[0020]通过所述扩散模型中的去噪模块，对所述第一姿态信息的加噪信息进行去噪
。
[0021]在一种可能的实现中，所述处理模块，还用于：
[0022]通过约束模型，对所述第一姿态信息的加噪信息进行处理，得到第二姿态信息，所述约束模型用于纠正姿态信息中不满足物理约束的信息；
[0023]所述处理模块，具体用于：
[0024]将所述第二姿态信息作为扩散模型的去噪过程的条件，通过所述扩散模型中的去噪模块，对所述第一姿态信息的加噪信息进行去噪
。
[0025]在一种可能的实现中，所述处理模块，具体用于：
[0026]将所述第二姿态信息和所述第一姿态信息对应的二维信息的融合结果作为条件
。
[0027]在一种可能的实现中，所述第一姿态信息的加噪信息为第
T
时间步所述去噪模块的输出；所述对所述第一姿态信息的加噪信息进行去噪得到的结果为第
T
‑1时间步所述去噪模块的输出
。
[0028]在一种可能的实现中，所述第一姿态信息的加噪信息满足所述第一姿态信息对应的二维信息的分布
。
[0029]在一种可能的实现中，所述目标对象为人物
。
[0030]在一种可能的实现中，所述处理模块，还用于：
[0031]将所述第一姿态信息对应的二维信息的分布作为所述扩散模型进行加噪和去噪过程中的先验分布
。
[0032]在一种可能的实现中，所述第一姿态信息对应的二维信息的分布为通过
VAE
编码器处理所述二维信息确定的
。
[0033]在一种可能的实现中，所述处理模块，还用于：
[0034]根据去噪后的所述第一姿态信息，生成所述目标对象的数字形象
。
[0035]第三方面，本申请实施例提供了一种数据处理装置，可以包括存储器
、
处理器以及总线系统，其中，存储器用于存储程序，处理器用于执行存储器中的程序，以执行如上述第一方面及其任一可选的方法
。
...

【技术保护点】

【技术特征摘要】
1.
一种数据处理方法，其特征在于，包括：获取目标图像中目标对象的第一姿态信息；通过扩散模型的加噪模块，对所述第一姿态信息进行加噪，得到所述第一姿态信息的加噪信息；通过所述扩散模型中的去噪模块，对所述第一姿态信息的加噪信息进行去噪
。2.
根据权利要求1或2所述的方法，其特征在于，所述方法还包括：通过约束模型，对所述第一姿态信息的加噪信息进行处理，得到第二姿态信息，所述约束模型用于纠正姿态信息中不满足物理约束的信息；所述通过所述扩散模型中的去噪模块，对所述第一姿态信息的加噪信息进行去噪，包括：将所述第二姿态信息作为扩散模型的去噪过程的条件，通过所述扩散模型中的去噪模块，对所述第一姿态信息的加噪信息进行去噪
。3.
根据权利要求2所述的方法，其特征在于，所述将所述第二姿态信息作为扩散模型中去噪过程的条件，包括：将所述第二姿态信息和所述第一姿态信息对应的二维信息的融合结果作为条件
。4.
根据权利要求1至3任一所述的方法，其特征在于，所述第一姿态信息的加噪信息为第
T
时间步所述去噪模块的输出；所述对所述第一姿态信息的加噪信息进行去噪得到的结果为第
T
‑1时间步所述去噪模块的输出
。5.
根据权利要求1至4任一所述的方法，其特征在于，所述第一姿态信息的加噪信息满足所述第一姿态信息对应的二维信息的分布
。6.
根据权利要求1至5任一所述的方法，其特征在于，所述目标对象为人物
。7.
根据权利要求1至6任一所述的方法，其特征在于，所述方法还包括：将所述第一姿态信息对应的二维信息的分布作为所述扩散模型进行加噪和去噪过程中的先验分布
。8.
根据权利要求7所述的方法，其特征在于，所述第一姿态信息对应的二维信息的分布为通过
VAE
编码器处理所述二维信息确定的
。9.
根据权利要求1至8任一所述的方法，其特征在于，所述方法还包括：根据去噪后的所述第一姿态信息，生成所述目标对象的数字形象
。10.
一种数据处理装置，其特征在于，包括：获取模块，用于获取目标图像中目标对象的第一姿态信息；处理模块，用于通过扩散模型的加噪模块，对所述第一姿态信息进行加噪，得到所述第一姿态信息的加噪信息；通过所述扩散模型中的去噪模块，对所述第一姿态信息的加噪信息进行去噪
。11.
根据权利要求
10
所述的装置，其特征在于，所述处理模块，还用于：通过约束模型，对所述第一姿态信息的加噪信息进行处理，得到第二姿态信息，所述约束模型用于纠正姿态信息中不满足物理约束的信息；所述...

【专利技术属性】
技术研发人员：王雁刚，鞠婧怡，黄步真，李志豪，刘世永，吴小飞，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：