一种数据处理方法，涉及人工智能领域，包括：通过第一姿态识别模型，对目标图像进行处理，得到目标图像中目标对象的第一姿态信息；通过第二姿态识别模型，对目标图像进行处理，得到目标图像中目标对象的第二姿态信息；第一姿态信息和第二姿态信息用于描述目标对象的三维姿态；第二姿态信息用于确定目标对象的预测姿态的二维投影信息；根据第一姿态信息和第二姿态信息、以及二维投影信息和对应的标注构建损失，损失用于更新第二姿态识别模型。本申请通过引入一个不会或基本不会出现畸形的姿态信息作为训练姿态识别模型时的先验信息(第一姿态信息)，来保证更新后的姿态识别模型输出的姿态信息所确定的姿态不会出现畸形。出的姿态信息所确定的姿态不会出现畸形。出的姿态信息所确定的姿态不会出现畸形。
【技术实现步骤摘要】
一种数据处理方法及其装置
[0001]本申请涉及人工智能领域，尤其涉及一种数据处理方法及其装置。
技术介绍
[0002]人体动作捕捉技术是影视、游戏行业中常用的技术，该技术可对输入的视频流进行处理，以捕捉每一帧图像中人体的姿态，从而得到人体的运动信息。基于这种技术，可以从海量的视频中提取人体运动时的姿态数据，具有广阔的应用场景，例如，增强现实(augmented reality，AR)场景和虚拟现实(virtual reality，VR)场景中的虚拟人物驱动、远程会议以及元宇宙等等。
[0003]目前，可基于AI技术中实现人体动作捕捉。具体地，对于某一个图像而言，可通过已训练的神经网络对该图像进行处理，从而得到姿态参数，该姿态参数可用于确定人体的姿态。
[0004]然而现有技术中采用的神经网络是仅基于二维投影信息构建的损失进行更新的，虽然可以做到预测的姿态和图像或者视频中姿态之间的像素级的对齐，但是预测的姿态会出现动作畸形、不合理的问题。
技术实现思路
[0005]本申请提供了一种数据处理方法，通过引入一个不会或基本不会出现畸形的姿态信息作为训练姿态识别模型时的监督信号(或者称之为先验信息，也就是第一姿态信息)，来保证一方面更新后的姿态识别模型输出的姿态信息所确定的姿态可以和图像中人物对象的姿态实现像素级的对齐，另一方面所确定的姿态不会出现畸形(或者基本不会出现畸形)的情况。
[0006]第一方面，本申请提供了一种数据处理方法，包括：获取目标图像；通过第一姿态识别模型，对所述目标图像进行处理，得到所述目标图像中目标对象的第一姿态信息；通过第二姿态识别模型，对所述目标图像进行处理，得到所述目标图像中目标对象的第二姿态信息；所述第一姿态信息和所述第二姿态信息用于描述所述目标对象的三维姿态；所述第二姿态信息用于确定所述目标对象的预测姿态的二维投影信息；根据所述第一姿态信息和所述第二姿态信息、以及所述二维投影信息和对应的标注构建损失，所述损失用于更新所述第二姿态识别模型。
[0007]在一种可能的实现中，对于需要训练的姿态识别模型，通常在前馈过程中可以输出用于描述所述目标对象的三维姿态的信息，将该信息进行二维关键点的优化，也就是通过一定的映射方式得到二维投影信息，并通过得到的二维投影信息和对应的标注的差异所构建的损失来更新姿态识别模型，进而使得更新后的姿态识别模型输出的姿态信息所确定的姿态可以和图像中人物对象的姿态实现像素级的对齐，然而这种方式会导致所确定的姿态出现畸形、不正常的情况。本申请实施例中，通过引入一个不会或基本不会出现畸形的姿态信息作为训练姿态识别模型时的监督信号(或者称之为先验信息)，来保证一方面更新后
的姿态识别模型输出的姿态信息所确定的姿态可以和图像中人物对象的姿态实现像素级的对齐，另一方面所确定的姿态不会出现畸形(或者基本不会出现畸形)的情况。
[0008]在一种可能的实现中，上述所引入的监督信号(或者称之为先验信息)可以由第一姿态识别模型来提供。
[0009]在一种可能的实现中，所述第一姿态识别模型为根据输出的姿态信息和对应的标注构建的损失训练得到的。
[0010]其中，第一姿态识别模型可以基于端到端的方式，通过处理图像得到目标图像中目标对象的姿态信息。其中，姿态参数通常由两部分参数构成，一部分参数用于指示目标对象相对于相机的旋转角，另一部分参数用于指示目标对象自身各个关节之间的夹角。可选的，另一部分参数还可以用于指示目标对象上的三维坐标点的位置。
[0011]在一种可能的实现中，第一姿态信息可以用于描述所述目标对象的三维姿态，例如可以指示目标对象自身各个关节之间的夹角、或者用于指示目标对象上的三维坐标点的位置。
[0012]在一种可能的实现中，所述通过第一姿态识别模型，对所述目标图像进行处理，还得到所述目标图像中目标对象的第一体型信息；所述通过第二姿态识别模型，对所述目标图像进行处理，还得到所述目标图像中目标对象的第二体型信息；所述根据所述第一姿态信息和所述第二姿态信息、以及所述关键点位置信息和对应的标注值构建损失，包括：根据所述第一姿态信息和所述第二姿态信息、所述关键点位置信息和对应的标注值、以及所述第一体型信息和所述第二体型信息构建损失。
[0013]其中，第一体型信息也可以称之为形状参数(shape)，用于指示目标对象的三维形状。位移参数用于指示目标对象在目标区域中所占的幅度，以及目标对象在目标区域中的偏移量(例如，以目标区域的中心点为参考点，目标对象向左偏移的程度或向右偏移的程度)。
[0014]在一种可能的实现中，所述目标图像为原始图像中所述目标对象所处的图像区域，在计算二维投影信息时，所述二维投影信息表示为所述预测姿态的二维投影在所述原始图像中所处的位置，也就是说，可以在全图上计算重投影误差，更贴近图片形成时的投影过程。
[0015]在一种可能的实现中，所述目标对象为人物。
[0016]在一种可能的实现中，所述方法还包括：通过更新后的所述第二姿态识别模型，处理所述目标图像，得到所述目标图像中目标对象的第三姿态信息；所述第三姿态信息用于确定所述目标对象的姿态。
[0017]在一种可能的实现中，在通过上述方式得到更新后的第二姿态识别模型之后，可以通过更新后的所述第二姿态识别模型，处理所述目标图像，得到所述目标图像中目标对象的第三姿态信息；所述第三姿态信息用于确定所述目标对象的姿态。类似的，对于视频流中的其余帧图像，也可执行如同对目标图像所执行的操作，以得到目标对象的连续多个姿态，形成目标对象的运动信息。
[0018]在一种可能的实现中，在得到上述第三姿态信息之后，可以向用户设备发送通过更新后的所述第二姿态识别模型处理所述目标图像得到的所述目标对象的姿态；或者，向用户设备发送所述更新后的所述第二姿态识别模型。
[0019]在一种可能的实现中，所述标注为人工预先标注的、或者通过预训练的模型对所述目标图像进行处理得到的。
[0020]第二方面，本申请提供了一种数据处理装置，其特征在于，包括：
[0021]获取模块，用于获取目标图像；
[0022]图像处理模块，用于通过第一姿态识别模型，对所述目标图像进行处理，得到所述目标图像中目标对象的第一姿态信息；
[0023]通过第二姿态识别模型，对所述目标图像进行处理，得到所述目标图像中目标对象的第二姿态信息；所述第一姿态信息和所述第二姿态信息用于描述所述目标对象的三维姿态；所述第二姿态信息用于确定所述目标对象的预测姿态的二维投影信息；
[0024]模型更新模块，用于根据所述第一姿态信息和所述第二姿态信息、以及所述二维投影信息和对应的标注构建损失，所述损失用于更新所述第二姿态识别模型。
[0025]在一种可能的实现中，所述第一姿态识别模型为根据输出的姿态信息和对应的标注构建的损失训练得到的。
[0026]在一种可能的实现中，
[0027]所述通过第一姿态识别模型，对所述目标图像进本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取目标图像；通过第一姿态识别模型，对所述目标图像进行处理，得到所述目标图像中目标对象的第一姿态信息；通过第二姿态识别模型，对所述目标图像进行处理，得到所述目标图像中目标对象的第二姿态信息；所述第一姿态信息和所述第二姿态信息用于描述所述目标对象的三维姿态；所述第二姿态信息用于确定所述目标对象的预测姿态的二维投影信息；根据所述第一姿态信息和所述第二姿态信息、以及所述二维投影信息和对应的标注构建损失，所述损失用于更新所述第二姿态识别模型。2.根据权利要求1所述的方法，其特征在于，所述第一姿态识别模型为根据输出的姿态信息和对应的标注构建的损失训练得到的。3.根据权利要求1或2所述的方法，其特征在于，所述通过第一姿态识别模型，对所述目标图像进行处理，还得到所述目标图像中目标对象的第一体型信息；所述通过第二姿态识别模型，对所述目标图像进行处理，还得到所述目标图像中目标对象的第二体型信息；所述根据所述第一姿态信息和所述第二姿态信息、以及所述关键点位置信息和对应的标注值构建损失，包括：根据所述第一姿态信息和所述第二姿态信息、所述关键点位置信息和对应的标注值、以及所述第一体型信息和所述第二体型信息构建损失。4.根据权利要求1至3任一所述的方法，其特征在于，所述目标图像为原始图像中所述目标对象所处的图像区域，所述二维投影信息表示为所述预测姿态的二维投影在所述原始图像中所处的位置。5.根据权利要求1至4任一所述的方法，其特征在于，所述目标对象为人物。6.根据权利要求1至5任一所述的方法，其特征在于，所述方法还包括：通过更新后的所述第二姿态识别模型，处理所述目标图像，得到所述目标图像中目标对象的第三姿态信息；所述第三姿态信息用于确定所述目标对象的姿态。7.根据权利要求1至6任一所述的方法，其特征在于，所述方法还包括：向用户设备发送通过更新后的所述第二姿态识别模型处理所述目标图像得到的所述目标对象的姿态；或者，向用户设备发送所述更新后的所述第二姿态识别模型。8.根据权利要求1至7任一所述的方法，其特征在于，所述标注为人工预先标注的、或者通过预训练的模型对所述目标图像进行处理得到的。9.一种数据处理装置，其特征在于，包括：获取模块，用于获取目标图像；图像处理模块，用于通过第一姿态识别模型，对所述目标图像进行处理，得到所述目标图像中目标对象的第一姿态信息；通过第二姿态识别模型，对所述目标图像进行处理，得到所述目标图像中...
【专利技术属性】
技术研发人员：李志豪，刘健庄，许松岑，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。