对象动作数据处理方法、装置、电子设备及存储介质制造方法及图纸

本公开关于一种对象动作数据处理方法、装置、电子设备及存储介质，所述方法包括：获取包含目标对象的图像帧序列，以及与所述图像帧序列中每个图像帧对应的对象位姿数据；所述对象位姿数据基于设置在所述目标对象上的位姿测量模块得到；对目标图像帧中的所述目标对象进行动作数据预测，得到与所述目标图像帧对应的预测动作数据；所述目标图像帧为所述图像帧序列中未进行动作数据预测的图像帧；基于所述目标图像帧，以及所述目标图像帧对应的对象位姿数据，对所述目标图像帧对应的预测动作数据进行误差约束处理，得到与所述目标图像帧对应的目标动作数据。本公开能够提高目标对象的动作数据确定的准确性，进而能够提高动作驱动的准确性。确性。确性。

【技术实现步骤摘要】
对象动作数据处理方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
，尤其涉及一种对象动作数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]对象姿态估计作为计算机视觉的一个重要的研究领域，其目的是基于给定的输入信息进行对象姿态估计，可应用于许多应用场景，例如动作识别、动作检测、电影、动画、虚拟现实、人机交互、运动分析等。
[0003]相关技术中，一般可基于单目相机系统获取的图像信息进行对象动作数据预测，由于单目视觉可能存在视觉遮挡，从而导致对象动作数据预测不准确的问题。

技术实现思路

[0004]本公开提供一种对象动作数据处理方法、装置、电子设备及存储介质，以至少解决相关技术中对象动作数据预测不准确的问题。本公开的技术方案如下：
[0005]根据本公开实施例的第一方面，提供一种对象动作数据处理方法，包括：
[0006]获取包含目标对象的图像帧序列，以及与所述图像帧序列中每个图像帧对应的对象位姿数据；所述对象位姿数据基于设置在所述目标对象上的位姿测量模块得到；
[0007]对目标图像帧中的所述目标对象进行动作数据预测，得到与所述目标图像帧对应的预测动作数据；所述目标图像帧为所述图像帧序列中未进行动作数据预测的图像帧；
[0008]基于所述目标图像帧，以及所述目标图像帧对应的对象位姿数据，对所述目标图像帧对应的预测动作数据进行误差约束处理，得到与所述目标图像帧对应的目标动作数据。
[0009]在一示例性实施例中，所述基于所述目标图像帧，以及所述目标图像帧对应的对象位姿数据，对所述目标图像帧对应的预测动作数据进行误差约束处理，得到与所述目标图像帧对应的目标动作数据，包括：
[0010]基于所述预测动作数据进行动作驱动处理，得到预测驱动数据；所述预测驱动数据为与所述预测动作数据对应的观测数据；
[0011]基于所述目标图像帧、所述目标图像帧对应的对象位姿数据，对所述预测驱动数据进行误差约束处理，得到目标驱动数据；
[0012]基于所述目标驱动数据确定所述目标动作数据。
[0013]在一示例性实施例中，所述基于所述目标图像帧，以及所述目标图像帧对应的对象位姿数据，对所述目标图像帧对应的预测动作数据进行误差约束处理，得到与所述目标图像帧对应的目标动作数据，包括：
[0014]基于所述目标图像帧进行关键点检测，得到所述目标对象的检测关键点信息；
[0015]基于所述预测动作数据进行动作驱动处理，得到所述目标对象的预测关键点信息；
[0016]基于所述检测关键点信息与所述预测关键点信息之间的误差信息，以及所述目标图像帧对应的对象位姿数据，对所述预测动作数据进行误差约束处理，得到所述目标动作数据。
[0017]在一示例性实施例中，所述检测关键点信息包括多个目标关键点各自对应的检测置信度；
[0018]所述基于所述检测关键点信息与所述预测关键点信息的之间误差信息，以及所述目标图像帧对应的对象位姿数据，对所述预测动作数据进行误差约束处理，得到所述目标动作数据，包括：
[0019]基于所述目标图像帧中所述多个目标关键点各自对应的检测置信度，历史图像帧中所述多个目标关键点各自对应的检测置信度，以及所述历史图像帧对应的平滑置信度阈值，得到所述目标图像帧对应的目标置信度阈值；所述历史图像帧为所述图像帧序列中时序位于所述目标图像帧之前的图像帧；所述平滑置信度阈值基于所述历史图像帧中所述多个目标关键点的平均置信度确定；
[0020]基于预设置信度阈值、所述目标图像帧对应的目标置信度阈值，以及所述目标图像帧中所述多个目标关键点各自对应的检测置信度，确定所述目标图像帧中所述多个目标关键点各自对应的第一权重；所述预设置信度阈值小于所述目标图像帧对应的目标置信度阈值；
[0021]基于所述多个目标关键点各自对应的第一权重，对所述检测关键点信息以及所述预测关键点信息的误差信息进行加权处理，生成第一加权误差信息；
[0022]基于所述第一加权误差信息以及所述目标图像帧对应的对象位姿数据，对所述预测动作数据进行误差约束处理，得到所述目标动作数据。
[0023]在一示例性实施例中，所述基于所述目标图像帧，以及所述目标图像帧对应的对象位姿数据，对所述目标图像帧对应的预测动作数据进行误差约束处理，得到与所述目标图像帧对应的目标动作数据包括：
[0024]将所述目标图像帧对应的对象位姿数据从惯性坐标系变换到全局坐标系，得到所述目标对象在全局坐标系下的目标骨骼朝向数据；
[0025]基于所述预测动作数据进行动作驱动处理，得到所述目标对象在全局坐标系下的预测骨骼朝向数据；
[0026]基于所述目标骨骼朝向数据以及所述预测骨骼朝向数据，生成骨骼朝向误差信息；
[0027]基于所述目标图像帧以及所述骨骼朝向误差信息，对所述预测动作数据进行误差约束处理，得到所述目标动作数据。
[0028]在一示例性实施例中，所述基于所述目标图像帧以及所述骨骼朝向误差信息，对所述预测动作数据进行误差约束处理，得到所述目标动作数据，包括：
[0029]基于所述目标图像帧进行关键点检测，得到所述目标对象的检测关键点信息；所述检测关键点信息包括多个目标关键点各自对应的检测置信度；所述目标对象在所述目标图像帧中的多个骨骼与所述多个目标关键点具有对应关系；
[0030]在任一骨骼对应的目标关键点的检测置信度小于目标置信度阈值的情况下，确定所述任一骨骼对应的第二权重，以及所述任一骨骼对应的目标关键点对应的第三权重；所
述第二权重大于所述第三权重；
[0031]基于所述任一骨骼对应的第二权重，对所述骨骼朝向误差信息进行加权处理，生成第二加权误差信息；
[0032]基于所述任一骨骼对应的目标关键点对应的第三权重，对所述目标关键点的检测信息与所述目标关键点的预测信息之间的误差信息进行加权处理，得到第三加权误差信息；所述所述目标关键点的预测信息基于对所述预测动作数据进行动作驱动处理得到；
[0033]基于所述第二加权误差信息以及所述第三加权误差信息对所述预测动作数据进行误差约束处理，得到所述目标动作数据。
[0034]在一示例性实施例中，所述预测动作数据包括所述目标对象的对象形状预测数据；
[0035]所述基于所述目标图像帧，以及所述目标图像帧对应的对象位姿数据，对所述目标图像帧对应的预测动作数据进行误差约束处理，得到与所述目标图像帧对应的目标动作数据，包括：
[0036]基于所述目标图像帧中所述目标对象的对象形状预测数据，与历史图像帧对应的形状平滑数据，确定形状误差信息；所述历史图像帧为所述图像帧序列中时序位于所述目标图像帧之前的图像帧；所述形状平滑数据基于对所述历史图像帧中所述目标对象的对象形状数据进行时序平滑得到；
[0037]基于所述形状误差信息、所述目标图像帧，以及所述目标图像帧对应的对象位姿数据，对所述预测动作数据进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对象动作数据处理方法，其特征在于，包括：获取包含目标对象的图像帧序列，以及与所述图像帧序列中每个图像帧对应的对象位姿数据；所述对象位姿数据基于设置在所述目标对象上的位姿测量模块得到；对目标图像帧中的所述目标对象进行动作数据预测，得到与所述目标图像帧对应的预测动作数据；所述目标图像帧为所述图像帧序列中未进行动作数据预测的图像帧；基于所述目标图像帧，以及所述目标图像帧对应的对象位姿数据，对所述目标图像帧对应的预测动作数据进行误差约束处理，得到与所述目标图像帧对应的目标动作数据。2.根据权利要求1所述的方法，其特征在于，所述基于所述目标图像帧，以及所述目标图像帧对应的对象位姿数据，对所述目标图像帧对应的预测动作数据进行误差约束处理，得到与所述目标图像帧对应的目标动作数据，包括：基于所述预测动作数据进行动作驱动处理，得到预测驱动数据；所述预测驱动数据为与所述预测动作数据对应的观测数据；基于所述目标图像帧、所述目标图像帧对应的对象位姿数据，对所述预测驱动数据进行误差约束处理，得到目标驱动数据；基于所述目标驱动数据确定所述目标动作数据。3.根据权利要求1或2所述的方法，其特征在于，所述基于所述目标图像帧，以及所述目标图像帧对应的对象位姿数据，对所述目标图像帧对应的预测动作数据进行误差约束处理，得到与所述目标图像帧对应的目标动作数据，包括：基于所述目标图像帧进行关键点检测，得到所述目标对象的检测关键点信息；基于所述预测动作数据进行动作驱动处理，得到所述目标对象的预测关键点信息；基于所述检测关键点信息与所述预测关键点信息之间的误差信息，以及所述目标图像帧对应的对象位姿数据，对所述预测动作数据进行误差约束处理，得到所述目标动作数据。4.根据权利要求3所述的方法，其特征在于，所述检测关键点信息包括多个目标关键点各自对应的检测置信度；所述基于所述检测关键点信息以与所述预测关键点信息之间的误差信息，以及所述目标图像帧对应的对象位姿数据，对所述预测动作数据进行误差约束处理，得到所述目标动作数据，包括：基于所述目标图像帧中所述多个目标关键点各自对应的检测置信度，历史图像帧中所述多个目标关键点各自对应的检测置信度，以及所述历史图像帧对应的平滑置信度阈值，得到所述目标图像帧对应的目标置信度阈值；所述历史图像帧为所述图像帧序列中时序位于所述目标图像帧之前的图像帧；所述平滑置信度阈值基于所述历史图像帧中所述多个目标关键点的平均置信度确定；基于预设置信度阈值、所述目标图像帧对应的目标置信度阈值，以及所述目标图像帧中所述多个目标关键点各自对应的检测置信度，确定所述目标图像帧中所述多个目标关键点各自对应的第一权重；所述预设置信度阈值小于所述目标图像帧对应的目标置信度阈值；基于所述多个目标关键点各自对应的第一权重，对所述检测关键点信息以及所述预测关键点信息的误差信息进行加权处理，生成第一加权误差信息；基于所述第一加权误差信息以及所述目标图像帧对应的对象位姿数据，对所述预测动
作数据进行误差约束处理，得到所述目标动作数据。5.根据权利要求1或2所述的方法，其特征在于，所述基于所述目标图像帧，以及所述目标图像帧对应的对象位姿数据，对所述目标图像帧对应的预测动作数据进行误差约束处理，得到与所述目标图像帧对应的目标动作数据包括：将所述目标图像帧对应的对象位姿数据从惯性坐标系变换到全局坐标系，得到所述目标对象在全局坐标系下的目标骨骼朝向数据；基于所述预测动作数据进行动作驱动处理，得到所述目标对象在全局坐标系下的预测骨骼朝向数据；基于所述目标骨骼朝向数据以及所述预测骨骼朝向数据，生成骨骼朝向误差信息；基于所述目标图像帧以及所述骨骼朝向误差信息，对所述预测动作数据进行误差约束处理，得到所述目标动作数据。6.根据权利要求5所述的方法，其特征在于，所述基于所述目标图像帧以及所述骨骼朝向误差信息，对所述预测动作数据进行误差约束处理，得到所述目标动作数据，包括：基于所述目标图像帧进行关键点检测，得到所述目标对象的检测关键点信息；所述检测关键点信息包括多个目标关键点各自对应的检测置信度；所述目标对象在所述目标图像帧中的多个骨骼与所述多个目标关键点具有对应关系；在任一骨骼对应的目标关键点的检测置信度小于目标置信度阈值的情况下，确定所述任一骨骼对应的第二权重，以及所述任一骨骼对应的目标关键点对应的第三权重；所述第二权重大于所述第三权重；基于所述任一骨骼对应的第二权重，对所述骨骼朝向误差信息进行加权处理，生成第二加权误差信息；基于所述任一骨骼对应的目标关键点对应的第三权重，对所述目标关键点的检测信息与所述目标关键点的预测信息之间的误差信息进行加权处理，得到第三加权误差信息；所述所述目标关键点的预测信息基于对所述预测动作数据进行动作驱动处理得到；基于所述第二加权误差信息以及所述第三加权误差信息对所述预测动作数据进行误差约束处理，得到所述目标动作数据。7.根据权利要求1所述的方法，其特征在于，所述预测动作数据包括所述目标对象的对象形状预...

【专利技术属性】
技术研发人员：陈刚，赵培尧，周严，王斌，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：