用于虚拟动画人物动作的数据处理方法及装置制造方法及图纸

本申请公开了一种用于虚拟动画人物动作的数据处理方法及装置。该方法包括获取视频图像数据中人体骨骼二维图像关键点；将所述人体骨骼二维图像关键点转化为人体骨骼三维图像关键点；确定所述视频图像数据中的深度估计数据；通过所述深度估计数据和所述人体骨骼三维图像关键点生成预设运动数据；以及根据预设动画模型和所述预设运动数据生成视频动画数据。本申请解决了对于虚拟人物动作的处理效果较差的技术问题。本申请将计算机视觉技术与虚拟动画人物软件相结合，提供了可生成虚拟动画人物动作的仿真视频文件。

【技术实现步骤摘要】
用于虚拟动画人物动作的数据处理方法及装置
本申请涉及计算机视觉领域，具体而言，涉及一种用于虚拟动画人物动作的数据处理方法及装置。
技术介绍
人体姿态估计是在图像或视频中检测人物的计算机视觉技术，比如，可以估计待测图像中人物身体关键关节的位置。专利技术人发现，通常在实现让动画虚拟人物跟随目标真实人物做相应动作时，由于采用人体姿态估计进行预处理时，获得的关键关节位置处理效果较差，进一步影响执行相应动作的执行效果。针对相关技术中对于虚拟人物动作的处理效果较差的问题，目前尚未提出有效的解决方案。
技术实现思路
本申请的主要目的在于提供一种用于虚拟动画人物动作的数据处理方法及装置，以解决对于虚拟人物动作的处理效果较差的问题。为了实现上述目的，根据本申请的一个方面，提供了一种用于虚拟动画人物动作的数据处理方法。根据本申请的用于虚拟动画人物动作的数据处理方法包括：获取视频图像数据中人体骨骼二维图像关键点；将所述人体骨骼二维图像关键点转化为人体骨骼三维图像关键点；确定所述视频图像数据中的深度估计数据；通过所述深度估计数据和所述人体骨骼三维图像关键点生成预设运动数据；以及根据预设动画模型和所述预设运动数据生成视频动画数据。进一步地，获取视频图像数据中人体骨骼二维图像关键点包括：配置用于二维图像关键点检测的第一预设模型；将获取的视频数据输入所述第一预设模型，输出人体骨骼的二维图像中的关键点；所述配置用于二维图像关键点检测的第一预设模型包括：配置已经过训练的Openpose模型；所述将获取的视频数据输入所述第一预设模型，输出人体骨骼的二维图像中的关键点包括：将获取的视频输入所述Openpose模型，输出人体骨骼二维图像关键点。进一步地，将获取的视频数据输入所述第一预设模型，输出人体骨骼的二维图像中的关键点包括：配置用于三维图像关键点检测的第二预设模型；将获取的二维图像中的关键点输入所述第二预设模型，输出转化结果得到三维图像中的人体骨骼关键点；所述配置用于三维图像关键点检测的第二预设模型包括：配置3d-pose-baseline模型；所述将获取的二维图像中的关键点输入所述第二预设模型，输出转化结果得到三维图像中的人体骨骼关键点包括：将Openpose模型的输出结果输入所述3d-pose-baseline模型，通过保留对应关节、舍去多余关节或对缺失关节平滑处理后输出转化结果得到三维图像中的人体骨骼关键点。进一步地，通过所述深度估计数据和所述人体骨骼三维图像关键点生成预设运动数据包括：配置用于单目图像深度估计的第三预设模型；将获取的视频数据再次输入所述第三预设模型，生成按照人体预设位置为中心的深度估计数据；配置用于单目图像深度估计的第三预设模型包括：配置FCRN-DepthPrediction模型；将获取的视频数据再次输入所述第三预设模型，生成按照人体预设位置为中心的深度估计数据包括：将获取的视频数据再次输入FCRN-DepthPrediction模型，生成按照预设人体臀部位置为中心的深度估计数据。进一步地，根据预设动画模型和所述预设运动数据生成视频动画数据包括：将所述深度估计数据整合到所述三维图像中的人体骨骼关键点上；根据包含有所述深度估计数据的三维图像人体骨骼关键点生成可视化动作数据，得到含有虚拟动画人物模型的视频图像；将所述深度估计数据整合到所述三维图像中的人体骨骼关键点上包括：将深度估计数据按照预设空间坐标轴的方向整合到所述三维图像中的人体骨骼关键点。为了实现上述目的，根据本申请的另一方面，提供了一种用于虚拟动画人物动作的数据处理装置。根据本申请的用于虚拟动画人物动作的数据处理装置包括：获取模块，用于获取视频图像数据中人体骨骼二维图像关键点；转化模块，用于将所述人体骨骼二维图像关键点转化为人体骨骼三维图像关键点；深度估计模块，用于确定所述视频图像数据中的深度估计数据；运动数据模块，用于通过所述深度估计数据和所述人体骨骼三维图像关键点生成预设运动数据；以及生成模块，用于根据预设动画模型和所述预设运动数据生成视频动画数据。进一步地，所述获取模块包括：第一配置单元，第一获取单元，所述第一配置单元，用于配置用于二维图像关键点检测的第一预设模型；所述第一获取单元，用于将获取的视频数据输入所述第一预设模型，输出人体骨骼的二维图像中的关键点；其中，所述第一配置单元，用于配置已经过训练的Openpose模型；所述第一获取单元，用于将获取的视频输入所述Openpose模型，输出人体骨骼二维图像关键点。进一步地，所述转化模块包括：第二配置单元，第二获取单元，所述第二配置单元，用于配置用于三维图像关键点检测的第二预设模型；所述第二获取单元，用于将获取的二维图像中的关键点输入所述第二预设模型，输出转化结果得到三维图像中的人体骨骼关键点；其中，所述第二配置单元，用于配置3d-pose-baseline模型；所述第二获取单元，用于将获取的二维图像中的关键点输入所述第二预设模型，输出转化结果得到三维图像中的人体骨骼关键点包括：将Openpose模型的输出结果输入所述3d-pose-baseline模型，通过保留对应关节、舍去多余关节或对缺失关节平滑处理后输出转化结果得到三维图像中的人体骨骼关键点。进一步地，所述深度估计模块包括：第三配置单元，第三获取单元，所述第三配置单元，用于配置用于单目图像深度估计的第三预设模型；所述第三获取单元，用于将获取的视频数据再次输入所述第三预设模型，生成按照人体预设位置为中心的深度估计数据；其中，所述第三配置单元，用于配置FCRN-DepthPrediction模型；所述第三获取单元，用于将获取的视频数据再次输入FCRN-DepthPrediction模型，生成按照预设人体臀部位置为中心的深度估计数据。进一步地，所述生成模块包括：整合单元，可视化单元，所述整合单元，用于将所述深度估计数据整合到所述三维图像中的人体骨骼关键点上；所述视化单元，用于根据包含有所述深度估计数据的三维图像人体骨骼关键点生成可视化动作数据，得到含有虚拟动画人物模型的视频图像；其中，所述整合单元，用于将深度估计数据按照预设空间坐标轴的方向整合到所述三维图像中的人体骨骼关键点。在本申请实施例中，采用获取视频图像数据中人体骨骼二维图像关键点的方式，通过将所述人体骨骼二维图像关键点转化为人体骨骼三维图像关键点和确定所述视频图像数据中的深度估计数据；达到了通过所述深度估计数据和所述人体骨骼三维图像关键点生成预设运动数据的目的，从而实现了根据预设动画模型和所述预设运动数据生成视频动画数据的技术效果，进而解决了对于虚拟人物动作的处理效果较差的技术问题。本申请采用二维人体姿态评估、三维姿态评估以及图片深度预测等计算机视觉技术，并与MMD模型修改器PmxEditor和虚拟动画软件MikuMikuDance相结合，结果可生成虚拟人物动作仿真视频。附图说明构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是根据本申请第一实施例的用于虚拟人物动作的数据处理方法示意图；图2是根据本申请第二实施例的用于虚拟人物动作的数据处理方法示意图本文档来自技高网...

【技术保护点】
1.一种用于虚拟动画人物动作的数据处理方法，其特征在于，包括：获取视频图像数据中人体骨骼二维图像关键点；将所述人体骨骼二维图像关键点转化为人体骨骼三维图像关键点；确定所述视频图像数据中的深度估计数据；通过所述深度估计数据和所述人体骨骼三维图像关键点生成预设运动数据；以及根据预设动画模型和所述预设运动数据生成视频动画数据。

【技术特征摘要】
1.一种用于虚拟动画人物动作的数据处理方法，其特征在于，包括：获取视频图像数据中人体骨骼二维图像关键点；将所述人体骨骼二维图像关键点转化为人体骨骼三维图像关键点；确定所述视频图像数据中的深度估计数据；通过所述深度估计数据和所述人体骨骼三维图像关键点生成预设运动数据；以及根据预设动画模型和所述预设运动数据生成视频动画数据。2.根据权利要求1所述的数据处理方法，其特征在于，获取视频图像数据中人体骨骼二维图像关键点包括：配置用于二维图像关键点检测的第一预设模型；将获取的视频数据输入所述第一预设模型，输出人体骨骼的二维图像中的关键点；所述配置用于二维图像关键点检测的第一预设模型包括：配置已经过训练的Openpose模型；所述将获取的视频数据输入所述第一预设模型，输出人体骨骼的二维图像中的关键点包括：将获取的视频输入所述Openpose模型，输出人体骨骼二维图像关键点。3.根据权利要求1所述的数据处理方法，其特征在于，将获取的视频数据输入所述第一预设模型，输出人体骨骼的二维图像中的关键点包括：配置用于三维图像关键点检测的第二预设模型；将获取的二维图像中的关键点输入所述第二预设模型，输出转化结果得到三维图像中的人体骨骼关键点；所述配置用于三维图像关键点检测的第二预设模型包括：配置3d-pose-baseline模型；所述将获取的二维图像中的关键点输入所述第二预设模型，输出转化结果得到三维图像中的人体骨骼关键点包括：将Openpose模型的输出结果输入所述3d-pose-baseline模型，通过保留对应关节、舍去多余关节或对缺失关节平滑处理后输出转化结果得到三维图像中的人体骨骼关键点。4.根据权利要求1所述的数据处理方法，其特征在于，通过所述深度估计数据和所述人体骨骼三维图像关键点生成预设运动数据包括：配置用于单目图像深度估计的第三预设模型；将获取的视频数据再次输入所述第三预设模型，生成按照人体预设位置为中心的深度估计数据；配置用于单目图像深度估计的第三预设模型包括：配置FCRN-DepthPrediction模型；将获取的视频数据再次输入所述第三预设模型，生成按照人体预设位置为中心的深度估计数据包括：将获取的视频数据再次输入FCRN-DepthPrediction模型，生成按照预设人体臀部位置为中心的深度估计数据。5.根据权利要求1所述的数据处理方法，其特征在于，根据预设动画模型和所述预设运动数据生成视频动画数据包括：将所述深度估计数据整合到所述三维图像中的人体骨骼关键点上；根据包含有所述深度估计数据的三维图像人体骨骼关键点生成可视化动作数据，得到含有虚拟动画人物模型的视频图像；将所述深度估计数据整合到所述三维图像中的人体骨骼关键点上包括：将深度估计数据按照预设空间坐标轴的方向整合到所述三维图像中的人体...

【专利技术属性】
技术研发人员：吕四凯，张默，
申请(专利权)人：北京陌上花科技有限公司，
类型：发明
国别省市：北京,11