本申请提供了一种虚拟数字人的手势动作修正方法和装置、电子设备及存储介质，方法包括：获取真人的人像视频，依次对所述人像视频中的多帧人像图片进行手势动作识别；在根据所述识别结果确定出真人做出了目标手势动作时，确定出所述目标手势动作对应单侧的骨骼旋转数据，并基于所述目标手势动作对应的手部骨骼旋转数据以及所述目标手势动作对应单侧的骨骼旋转数据驱动虚拟数字人运动，通过该方案能够使虚拟数字人做出的手势动作跟随肢体的移动而移动。动而移动。动而移动。
【技术实现步骤摘要】
虚拟数字人的手势动作修正方法和装置
[0001]本专利技术涉及计算机
，特别涉及一种虚拟数字人的手势动作修正方法和装置、电子设备及存储介质。
技术介绍
[0002]虚拟人动捕（Motion Capture Retargeting）是指将一个人的动作捕捉数据应用到虚拟人物模型（以下简称“虚拟数字人”）上，具体实施时，可以使用相机拍摄真人的人像视频，对人像视频的每一帧人像图片进行AI推演获得人体骨骼旋转数据，然后将旋转数据传给虚拟数字人，从而驱动虚拟数字人动作。在这个过程中，受限于AI推演时模型精度、运动遮挡等因素影响，导致AI推演数据精度不够，从而使得虚拟数字人的手势动作和真人的手势动作偏差较大，达不到预期的手势动作展现效果。比如真人做出双手合十的手势动作，但是虚拟数字人做出的却是双手手指交握的手势动作。针对此问题，目前可以预制一些手势动作来跟肢体进行融合，当捕捉到真人做出预制的某一手势动作时，利用该手势动作的骨骼旋转数据替换从真人图像推演出的骨骼旋转数据中的手部骨骼旋转数据，但是现有的融合只是一种静态的融合，没有考虑手和胳膊的位置移动，即不管在什么位置做手势动作，融合后虚拟数字人的手势位置是固定的。
[0003]有鉴于此，如何提供一种虚拟数字人的手势动作修正方案，使虚拟数字人做出的手势动作能够跟随肢体的移动而移动，提高虚拟人动捕的精度，成为亟待解决的技术问题。
技术实现思路
[0004]综上，本申请实施例提供一种虚拟数字人的手势动作修正方法和装置、电子设备及存储介质，能够使虚拟数字人做出的手势动作跟随肢体的移动而移动。
[0005]第一方面，本申请实施例提供了一种虚拟数字人的手势动作修正方法，包括：获取真人的人像视频，依次对所述人像视频中的多帧人像图片进行手势动作识别；在根据所述识别结果确定出真人做出了目标手势动作时，确定出所述目标手势动作对应单侧的骨骼旋转数据，并基于所述目标手势动作对应的手部骨骼旋转数据以及所述目标手势动作对应单侧的骨骼旋转数据驱动虚拟数字人运动，其中，所述目标手势动作对应单侧的骨骼旋转数据包括手部目标点的目标旋转数据、手肘骨骼的目标旋转数据和肩膀骨骼的目标旋转数据，所述手部目标点的目标旋转数据、手肘骨骼的目标旋转数据和肩膀骨骼的目标旋转数据分别根据所述手部目标点的目标位置、手肘骨骼的目标位置和肩膀骨骼的目标位置确定，所述手肘骨骼的目标位置根据所述手肘骨骼的中间位置、手部目标点的目标位置和肩膀骨骼的目标位置确定，所述手肘骨骼的中间位置和手部目标点的目标位置根据目标图像确定，所述目标图像为所述人像视频中的至少一帧人像图片。
[0006]第二方面，本申请实施例还提供了一种虚拟数字人的手势动作修正装置，包括：识别单元，用于获取真人的人像视频，依次对所述人像视频中的多帧人像图片进
行手势动作识别；确定单元，用于在根据所述识别结果确定出真人做出了目标手势动作时，确定出所述目标手势动作对应单侧的骨骼旋转数据，并基于所述目标手势动作对应的手部骨骼旋转数据以及所述目标手势动作对应单侧的骨骼旋转数据驱动虚拟数字人运动，其中，所述目标手势动作对应单侧的骨骼旋转数据包括手部目标点的目标旋转数据、手肘骨骼的目标旋转数据和肩膀骨骼的目标旋转数据，所述手部目标点的目标旋转数据、手肘骨骼的目标旋转数据和肩膀骨骼的目标旋转数据分别根据所述手部目标点的目标位置、手肘骨骼的目标位置和肩膀骨骼的目标位置确定，所述手肘骨骼的目标位置根据所述手肘骨骼的中间位置、手部目标点的目标位置和肩膀骨骼的目标位置确定，所述手肘骨骼的中间位置和手部目标点的目标位置根据目标图像确定，所述目标图像为所述人像视频中的至少一帧人像图片。
[0007]第三方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面所述的虚拟数字人的手势动作修正方法的步骤。
[0008]第四方面，本申请实施例还提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面所述的虚拟数字人的手势动作修正方法的步骤。
[0009]综上，本申请实施例提供的虚拟数字人的手势动作修正和装置、电子设备及存储介质，在识别出真人做出了目标手势动作时，以目标手势动作对应的手部骨骼旋转数据替换AI推演出的手部骨骼旋转数据，同时，基于手部目标点的目标位置倒推手肘骨骼的目标位置，基于手肘骨骼的目标位置确定手肘骨骼的目标旋转数据，基于手肘骨骼的目标旋转数据和目标手势动作对应的手部骨骼旋转数据驱动虚拟数字人运动，能够使虚拟数字人的上肢运动与真人保持一致，即使虚拟数字人做出的手势动作能够跟随肢体的移动而移动，从而提高虚拟人动捕的精度。
附图说明
[0010]图1为本申请实施例提供的一种虚拟数字人的手势动作修正方法的流程示意图；图2为本申请实施例提供的一种虚拟数字人的手势动作修正装置的结构示意图；图3为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0011]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
[0012]另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0013]需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
[0014]参照图1所示，为本申请实施例提供的一种虚拟数字人的手势动作修正方法，包括：S10、获取真人的人像视频，依次对所述人像视频中的多帧人像图片进行手势动作识别；S11、在根据所述识别结果确定出真人做出了目标手势动作时，确定出所述目标手势动作对应单侧的骨骼旋转数据，并基于所述目标手势动作对应的手部骨骼旋转数据以及所述目标手势动作对应单侧的骨骼旋转数据驱动虚拟数字人运动，其中，所述目标手势动作对应单侧的骨骼旋转数据包括手部目标点的目标旋转数据、手肘骨骼的目标旋转数据和肩膀骨骼的目标旋转数据，所述手部目标点的目标旋转数据本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种虚拟数字人的手势动作修正方法，其特征在于，包括：获取真人的人像视频，依次对所述人像视频中的多帧人像图片进行手势动作识别；在根据所述识别结果确定出真人做出了目标手势动作时，确定出所述目标手势动作对应单侧的骨骼旋转数据，并基于所述目标手势动作对应的手部骨骼旋转数据以及所述目标手势动作对应单侧的骨骼旋转数据驱动虚拟数字人运动，其中，所述目标手势动作对应单侧的骨骼旋转数据包括手部目标点的目标旋转数据、手肘骨骼的目标旋转数据和肩膀骨骼的目标旋转数据，所述手部目标点的目标旋转数据、手肘骨骼的目标旋转数据和肩膀骨骼的目标旋转数据分别根据所述手部目标点的目标位置、手肘骨骼的目标位置和肩膀骨骼的目标位置确定，所述手肘骨骼的目标位置根据所述手肘骨骼的中间位置、手部目标点的目标位置和肩膀骨骼的目标位置确定，所述手肘骨骼的中间位置和手部目标点的目标位置根据目标图像确定，所述目标图像为所述人像视频中的至少一帧人像图片。2.如权利要求1所述的方法，其特征在于，所述肩膀骨骼的目标位置根据第一图像或第二图像确定，所述手肘骨骼的中间位置和手部目标点的目标位置根据所述第二图像确定，所述第二图像为所述目标图像，所述第一图像为所述目标图像的前一帧图像。3.如权利要求2所述的方法，其特征在于，所述手肘骨骼的目标位置L的计算公式为L=L0＋a
×
cosγ
×
Dir1＋a
×
sinγ
×
Dir2，其中，L0为所述肩膀骨骼的目标位置，a所述肩膀骨骼到手肘骨骼的长度，cosγ=（a2＋dist2－b2）/（2
×
a
×
dist），dist为所述肩膀骨骼的目标位置到手部目标点的目标位置的距离，b为所述手肘骨骼到手部目标点的长度，Dir1为所述肩膀骨骼的目标位置到手部目标点的目标位置的单位向量，Dir2与Dir1垂直，Dir2为过第一点指向第二点的单位向量，所述第一点为所述肩膀骨骼的目标位置与手部目标点的目标位置构成的线段上的一个点，所述第一点与肩膀骨骼的目标位置的距离为a
×
cosγ，所述第二点为第三点中距离所述手肘骨骼的中间位置最近的点，所述第三点与第一点的距离为a
×
sinγ，且第三点与第一点构成的直线，与所述肩膀骨骼的目标位置与手部目标点的目标位置构成的直线垂直。4.如权利要求1所述的方法，其特征在于，所述手部目标点为手腕骨骼点。5.一种虚拟数字人的手势动作修正装置，其特征在于，包括：识别单元，用于获取真人的人像视频，依次对所述人像视频中的多帧人像图片进行手势动作识别；确定单元，用于在根据所述识别结果确定出真人做出了目标手势动作时，确定出所述目标手势动作对应单侧的骨骼旋转数据，并...
【专利技术属性】
技术研发人员：韩道玉，
申请(专利权)人：海马云天津信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。