数字人手腕驱动方法与装置、存储介质及电子设备制造方法及图纸

本申请公开一种数字人手腕驱动方法与装置、存储介质及电子设备，方法包括：获取视频信号中的图像信息；分别对所述图像信息进行身体关键点检测和手部关键点检测，得到第一关键点和第二关键点，其中，所述第一关键点包括胯部关键点、肩部关键点、肘部关键点和腕部关键点，所述第二关键点包括至少两个手部关键点；根据所述第一关键点和第二关键点确定出手腕的旋转数据和手肘的旋转数据；根据所述手腕的旋转数据和手肘的旋转数据驱动数字人的手腕动作。上述方案不需要拼接数据即可实现手腕运动的解算，能够实现对数字人手腕的高保真驱动效果。果。果。

【技术实现步骤摘要】
数字人手腕驱动方法与装置、存储介质及电子设备


[0001]本申请涉及视频图像处理
，特别涉及一种数字人手腕驱动方法与装置、存储介质及电子设备。

技术介绍

[0002]随着元宇宙技术的发展，用户拥有及驱动具有用户特征的数字人的需求日益增加，例如，用户期望驱动数字人在游戏场景或虚拟直播间中执行相应的动作等。驱动数字人需要捕捉用户（以下称实际人体）的动作变化，可通过动捕服实现，但是动捕服价格昂贵，目前仅用于专业要求较高的场景下。而大多数用户的设备都限于非专业水平，仅配置有摄像头一类的拍摄器件，因此，如何基于摄像头的拍摄视频捕捉实际人体的动作变化，进而驱动数字人，具有更高的实用价值。
[0003]基于摄像头拍摄视频驱动数字人时，可将连续不同帧图像中记载的实际人体的姿态进行对比，即可得到实际人体的动作变化，进而可驱动数字人。由于相比于人体来说，手部在图像中的区域占比较小，所以可采用不同的识别模型分别对图像中实际人体的身体关键点和手部关键点进行识别，之后将不同识别模型的识别结果进行拼接，得到最终的姿态识别结果。但是不同的识别模型中识别到的手部本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数字人手腕驱动方法，其特征在于，包括：获取视频信号中的图像信息；分别对所述图像信息进行身体关键点检测和手部关键点检测，得到第一关键点和第二关键点，其中，所述第一关键点包括胯部关键点、肩部关键点、肘部关键点和腕部关键点，所述第二关键点包括至少两个手部关键点；根据所述第一关键点和第二关键点确定出手腕的旋转数据和手肘的旋转数据，其中，所述手腕的旋转数据包括翻腕方向的旋转数据和转腕方向的旋转数据；根据所述手腕的旋转数据和手肘的旋转数据驱动数字人的手腕动作。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一关键点和第二关键点确定出手腕的旋转数据和手肘的旋转数据，包括：根据所述第一关键点和第二关键点确定出手腕翻腕方向的旋转矩阵、手腕转腕方向的旋转矩阵和手肘转腕方向的旋转矩阵；根据所述手腕翻腕方向的旋转矩阵和手腕转腕方向的旋转矩阵确定手腕旋转矩阵，根据所述手肘转腕方向的旋转矩阵更新手肘旋转矩阵；其中，所述根据所述手腕的旋转数据和手肘的旋转数据驱动数字人的手腕动作，包括：根据所述手腕旋转矩阵和第一转换矩阵确定手腕的目标旋转矩阵，根据所述手肘旋转矩阵和第二转换矩阵确定手肘的目标旋转矩阵，其中，所述第一转换矩阵为由第一坐标系向第二坐标系转换的转换矩阵，所述第一坐标系为身体关键点检测使用的坐标系，所述第二坐标系为游戏引擎中美术模型的手腕对应的坐标系，所述第二转换矩阵为由所述第一坐标系向第三坐标系转换的转换矩阵，所述第三坐标系为游戏引擎中美术模型的手肘对应的坐标系；根据所述手腕的目标旋转矩阵和手肘的目标旋转矩阵驱动数字人的手腕动作。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一关键点和第二关键点确定出手腕翻腕方向的旋转矩阵、手腕转腕方向的旋转矩阵和手肘转腕方向的旋转矩阵，包括：根据所述第一关键点和第二关键点确定出手腕翻腕方向的旋转角度和旋转方向，以及手腕转腕方向的旋转角度和旋转方向；根据所述手腕转腕方向的旋转角度确定手腕转腕方向的目标旋转角度和手肘转腕方向的目标旋转角度；根据所述手腕翻腕方向的旋转角度和旋转方向确定所述手腕翻腕方向的旋转矩阵，根据所述手腕转腕方向的目标旋转角度和手腕转腕方向的旋转方向确定所述手腕转腕方向的旋转矩阵，根据所述手肘转腕方向的目标旋转角度和手腕转腕方向的旋转方向确定手肘转腕方向的旋转矩阵。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一关键点和第二关键点确定出手腕翻腕方向的旋转角度和旋转方向，以及手腕转腕方向的旋转角度和旋转方向，包括：根据所述第一关键点确定胯部旋转矩阵、脊椎旋转矩阵、肩膀旋转矩阵和手肘旋转矩阵；确定T字型美术模型在所述第一坐标系下的手部翻腕方向的标定向量和所述手部翻腕
方向的标定向量的旋转轴向量，以及手部转腕方向的标定向量和所述手部转腕方向的标定向量的旋转轴向量，其中，所述手部翻腕方向的标定向量的旋转轴向量与手部翻腕方向的标定向量垂直，所述手部转腕方向的标定向量的旋转轴向量与手部转腕方向的标定向量垂直；根据所述胯部旋转矩阵、脊椎旋转矩阵、肩膀旋转矩阵和手肘旋转矩阵更新所述手部翻腕方向的标定向量、手部翻腕方向的标定向量的旋转轴向量、手部转腕方向的标定向量和手部转腕方向的标定向量的旋转轴向量，得到更新后的手部翻腕方向的标定向量、更新后的手部翻腕方向的标定向量的旋转轴向量、更新后的手部转腕方向的标定向量和更新后的手部转腕方向的标定向量的旋转轴向量；根据所述第二关键点、更新后的手部翻腕方向的标定向量、更新后的手部翻腕方向的标定向量的旋转轴向量、更新后的手部转腕方向的标定向量和更新后的手部转腕方向的标定向量的旋转轴向量确定所述手腕翻腕方向的旋转角度和旋转方向，以及手腕转腕方向的旋转角度和旋转方向。5.根据权利要求4所述的方法，其特征在于，所述根据所述第一关键点确定胯部旋转矩阵、脊椎旋转矩阵、肩膀旋转矩阵和手肘旋转矩阵，包括：根据所述胯部关键点确定胯部第一向量，根据T字型美术模型在所述第一坐标系下的胯部关键点确定胯部第二向量，根据所述胯部第一向量和胯部第二向量计算所述胯部旋转矩阵，并计算所述胯部第一向量和胯部第二向量之间的夹角，记为胯部夹角；根据所述胯部关键点和肩部关键点确定脊椎第一向量，根据所述脊椎第一向量和脊椎第二向量计算所述脊椎旋转矩阵，并计算所述脊椎第一向量和脊椎第二向量之间的夹角，记为脊椎夹角，其中，所述脊椎第二向量根据脊椎第三向量和所述胯部夹角确定，所述脊椎第三向量根据T...

【专利技术属性】
技术研发人员：唐宇，温健，
申请(专利权)人：海马云天津信息技术有限公司，
类型：发明
国别省市：