基于深度学习模型驱动数字人肢体动作生成方法及系统技术方案

本发明专利技术提供了一种基于深度学习模型驱动数字人肢体动作生成方法及系统，包括：获取深度学习信息和音视频数据；将所述音视频数据分离处理，并根据所述深度学习信息得到肢体动作分类数据和文本数据；建立文本和肢体动作对应的肢体动作标签相关联的二元组存入数据库中；数字人播报时，判断是否能在所述数据库中查询到文本对应的肢体动作标签，若是，则用所述肢体动作标签驱动数字人展示对应的肢体动作；若否，则根据语义相似性将所述文本与二元组中对应的肢体动作标签关联，驱动数字人展示对应的肢体动作，并更新所述数据库。本发明专利技术通过深度学习模型可以自适应的指导数字人肢体动作生成，并对识别效果进行自动完善。并对识别效果进行自动完善。并对识别效果进行自动完善。

【技术实现步骤摘要】
基于深度学习模型驱动数字人肢体动作生成方法及系统


[0001]本专利技术涉及人工智能
，具体地，涉及一种基于深度学习模型驱动数字人肢体动作生成方法及系统。

技术介绍

[0002]数字人是指利用计算机数字建模技术，通过图形学、图形渲染模拟人物形象，通过动作、面部捕捉等技术模拟真实人物表情神态特征，并运用深度学习、语音识别、语义理解、语音合成等计算机手段形成的具有多重人类特征(外貌特征、人类表演能力、人类交互能力等)的数字AI机器人。
[0003]专利文献CN114972923A公开了一种基于自监督学习的虚拟数字人肢体交互动作生成方法。所述方法包括：根据K3M人体3D骨架提取工具套件对肢体动作片段数据集进行数据处理，得到人体3D骨架帧的时序序列；利用对比训练法和人体3D骨架帧的时序序列对预先构建的自监督模型进行训练，得到3D骨架自监督模型；根据肢体交互动作序列对数据集对3D骨架自监督模型进行训练，得到肢体交互序列自编码模型；利用肢体交互序列自编码模型对虚拟数字人发出的动作指令进行语义特征编码和动作交互解码，得到虚拟数字人响应动作序列。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习模型驱动数字人肢体动作生成方法，其特征在于，包括：步骤S1：获取深度学习信息和音视频数据；步骤S2：将所述音视频数据分离处理，并根据所述深度学习信息得到肢体动作分类数据和文本数据；步骤S3：将所述肢体动作分类数据和文本数据一一匹配，并建立文本和肢体动作对应的肢体动作标签相关联的二元组存入数据库中；步骤S4：数字人播报时，判断是否能在所述数据库中查询到文本对应的肢体动作标签，若是，则用所述肢体动作标签驱动数字人展示对应的肢体动作；若否，则触发步骤S5；步骤S5：根据语义相似性将所述文本与二元组中对应的肢体动作标签关联，驱动数字人展示对应的肢体动作，并更新所述数据库。2.根据权利要求1所述的基于深度学习模型驱动数字人肢体动作生成方法，其特征在于，所述深度学习信息包括深度学习模型；所述深度学习模型是通过卷积神经网络，建立多层级的卷积神经网络模型并训练所述卷积神经网络模型得到的。所述多层级的卷积神经网络模型具有多个卷积层和池化层；所述深度学习模型能够进行肢体动作分类。3.根据权利要求2所述的基于深度学习模型驱动数字人肢体动作生成方法，其特征在于，步骤S1包括：步骤S1.1：获取真人播报图片数据，并对含有肢体动作的真人播报图片标注对应的肢体动作数据；步骤S1.2：构建所述卷积神经网络模型，并初步设置所述模型中各个层级之间预训练的模型参数的权重；步骤S1.3：根据标注的肢体动作数据训练所述卷积神经网络模型，其中，以所述含有肢体动作的真人播报图片作为所述卷积神经网络模型的输入，以所述肢体动作数据动作为所述卷积神经网络模型的输出；步骤S1.4：将训练好的卷积神经网络模型在样本数据上进行模型的验证后确定具有良好分类效果的模型参数，从而得到深度学习模型。4.根据权利要求2所述的基于深度学习模型驱动数字人肢体动作生成方法，其特征在于，步骤S2包括：步骤S2.1：获取播报视频并分离出音频，从视频中进行抽帧得到关键帧图片；步骤S2.2：通过语音识别从音频中识别出文本数据；步骤S2.3：通过深度学习信息中训练后的深度学习信息模型对抽帧得到的关键帧图片进行肢体动作分类，得到肢体动作分类数据。5.根据权利要求1所述的基于深度学习模型驱动数字人肢体动作生成方法，其特征在于，所述步骤S5包括：步骤S5.1：使用词向量计算未查询到的文本与在数据库中已有关联关系的文本的相似度；步骤S5.2：将所述未查询到的文本与计算相似度得到的文本对应的肢体动作标签关联，得到更新后的二元组步骤S5.3：所述肢体动作标签驱动数字人展示相应的肢体动作，同时将更新后的二元
组存储到数据库中。6.一种...

【专利技术属性】
技术研发人员：石广洲，杨益明，方正，殷静雯，
申请(专利权)人：兴业数字金融服务上海股份有限公司，
类型：发明
国别省市：