本申请涉及一种数字人动画评价优化方法及其装置、设备、介质、产品，所述方法包括：获取直播间的在播音乐的音频数据的音频特征序列，采用多个已收敛的动作生成模型分别生成音频特征序列相对应的动作序列信息，获得多个数字人各自相应的动作序列信息；将每个动作序列信息应用于其相应的数字人，生相应的舞蹈动画同步推送至所述直播间播放，接收所述舞蹈动画的用户评价数据；根据用户评价数据确定最佳舞蹈动画和最佳动作生成模型；将最佳舞蹈动画相对应的音频特征序列和动作序列信息扩增为最佳动作生成模型的训练数据集中的数据样本。本申请能够确定出的优质舞蹈动画，据此提升动作生成模型的推理能力，节省模型的持续演进成本，提升用户体验。提升用户体验。提升用户体验。
【技术实现步骤摘要】
数字人动画评价优化方法及其装置、设备、介质、产品
[0001]本申请涉及数字人虚拟技术，尤其涉及一种数字人动画评价优化方法及其装置、设备、介质、产品。
技术介绍
[0002]随着“元宇宙”的兴起，直播场景中引入“数字人”的玩法也成了直播应用的标配功能，各大厂商和直播平台都陆续推出了虚拟“数字人”的功能。通过“数字人”进行直播成了很多主播的选择。在直播场景中，“数字人”具有很多新玩法，通过声音、动作、音乐等外部素材来驱动“数字人”运动成了非常新颖、热门的功能。
[0003]目前，通过外部素材驱动“数字人”的方案中，一般会采用机器学习的方式建模出动作生成模型，采用数据样本将所述动作生成模型训练至收敛状态，使其适于为目标数字人生成相应的动作序列信息，以所述动作序列信息作用于相应的数字人并渲染后生成相应的动画。所述动作序列信息包含“数字人”运动图像中每个图像帧相对应的运动控制数据，构成各个图像帧相对应的信息帧，每个信息帧中的运动控制数据对应数字人的人体各骨骼节点的给出相应的控制数据，通过各骨骼节点的控制数据指示绘制“数字人”的姿态，连续绘制多个图像帧，便可获得数字人的动画。
[0004]实践中，由于训练数字人所需的数据样本稀少，样本制作成本高昂，常导致相关动作生成模型难以获得良好的预期，例如产生穿模、静止、动作不流畅等动作异常现象。如何综合提升动作生成模型应用过程各个环节的信息质量以提升数字人动画，值得深入研究。
技术实现思路
[0005]本申请的目的在于解决上述问题而提供一种数字人动画评价优化方法及其相应的装置、设备、非易失性可读存储介质，以及计算机程序产品。
[0006]根据本申请的一个方面，提供一种数字人动画评价优化方法，包括如下步骤：
[0007]获取直播间的在播音乐的音频数据的音频特征序列，采用多个已收敛的动作生成模型分别生成所述音频特征序列相对应的动作序列信息，获得多个数字人各自相应的动作序列信息；
[0008]将每个所述动作序列信息应用于其相应的数字人，生成所述多个数字人各自相应的舞蹈动画同步推送至所述直播间播放，接收所述直播间中作用于所述舞蹈动画的用户评价数据；
[0009]根据所述用户评价数据确定所述舞蹈动画中的最佳舞蹈动画和所述已收敛的动作生成模型中的最佳动作生成模型；
[0010]将所述最佳舞蹈动画相对应的音频特征序列和动作序列信息扩增为所述最佳动作生成模型的训练数据集中的数据样本。
[0011]可选的，生成所述多个数字人各自相应的舞蹈动画同步推送至所述直播间播放，包括：
[0012]初始化多个数字人的动作姿态；
[0013]建立所述多个数字人之间的统一坐标系；
[0014]基于所述统一坐标系，将各个动作序列信息应用到其相应的数字人中，使各个数字人所对应产生的舞蹈动画保持动作同步。
[0015]可选的，生成所述多个数字人各自相应的舞蹈动画同步推送至所述直播间播放之后，包括：
[0016]在所述直播间的图形用户界面显示所述多个数字人相对应的舞蹈动画，且使所述舞蹈动画与所述在播音乐保持节奏同步；
[0017]在所述图形用户界面对应所述多个舞蹈动画显示多个评分控件，用于对应获取各个舞蹈动画相应的用户主观分数；
[0018]获取所述直播间的用户在所述图形用户界面中交互产生的交互信息，根据对应各个数字人的交互信息确定出各个数字人相应的用户评价数据，所述交互信息包括如下任意一项或任意多项：所述主观分数、弹幕文本、聊天区文本。
[0019]可选的，根据所述用户评价数据确定所述舞蹈动画中的最佳舞蹈动画和所述已收敛的动作生成模型中的最佳动作生成模型，包括：
[0020]根据各个舞蹈动画相对应的用户评价数据确定出各个舞蹈动画相对应的评价分值；
[0021]根据所有舞蹈动画相应的评价分值确定出标准差；
[0022]选取评价分值高于标准差的舞蹈动画作为最佳舞蹈动画；
[0023]选取产出最多最佳舞蹈动画的所述已收敛的动作生成模型作为最佳动作生成模型。
[0024]可选的，根据各个舞蹈动画相对应的用户评价数据确定出各个舞蹈动画相对应的评价分值，包括：
[0025]将每个舞蹈动画相对应的用户评价数据中的文本类型数据输入预设的评分预测模型，预测出第一评分，所述文本类型数据包括弹幕文本、聊天区文本中任意一项或任意多项；
[0026]获取每个舞蹈动画相对应的用户评价数据中的主观分数作为第二评分；
[0027]加权融合每个舞蹈动画的所述第一评分和第二评分获得该舞蹈动画的评价分值。
[0028]可选的，将所述最佳舞蹈动画相对应的音频特征序列和动作序列信息扩增为所述最佳动作生成模型的训练数据集中的数据样本之后，包括：
[0029]采用所述训练数据集中的数据样本重启对所述动作生成模型的训练，将所述动作生成模型训练至收敛状态，作为升级版动作生成模型；
[0030]将所述升级版动作生成模型配置为所述直播间的可调用服务，用于为所述直播间的在播音乐的音频数据的音频特征序列生成相应的动作序列信息，且根据所述动作序列信息生成所述直播间的数字人的舞蹈动画。
[0031]可选的，采用所述训练数据集中的数据样本重启对所述动作生成模型的训练，包括：
[0032]从所述训练数据集中调用单个数据样本，将所述数据样本中的音频特征序列确定为训练样本，将与该音频数据相对应的动作序列信息确定为监督标签；
[0033]将所述训练样本输入所述动作生成模型中，预测出用于控制数字人产生运动图像的动作序列信息；
[0034]基于所述监督标签计算所述动作生成模型获得的动作序列信息的损失值，根据所述损失值决策是否继续对所述动作生成模型迭代训练，直至达到收敛状态而构成升级版动作生成模型。
[0035]根据本申请的另一方面，提供一种数字人动画评价优化装置，包括：
[0036]动作生成模块，设置为获取直播间的在播音乐的音频数据的音频特征序列，采用多个已收敛的动作生成模型分别生成所述音频特征序列相对应的动作序列信息，获得多个数字人各自相应的动作序列信息；
[0037]动画推送模块，设置为将每个所述动作序列信息应用于其相应的数字人，生成所述多个数字人各自相应的舞蹈动画同步推送至所述直播间播放，接收所述直播间中作用于所述舞蹈动画的用户评价数据；
[0038]评价处理模块，设置为根据所述用户评价数据确定所述舞蹈动画中的最佳舞蹈动画和所述已收敛的动作生成模型中的最佳动作生成模型；
[0039]样本扩增模块，设置为将所述最佳舞蹈动画相对应的音频特征序列和动作序列信息扩增为所述最佳动作生成模型的训练数据集中的数据样本。
[0040]根据本申请的另一方面，提供一种数字人动画评价优化设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本申请所述的数字人动画评价优化方法的步骤。
[0041]根本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数字人动画评价优化方法，其特征在于，包括：获取直播间的在播音乐的音频数据的音频特征序列，采用多个已收敛的动作生成模型分别生成所述音频特征序列相对应的动作序列信息，获得多个数字人各自相应的动作序列信息；将每个所述动作序列信息应用于其相应的数字人，生成所述多个数字人各自相应的舞蹈动画同步推送至所述直播间播放，接收所述直播间中作用于所述舞蹈动画的用户评价数据；根据所述用户评价数据确定所述舞蹈动画中的最佳舞蹈动画和所述已收敛的动作生成模型中的最佳动作生成模型；将所述最佳舞蹈动画相对应的音频特征序列和动作序列信息扩增为所述最佳动作生成模型的训练数据集中的数据样本。2.根据权利要求1所述的数字人动画评价优化方法，其特征在于，生成所述多个数字人各自相应的舞蹈动画同步推送至所述直播间播放，包括：初始化多个数字人的动作姿态；建立所述多个数字人之间的统一坐标系；基于所述统一坐标系，将各个动作序列信息应用到其相应的数字人中，使各个数字人所对应产生的舞蹈动画保持动作同步。3.根据权利要求1所述的数字人动画评价优化方法，其特征在于，生成所述多个数字人各自相应的舞蹈动画同步推送至所述直播间播放之后，包括：在所述直播间的图形用户界面显示所述多个数字人相对应的舞蹈动画，且使所述舞蹈动画与所述在播音乐保持节奏同步；在所述图形用户界面对应所述多个舞蹈动画显示多个评分控件，用于对应获取各个舞蹈动画相应的用户主观分数；获取所述直播间的用户在所述图形用户界面中交互产生的交互信息，根据对应各个数字人的交互信息确定出各个数字人相应的用户评价数据，所述交互信息包括如下任意一项或任意多项：所述主观分数、弹幕文本、聊天区文本。4.根据权利要求1所述的数字人动画评价优化方法，其特征在于，根据所述用户评价数据确定所述舞蹈动画中的最佳舞蹈动画和所述已收敛的动作生成模型中的最佳动作生成模型，包括：根据各个舞蹈动画相对应的用户评价数据确定出各个舞蹈动画相对应的评价分值；根据所有舞蹈动画相应的评价分值确定出标准差；选取评价分值高于标准差的舞蹈动画作为最佳舞蹈动画；选取产出最多最佳舞蹈动画的所述已收敛的动作生成模型作为最佳动作生成模型。5.根据权利要求4所述的数字人动画评价优化方法，其特征在于，根据各个舞蹈动画相对应的用户评价数据确定出各个舞蹈动画相对应的评价分值，包括：将每个舞蹈动画相对应的用户评价数据中的文本类型数据输入预设的评分预测模型，预测出第一评分，所述文本类型数据包括弹幕文本、聊天区文本中任意一项或任意多项；获取每个舞蹈动画相对应的用户评价数...
【专利技术属性】
技术研发人员：王颖琦，林绪虹，王志用，白宇飞，
申请(专利权)人：广州欢聚时代信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。