【技术实现步骤摘要】
三维虚拟对象的动作生成方法、装置、设备及存储介质
[0001]本申请涉及人工智能
，特别涉及一种三维虚拟对象的动作生成方法、装置、设备及存储介质。
技术介绍
[0002]在人工智能(Artificial Intelligence，AI)时代，AI的应用范围已经遍及各个领域，比如三维(3
‑
Dimensional，3D)虚拟对象便是其中一种。其中，3D虚拟对象，利用语音交互、虚拟形象生成等AI技术，赋予文娱角色多模态交互的能力，以助力媒体、教育、会展、客服等行业的智能娱乐化双升级。
[0003]相关技术中，通常基于拼接的方案为3D虚拟对象生成动作。该种方案首先会构建一个动作库，该动作库以音频特征为键、以动作为值。合成动作时，首先在动作库中查询与输入的音频特征最相似的动作片段，进而采用拼接算法将这些片段的动作拼接起来。
[0004]然而，该种方案仅能合成动作库中已有的动作，不能合成动作库中不存在的动作，生成的动作较为局限。
技术实现思路
[0005]本申请实施例提供了一种三...
【技术保护点】
【技术特征摘要】
1.一种三维虚拟对象的动作生成方法，其特征在于，所述方法包括：获取目标语音数据；对所述目标语音数据进行音频特征编码，得到第一音频共性特征；其中，音频共性特征是指音频特征中与动作相对应的特征；获取采样动作特征，所述采样动作特征是通过对动作特有特征集合进行随机采样得到的动作特有特征；对所述第一音频共性特征和所述采样动作特征进行特征解码，得到所述三维虚拟对象的动作。2.根据权利要求1所述的方法，其特征在于，所述对所述目标语音数据进行音频特征编码，包括：基于动作生成网络中的音频编码器对所述目标语音数据进行特征编码；所述对所述第一音频共性特征和所述采样动作特征进行特征解码，包括：基于所述动作生成网络中的动作解码器，对所述第一音频共性特征和所述采样动作特征进行特征解码；其中，所述音频编码器和所述动作解码器中包括顺次相连的至少两个时序块；对于任意一个时序块，所述时序块中包括一个映射层、至少两个空洞卷积层和至少两个激活函数层，所述映射层由所述时序块的输入端指向所述时序块的最后一个激活函数层。3.根据权利要求2所述的方法，其特征在于，所述基于动作生成网络中的音频编码器对所述目标语音数据进行特征编码，包括：将所述目标语音数据输入所述音频编码器的第一个时序块；对于任意一个时序块，接收上一个时序块的输出，基于所述至少两个空洞卷积层和所述至少两个激活函数层，对所述上一个时序块的输出进行特征编码；获取所述最后一个激活函数层的输出，将所述最后一个激活函数层的输出和所述映射层的输出传递到下一个时序块；获取所述音频编码器的最后一个时序块的输出，得到所述第一音频共性特征。4.根据权利要求1所述的方法，其特征在于，所述动作特有特征集合服从高斯分布，所述获取采样动作特征，包括：基于随机游走的采样方式对所述高斯分布进行随机采样；通过映射网络对采样结果进行特征映射，得到所述采样动作特征；其中，所述动作特有特征集合是在训练阶段通过对训练数据中的样本动作数据进行动作特征编码得到的。5.根据权利要求4所述的方法，其特征在于，所述采样结果中第i帧的特征是基于第i
‑
1帧的特征和从所述高斯分布采样的随机数得到的，i为不小于2的正整数。6.根据权利要求1所述的方法，其特征在于，所述三维虚拟对象为三维虚拟人，所述方法还包括：获取二维人脸图像，所述二维人脸图像中包括目标人脸；基于所述二维人脸图像的深度信息，对所述二维人脸图像进行三维重建，得到三维人物模型；基于所述二维人脸图像的纹理信息，对所述三维人物模型进行图形渲染，得到所述目标人脸对应的三维虚拟人。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述获取目标语音数据，包括：将原始音频作为所述目标语音数据；或，对所述原始音频进行音频特征提取，得到目标音频特征；将所述目标音频特征作为所述目标语音数据。8.一种模型训练方法，其特征在于，所述方法包括：获取训练数据，所述训练数据包括样本语音数据和与所述样本语音数据对应的所述样本动作数据；基于初始的音频编码器对所述样本语音数据进行音频特征编码，得到音频共性特征集合和音频特有特征集合；基于初始的动作编码器对所述样本动作数据进行动作特征编码，得到动作共性特征集合和动作特有特征集合；其中，动作共性特征是指动作特征中与音频相对应的特征；基于所述训练数据、所述音频共性特征集合、所述音频特有特征集合、所述动作共性特征集合和所述动作特有特征集合中的至少两项，构建损失函数；基于构建的损失函数进行模型训练，得到所述动作生成网络。9.根据权利要求8所述的方法，其特...
【专利技术属性】
技术研发人员：李晶，康頔，暴林超，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。