虚拟形象视频流生成方法、装置、设备及存储介质制造方法及图纸

本申请涉及人工智能技术领域，揭示了一种虚拟形象视频流生成方法、装置、设备及存储介质，其中方法包括：获取目标句子；对所述目标句子进行分词处理，得到目标短语集；将所述目标短语集中的每个目标短语转换成语音，得到目标语音段；将每个所述目标语音段输入预设的三维图像生成模型进行虚拟形象三维图像生成，作为目标虚拟形象三维图像集；根据所述目标句子，对各个所述目标语音段和各个所述目标虚拟形象三维图像集进行虚拟形象视频流生成，作为所述目标句子对应的目标虚拟形象视频流。从而实现了基于句子的文本内容生成虚拟形象视频流，使虚拟形象与语音段对应，增加了客户真实感。增加了客户真实感。增加了客户真实感。

【技术实现步骤摘要】
虚拟形象视频流生成方法、装置、设备及存储介质


[0001]本申请涉及到人工智能
，特别是涉及到一种虚拟形象视频流生成方法、装置、设备及存储介质。

技术介绍

[0002]近年来，受益于人工智能和互联网的快速发展，基于人工智能的客户服务得到广泛应用。目前基于人工智能的客户服务的研究集中在话术的生成，对于生成的话术采用语音播报。为了提高客户真实感，在语音播报配套虚拟形象进行客服服务时，虚拟形象与语音播报的内容关联度不大，导致增加的客户真实感的有限，降低了用户体验。

技术实现思路

[0003]本申请的主要目的为提供一种虚拟形象视频流生成方法、装置、设备及存储介质，旨在解决目前在语音播报配套虚拟形象进行客服服务时，虚拟形象与语音播报的内容关联度不大，导致增加的客户真实感的有限的技术问题。
[0004]为了实现上述专利技术目的，本申请提出一种虚拟形象视频流生成方法，所述方法包括：
[0005]获取目标句子；
[0006]对所述目标句子进行分词处理，得到目标短语集；
[0007]将所述目标短语集中的每个目标短语转换成语音，得到目标语音段；
[0008]将每个所述目标语音段输入预设的三维图像生成模型进行虚拟形象三维图像生成，作为目标虚拟形象三维图像集；
[0009]根据所述目标句子，对各个所述目标语音段和各个所述目标虚拟形象三维图像集进行虚拟形象视频流生成，作为所述目标句子对应的目标虚拟形象视频流。
[0010]进一步的，所述将每个所述目标语音段输入预设的三维图像生成模型进行虚拟形象三维图像生成，作为目标虚拟形象三维图像集的步骤，包括：
[0011]将各个所述目标语音段中的任一个所述目标语音段作为待处理语音段；
[0012]将所述待处理语音段输入所述三维图像生成模型的三维建模参数预测单元进行三维建模参数的预测，作为目标三维建模参数；
[0013]将所述目标三维建模参数输入所述三维图像生成模型的三维图像建模单元进行虚拟形象三维图像生成，作为所述目标虚拟形象三维图像集。
[0014]进一步的，所述将所述待处理语音段输入所述三维图像生成模型的三维建模参数预测单元进行三维建模参数的预测，作为目标三维建模参数的步骤之前，还包括：
[0015]获取多个训练样本和初始模型，其中，各个所述训练样本中的每个所述训练样本包括：语音段样本、人体三维图像标定值和三维建模参数标定值，将所述语音段样本和所述人体三维图像标定值作为第一样本的模型输入数据，将所述三维建模参数标定值作为所述第一样本的预测标签，将所述语音段样本作为第二样本的所述模型输入数据，所述人体三
维图像标定值作为所述第二样本的所述预测标签；
[0016]采用各个所述训练样本对应的各个所述第一样本，对所述初始模型的三维建模参数初始单元进行训练，得到预训练生成模型；
[0017]获取预训练判别器；
[0018]采用各个所述训练样本对应的各个所述第二样本，对所述预训练生成模型和所述预训练判别器进行生成对抗训练，将完成生成对抗训练的所述预训练生成模型作为所述三维图像生成模型。
[0019]进一步的，所述采用各个所述训练样本对应的各个所述第一样本，对所述初始模型的三维建模参数初始单元进行训练，得到预训练生成模型的步骤，包括：
[0020]将各个所述训练样本对应的各个所述第一样本中的任一个所述第一样本作为第一目标样本；
[0021]将所述第一目标样本的所述模型输入数据输入所述三维建模参数初始单元分别进行图像隐向量的提取、语音隐向量的提取及隐向量之间的隐式映射关系学习，得到第一预测数据；
[0022]根据所述第一预测数据和所述第一目标样本的所述预测标签进行损失值计算，得到目标损失值；
[0023]根据所述目标损失值更新所述三维建模参数初始单元的网络参数；
[0024]重复执行所述将各个所述训练样本对应的各个所述第一样本中的任一个所述第一样本作为第一目标样本的步骤，直至达到预设的第一模型训练结束条件；
[0025]将达到所述第一模型训练结束条件的所述三维建模参数初始单元作为三维建模参数预训练单元；
[0026]将所述三维建模参数预训练单元和所述初始模型的所述三维图像建模单元作为所述预训练生成模型。
[0027]进一步的，各个所述第一样本是预设的训练分布，所述将达到所述第一模型训练结束条件的所述三维建模参数初始单元作为三维建模参数预训练单元的步骤，包括：
[0028]将达到所述第一模型训练结束条件的所述三维建模参数初始单元作为待验证单元；
[0029]获取多个验证样本集，其中，各个所述验证样本集是多种不同的未知分布；
[0030]采用每个所述验证样本集，对所述待验证单元进行准确率计算，以形成待分析准确率；
[0031]对各个所述待分析准确率进行方差计算，以形成待分析方差；
[0032]判断所述待分析方差是否最小化；
[0033]若否，则重复执行所述将各个所述训练样本对应的各个所述第一样本中的任一个所述第一样本作为第一目标样本的步骤；
[0034]若是，则将所述待验证单元作为所述三维建模参数预训练单元。
[0035]进一步的，所述采用各个所述训练样本对应的各个所述第二样本，对所述预训练生成模型和所述预训练判别器进行生成对抗训练，将完成生成对抗训练的所述预训练生成模型作为所述三维图像生成模型的步骤，包括：
[0036]将各个所述训练样本对应的各个所述第二样本中的任一个所述第二样本作为第
二目标样本；
[0037]将所述第二目标样本的所述模型输入数据输入所述预训练生成模型的所述三维建模参数预训练单元分别进行图像隐向量的提取、语音隐向量的提取及隐向量之间的隐式映射关系学习，得到初始预测数据；
[0038]将所述初始预测数据输入所述预训练生成模型的所述三维图像建模单元进行虚拟形象三维图像生成，得到第二预测数据；
[0039]将所述第二预测数据和所述第二目标样本的所述预测标签输入所述预训练判别器进行真实性判别，得到判别结果；
[0040]根据所述判别结果对所述三维建模参数预训练单元进行网络参数更新；
[0041]重复执行所述将各个所述训练样本对应的各个所述第二样本中的任一个所述第二样本作为第二目标样本的步骤，直至达到预设的第二模型训练结束条件；
[0042]将达到所述第二模型训练结束条件的所述预训练生成模型作为所述三维图像生成模型。
[0043]进一步的，所述目标虚拟形象三维图像集中包括提示板，所述根据所述目标句子，对各个所述目标语音段和各个所述目标虚拟形象三维图像集进行虚拟形象视频流生成，作为所述目标句子对应的目标虚拟形象视频流的步骤，包括：
[0044]获取所述目标句子对应的操作提示文字；
[0045]将所述操作提示文字添加到每个所述目标虚拟形象三维图像集的所述提示板中，以形成待组合三维图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟形象视频流生成方法，其特征在于，所述方法包括：获取目标句子；对所述目标句子进行分词处理，得到目标短语集；将所述目标短语集中的每个目标短语转换成语音，得到目标语音段；将每个所述目标语音段输入预设的三维图像生成模型进行虚拟形象三维图像生成，作为目标虚拟形象三维图像集；根据所述目标句子，对各个所述目标语音段和各个所述目标虚拟形象三维图像集进行虚拟形象视频流生成，作为所述目标句子对应的目标虚拟形象视频流。2.根据权利要求1所述的虚拟形象视频流生成方法，其特征在于，所述将每个所述目标语音段输入预设的三维图像生成模型进行虚拟形象三维图像生成，作为目标虚拟形象三维图像集的步骤，包括：将各个所述目标语音段中的任一个所述目标语音段作为待处理语音段；将所述待处理语音段输入所述三维图像生成模型的三维建模参数预测单元进行三维建模参数的预测，作为目标三维建模参数；将所述目标三维建模参数输入所述三维图像生成模型的三维图像建模单元进行虚拟形象三维图像生成，作为所述目标虚拟形象三维图像集。3.根据权利要求2所述的虚拟形象视频流生成方法，其特征在于，所述将所述待处理语音段输入所述三维图像生成模型的三维建模参数预测单元进行三维建模参数的预测，作为目标三维建模参数的步骤之前，还包括：获取多个训练样本和初始模型，其中，各个所述训练样本中的每个所述训练样本包括：语音段样本、人体三维图像标定值和三维建模参数标定值，将所述语音段样本和所述人体三维图像标定值作为第一样本的模型输入数据，将所述三维建模参数标定值作为所述第一样本的预测标签，将所述语音段样本作为第二样本的所述模型输入数据，所述人体三维图像标定值作为所述第二样本的所述预测标签；采用各个所述训练样本对应的各个所述第一样本，对所述初始模型的三维建模参数初始单元进行训练，得到预训练生成模型；获取预训练判别器；采用各个所述训练样本对应的各个所述第二样本，对所述预训练生成模型和所述预训练判别器进行生成对抗训练，将完成生成对抗训练的所述预训练生成模型作为所述三维图像生成模型。4.根据权利要求3所述的虚拟形象视频流生成方法，其特征在于，所述采用各个所述训练样本对应的各个所述第一样本，对所述初始模型的三维建模参数初始单元进行训练，得到预训练生成模型的步骤，包括：将各个所述训练样本对应的各个所述第一样本中的任一个所述第一样本作为第一目标样本；将所述第一目标样本的所述模型输入数据输入所述三维建模参数初始单元分别进行图像隐向量的提取、语音隐向量的提取及隐向量之间的隐式映射关系学习，得到第一预测数据；根据所述第一预测数据和所述第一目标样本的所述预测标签进行损失值计算，得到目
标损失值；根据所述目标损失值更新所述三维建模参数初始单元的网络参数；重复执行所述将各个所述训练样本对应的各个所述第一样本中的任一个所述第一样本作为第一目标样本的步骤，直至达到预设的第一模型训练结束条件；将达到所述第一模型训练结束条件的所述三维建模参数初始单元作为三维建模参数预训练单元；将所述三维建模参数预训练单元和所述初始模型的所述三维图像建模单元作为所述预训练生成模型。5.根据权利要求4所述的虚拟形象视频流生成方法，其特征在于，各个所述第一样本是预设的训练分布，所述将达到所述第一模型训练结束条件的所述三维建模参数初始单元作为三维建模参数预训练单元的步骤，包括：将达到所述第一模型训练结束条件的所述三维建模参数初始单元作为待验证单元；获取多个验证样本集，其...

【专利技术属性】
技术研发人员：胡停雨，
申请(专利权)人：平安普惠企业管理有限公司，
类型：发明
国别省市：