本发明专利技术提供一种数字人物形象的生成方法、装置、电子设备及计算机可读存储介质，涉及数字人技术领域。所述方法包括：获取数字人物目标情感的综合得分序列；将目标情感的综合得分序列生成生成对抗网络GAN隐空间矢量；基于GAN隐空间矢量合成数字人物形象视频的各帧，并与音频同步，以得到数字人物形象。以至少解决相关技术中存在的数字人物形象较为呆板，缺乏真实感的问题。适应于数字人物合成、情感分析等场景。场景。场景。
【技术实现步骤摘要】
数字人物形象的生成方法、装置、电子设备及存储介质
[0001]本专利技术涉及数字人
，尤其涉及一种数字人物形象的生成方法、装置、电子设备及计算机可读存储介质。
技术介绍
[0002]数字人物形象生成算法的一个重要的应用场景为完成数字人物的语音播报，其中，采用的AI(Artificial Intelligence，人工智能)算法自动生成能够说话的数字人物形象，并且形成连续的口型正确的视频。
[0003]在上述的方案中，为了增强虚拟数字人物的表现力，通常在语音播报的视频中随机地加入眨眼、歪头等动作，以使虚拟数字人物的形象更加真实。但是数字人物仍缺乏情感上的表现力，导致数字人物形象较为呆板，缺乏真实感。
技术实现思路
[0004]本专利技术所要解决的技术问题是针对现有技术的上述不足，提供一种数字人物形象的生成方法、装置、电子设备及计算机可读存储介质，以至少解决相关技术中存在的数字人物形象较为呆板，缺乏真实感的问题。
[0005]第一方面，本专利技术提供一种数字人物形象的生成方法，包括：获取数字人物目标情感的综合得分序列；将目标情感的综合得分序列生成生成对抗网络GAN隐空间矢量；基于GAN隐空间矢量合成数字人物形象视频的各帧，并与音频同步，以得到数字人物形象。
[0006]优选地，所述获取数字人物目标情感的综合得分序列，具体包括：获取数字人物播报文本对应的目标情感的得分，并获取数字人物播报语音对应的目标情感的得分；比对播报文本对应的目标情感的得分和播报语音对应的目标情感的得分，并基于插值模型算法，计算目标情感的综合得分；将目标情感的综合得分生成目标情感的综合得分序列。
[0007]优选地，所述获取数字人物播报文本对应的目标情感的得分，具体包括：获取数字人物播报文本；采用文本情感分析模型计算数字人物播报文本对应的目标情感的得分。
[0008]优选地，所述获取数字人物播报语音对应的目标情感的得分，具体包括：获取数字人物播报语音；采用语音情感分析模型计算数字人物播报语音对应的目标情感的得分。
[0009]优选地，在所述计算目标情感的综合得分之后，以及在所述将目标情感的综合得分生成目标情感的综合得分序列之前，所述方法还包括：生成播报文本对应的目标情感的得分序列，以使文本情感分析模型根据播报文本对应的目标情感的得分序列更新文本情感分析模型的参数；生成播报语音对应的目标情感的得分序列，以使语音情感分析模型根据播报语音对应的目标情感的得分序列更新语音情感分析模型的参数；获取更新后的文本情感分析模型和语音情感分析模型分别计算的目标情感的得分，并更新目标情感的综合得分。
[0010]优选地，目标情感包括以下至少之一：微笑、紧张、愤怒、无奈、担忧。
[0011]优选地，所述将目标情感的综合得分序列生成GAN隐空间矢量，具体包括：针对每
个目标情感的综合得分序列，采用N个通道计算方式分别生成相应的隐空间矢量，N为大于2的正整数；对N个通道进行评判评分，以选择出评分排序靠前的m个通道，m为小于N且大于1的正整数；对选择出的m个通道的隐空间矢量加权平均，以得到每个目标情感的GAN隐空间矢量。
[0012]第二方面，本专利技术还提供一种数字人物形象的生成装置，包括：获取模块，用于获取数字人物目标情感的综合得分序列。生成模块，与获取模块连接，用于将目标情感的综合得分序列生成GAN隐空间矢量。合成模块，与生成模块连接，用于基于GAN隐空间矢量合成数字人物形象视频的各帧，并与音频同步，以得到数字人物形象。
[0013]优选地，获取模块包括第一获取单元、第一计算单元和第一生成单元。
[0014]第一获取单元，用于获取数字人物播报文本对应的目标情感的得分，并获取数字人物播报语音对应的目标情感的得分。
[0015]第一计算单元，与第一获取单元连接，用于比对播报文本对应的目标情感的得分和播报语音对应的目标情感的得分，并基于插值模型算法，计算目标情感的综合得分。
[0016]第一生成单元，与第一计算单元连接，用于将目标情感的综合得分生成目标情感的综合得分序列。
[0017]优选地，目标情感包括以下至少之一：微笑、紧张、愤怒、无奈、担忧。生成模块包括第二生成单元、选择单元和第二计算单元。
[0018]第二生成单元，用于针对每个目标情感的综合得分序列，采用N个通道计算方式分别生成相应的隐空间矢量，N为大于2的正整数。
[0019]选择单元，与第二生成单元连接，用于对N个通道进行评判评分，以选择出评分排序靠前的m个通道，m为小于N且大于1的正整数。
[0020]第二计算单元，与选择单元连接，用于对选择出的m个通道的隐空间矢量加权平均，以得到每个目标情感的GAN隐空间矢量。
[0021]第三方面，本专利技术还提供一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以实现如第一方面所述的数字人物形象的生成方法。
[0022]第四方面，本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如第一方面所述的数字人物形象的生成方法。
[0023]本专利技术提供的数字人物形象的生成方法、装置、电子设备及计算机可读存储介质，通过获取数字人物需要表现的目标情感的综合得分序列，并将目标情感的综合得分序列生成GAN隐空间矢量，基于GAN隐空间矢量合成数字人物形象视频的各帧，并与音频同步，以得到真实表现目标情感的数字人物形象。由于获取的是目标情感的综合得分，使得目标情感数据更为准确，从而使得数字人物形象更加真实。
附图说明
[0024]图1为本专利技术实施例1的一种数字人物形象的生成方法的流程示意图；
[0025]图2为本专利技术实施例2的一种数字人物形象的生成装置的结构示意图；
[0026]图3为本专利技术实施例3的一种电子设备的结构示意图。
具体实施方式
[0027]为使本领域技术人员更好地理解本专利技术的技术方案，下面将结合附图对本专利技术实施方式作进一步地详细描述。
[0028]可以理解的是，此处描述的具体实施例和附图仅仅用于解释本专利技术，而非对本专利技术的限定。
[0029]可以理解的是，在不冲突的情况下，本专利技术中的各实施例及实施例中的各特征可相互组合。
[0030]可以理解的是，为便于描述，本专利技术的附图中仅示出了与本专利技术相关的部分，而与本专利技术无关的部分未在附图中示出。
[0031]可以理解的是，本专利技术的实施例中所涉及的每个单元、模块可仅对应一个实体结构，也可由多个实体结构组成，或者，多个单元、模块也可集成为一个实体结构。
[0032]可以理解的是，在不冲突的情况下，本专利技术的流程图和框图中所标注的功能、步骤可按照不同于附图中所标注的顺序发生。
[0033]可以理解的是，本专利技术的流程图和框图中，示出了按照本专利技术各实施例的系统、装置、设备、方法的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数字人物形象的生成方法，其特征在于，包括：获取数字人物目标情感的综合得分序列；将目标情感的综合得分序列生成生成对抗网络GAN隐空间矢量；基于GAN隐空间矢量合成数字人物形象视频的各帧，并与音频同步，以得到数字人物形象。2.根据权利要求1所述的数字人物形象的生成方法，其特征在于，所述获取数字人物目标情感的综合得分序列，具体包括：获取数字人物播报文本对应的目标情感的得分，并获取数字人物播报语音对应的目标情感的得分；比对播报文本对应的目标情感的得分和播报语音对应的目标情感的得分，并基于插值模型算法，计算目标情感的综合得分；将目标情感的综合得分生成目标情感的综合得分序列。3.根据权利要求2所述的数字人物形象的生成方法，其特征在于，所述获取数字人物播报文本对应的目标情感的得分，具体包括：获取数字人物播报文本；采用文本情感分析模型计算数字人物播报文本对应的目标情感的得分，所述获取数字人物播报语音对应的目标情感的得分，具体包括：获取数字人物播报语音；采用语音情感分析模型计算数字人物播报语音对应的目标情感的得分。4.根据权利要求3所述的数字人物形象的生成方法，其特征在于，在所述计算目标情感的综合得分之后，以及在所述将目标情感的综合得分生成目标情感的综合得分序列之前，还包括：生成播报文本对应的目标情感的得分序列，以使文本情感分析模型根据播报文本对应的目标情感的得分序列更新文本情感分析模型的参数；生成播报语音对应的目标情感的得分序列，以使语音情感分析模型根据播报语音对应的目标情感的得分序列更新语音情感分析模型的参数；获取更新后的文本情感分析模型和语音情感分析模型分别计算的目标情感的得分，并更新目标情感的综合得分。5.根据权利要求1所述的数字人物形象的生成方法，其特征在于，目标情感包括以下至少之一：微笑、紧张、愤怒、无奈、担忧，所述将目标情感的综合得分序列生成GAN隐空间矢量，具体包括：针对每个目标情感的综合得分序列，采用N个通道计算方式分别生成相应的隐空间矢量，N为大于2的正整数；对N个通道进行评判评分，以选择出评分排序靠前的m个通道，m为...
【专利技术属性】
技术研发人员：周广，吴浩然，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。