本发明专利技术提供了一种基于词向量的多模态数字人情绪生成方法及系统，包括：获取语料数据并进行相应的预处理；对所述语料数据中的语句进行分词，得到关键词列表及对应的表情标签；根据所述关键词列表训练词向量模型；构建卷积神经网络模型，并根据所述词向量模型以及所述表情标签训练所述卷积神经网络模型；结合训练后的卷积神经网络模型和数字人播报的对应表情标签，预测当前数字人播报的对应情绪，从而使得数字人表达相应的情绪。本发明专利技术训练了一个可以根据文本进行情绪生成的神经网络模型，在数字人播报时，可以通过训练好的神经网络模型自动预测文本对应的面部表情，避免了人工干预。预。预。
【技术实现步骤摘要】
基于词向量的多模态数字人情绪生成方法及系统
[0001]本专利技术涉及人工智能
，具体地，涉及一种基于词向量的多模态数字人情绪生成方法及系统。
技术介绍
[0002]数字人是运用数字技术创造出来的、与人类形象接近的数字化人物形象。目前随着计算机视觉技术、自然语言处理技术、情感计算技术等计算机深度学习模型相关领域的发展，虚拟数字人的外形、交互能力以及学习能力甚至情绪感知能力都得到很大的提升。比如陪伴型数字人，既想达到陪伴人的效果，那情绪表达自然是必不可少的。
[0003]根据声音音频数据中相应的能量值驱动数字人不具有可解释性，准确性也存在一定的误差。数字人进行相应情绪的表达是暗含某些语义在其中的，只有通过理解数字人播报文本内在的语义才能较好的表达符合语义的情绪；
[0004]专利文献CN114974312A涉及一种虚拟人情绪生成方法以及系统；所述生成方法通过采集模块记录用户与虚拟人交流过程中的声音音频，并从声音音频中提取多个特征以及特征值；进一步的，使用分类模块对多个特征以及特征值进行基于n项情绪的分类，并计算n项情绪中每一项的情绪能量；进一步的，获取虚拟人实时的情绪指数，根据实时的情绪指数获取对应的情绪反应函数，并计算情绪增量；该情绪反应函数用于反映基于当前情绪状况下，特定情绪能量能产生对情绪的影响效果；进一步的，根据情绪增量更新所述情绪参数后，驱动虚拟人的情绪发生相应变化。
[0005]但是，目前大多数生成数字人情绪的方法是人工提前在数字人播报的话术相应的位置进行表情标签的配置，需要大量的人工配置工作。且在人工对数字人的表情进行配置时，不同的配置人员针对同样含义的播报文本可能存在不同的情绪表情值的配置，造成数字人针对相似语义的情绪表达效果不一致。
技术实现思路
[0006]针对现有技术中的缺陷，本专利技术的目的是提供一种基于词向量的多模态数字人情绪生成方法及系统。
[0007]根据本专利技术提供的一种基于词向量的多模态数字人情绪生成方法，包括：
[0008]步骤S1：获取语料数据并进行相应的预处理；
[0009]步骤S2：对所述语料数据中的语句进行分词，得到关键词列表及对应的表情标签；
[0010]步骤S3：根据所述关键词列表训练词向量模型；
[0011]步骤S4：构建卷积神经网络模型，并根据所述词向量模型以及所述表情标签训练所述卷积神经网络模型；
[0012]步骤S5：结合训练后的卷积神经网络模型和数字人播报的对应表情标签，预测当前数字人播报的对应情绪，从而使得数字人表达相应的情绪。
[0013]优选地，步骤S1包括：
[0014]步骤S1.1：获取语料数据并存入相应的文本文件中；
[0015]步骤S1.2：对文本文件进行清洗；
[0016]步骤S1.3：在清洗后的文本文件中将表情图标转换成对应的表情文本标签，使语句与表情文本标签相关联。
[0017]优选地，步骤S3包括：
[0018]步骤S3.1：对包含关键词列表的词典中的每一个关键词进行编码并存入语料库中；
[0019]步骤S3.2：建立当前语句中关键词和所述语句的上下文关键词之间的关联关系；
[0020]步骤S3.3：以语料库中的关键词为词向量模型输入，以所述关键词在原始语句中的上下文关键词为词向量模型输出，进行训练后得到对应的权重。
[0021]优选地，步骤S4包括：
[0022]步骤S4.1：将关键词通过词向量模型训练出的权重转换成对应的词向量；
[0023]步骤S4.2：将所述词向量作为卷积神经网络模型的输入，所述表情标签作为模型的输出，进行模型训练。
[0024]优选地，在数字人播报时，通过训练好的卷积神经网络模型对数字人播报的语句中的所有关键词进行情感分类，将进情感分类后对应的表情标签发送给数字人，进而使得数字人表达相应的情绪。
[0025]根据本专利技术提供的一种基于词向量的多模态数字人情绪生成系统，包括：
[0026]模块M1：获取语料数据并进行相应的预处理；
[0027]模块M2：对所述语料数据中的语句进行分词，得到关键词列表及对应的表情标签；
[0028]模块M3：根据所述关键词列表训练词向量模型；
[0029]模块M4：构建卷积神经网络模型，并根据所述词向量模型以及所述表情标签训练所述卷积神经网络模型，进而生成数字人情绪；
[0030]模块M5：结合训练后的卷积神经网络模型和数字人播报的对应表情标签，预测当前数字人播报的对应情绪，从而使得数字人表达相应的情绪。
[0031]优选地，模块M1包括：
[0032]模块M1.1：获取语料数据并存入相应的文本文件中；
[0033]模块M1.2：对文本文件进行清洗；
[0034]模块M1.3：在清洗后的文本文件中将表情图标转换成对应的表情文本标签，使语句与表情文本标签相关联。
[0035]优选地，模块M3包括：
[0036]模块M3.1：对包含关键词列表的词典中的每一个关键词进行编码并存入语料库中；
[0037]模块M3.2：建立当前语句中关键词和所述语句的上下文关键词之间的关联关系；
[0038]模块M3.3：以语料库中的关键词为词向量模型输入，以所述关键词在原始语句中的上下文关键词为词向量模型输出，进行训练后得到对应的权重。
[0039]优选地，模块M4包括：
[0040]模块M4.1：将关键词通过词向量模型训练出的权重转换成对应的词向量；
[0041]模块M4.2：将所述词向量作为卷积神经网络模型的输入，所述表情标签作为模型
的输出，进行模型训练。
[0042]优选地，在数字人播报时，通过训练好的卷积神经网络模型对数字人播报的语句中的所有关键词进行情感分类，将进情感分类后对应的表情标签发送给数字人，进而使得数字人表达相应的情绪。
[0043]与现有技术相比，本专利技术具有如下的有益效果：
[0044]1、本专利技术训练了一个可以根据文本进行情绪生成的神经网络模型，在数字人播报时，可以通过训练好的神经网络模型自动预测文本对应的面部表情，避免了人工干预。
[0045]2、本专利技术为数字人引入符合播报文本的面部表情，增加了多模态数字人的表达能力，使数字人更拟人化，同时增强了人机交互友好性。
[0046]3、本专利技术根据公开的文本数据和表情标签的对应关系，解决了以往需要大量的人工标注文本和表情关联关系，可以有效降低人工标注成本。
附图说明
[0047]通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：
[0048]图1为本专利技术的工作流程示意图。
具体实施方式
[0049]下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本专利技术，但不以任何形式限制本专利技术。应当指出的是，对本领本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于词向量的多模态数字人情绪生成方法，其特征在于，包括：步骤S1：获取语料数据并进行相应的预处理；步骤S2：对所述语料数据中的语句进行分词，得到关键词列表及对应的表情标签；步骤S3：根据所述关键词列表训练词向量模型；步骤S4：构建卷积神经网络模型，并根据所述词向量模型以及所述表情标签训练所述卷积神经网络模型；步骤S5：结合训练后的卷积神经网络模型和数字人播报的对应表情标签，预测当前数字人播报的对应情绪，从而使得数字人表达相应的情绪。2.根据权利要求1所述的基于词向量的多模态数字人情绪生成方法，其特征在于，步骤S1包括：步骤S1.1：获取语料数据并存入相应的文本文件中；步骤S1.2：对文本文件进行清洗；步骤S1.3：在清洗后的文本文件中将表情图标转换成对应的表情文本标签，使语句与表情文本标签相关联。3.根据权利要求1所述的基于词向量的多模态数字人情绪生成方法，其特征在于，步骤S3包括：步骤S3.1：对包含关键词列表的词典中的每一个关键词进行编码并存入语料库中；步骤S3.2：建立当前语句中关键词和所述语句的上下文关键词之间的关联关系；步骤S3.3：以语料库中的关键词为词向量模型输入，以所述关键词在原始语句中的上下文关键词为词向量模型输出，进行训练后得到对应的权重。4.根据权利要求1所述的基于词向量的多模态数字人情绪生成方法，其特征在于，步骤S4包括：步骤S4.1：将关键词通过词向量模型训练出的权重转换成对应的词向量；步骤S4.2：将所述词向量作为卷积神经网络模型的输入，所述表情标签作为模型的输出，进行模型训练。5.根据权利要求4所述的基于词向量的多模态数字人情绪生成方法，其特征在于，在数字人播报时，通过训练好的卷积神经网络模型对数字人播报的语句中的所有关键词进行情感分类，将进情感分类后对应的表情标签发送给数字人，进而使得数字人表达相应的情绪。6.一种基于词向量的多模...
【专利技术属性】
技术研发人员：石广洲，杨益明，方正，殷静雯，
申请(专利权)人：兴业数字金融服务上海股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。