当前位置: 首页 > 专利查询>广州大学专利>正文

一种基于脑电情绪的语音合成方法技术

技术编号:44822405 阅读:13 留言:0更新日期:2025-03-28 20:12
本发明专利技术公开了一种基于脑电情绪的语音合成方法,涉及智能语音合成领域。包括:采用脑电信号采集仪获取测试者听到语音片段后的脑电情绪数据并进行情绪标注,得到标注后的情绪极值组数据再进行预处理;通过预处理后的情绪极值组数据对卷积神经网络进行脑电情绪量度模型训练,得到训练好的脑电情绪量度模型;输出训练好的脑电情绪量度模型的识别结果作为vits模型的输入,进行情感语音合成模型训练,得到训练好的情感语音合成模型;通过训练好的情感语音合成模型对待配音的影视剧进行语音合成,输出最终的语音合成结果。本发明专利技术提出脑电情绪量度模型和情感语音合成模型,可以在情绪量度结果下优化语音生成,合成满足听众共情需求的情感丰富的语音。

【技术实现步骤摘要】

本专利技术涉及智能语音合成,尤其涉及一种基于脑电情绪的语音合成方法


技术介绍

1、语音合成是指利用计算机将文本自动生成语音。在影视剧行业,自动配音程序能够将剧本中的文本台词、情绪表达、音色等要素通过程序自动生成语音,然后将语音配到画面中,从而大大降低配音成本,但由于影视剧制作需要达到共情效果,生成的语音对情感要求极高,因此情绪因素成为影视剧语音合成的重点研究内容。

2、由于深度神经网络的发展,智能语音合成已经有了很大的进步。基于深度神经网络的语音合成通常通过构建参数化的神经网络,利用文本语音对形式的样本数据,对文本到语音的映射关系进行建模,从而实现文本到语音的转换。这种简单的数据驱动语音合成方法,缺乏对音色、情感等更细粒度因素的挖掘和建模。

3、情感语音合成的通常做法是通过显式标签使模型学习语音的情感风格,即通过人工为语音打上表示情感的文本标签,模型在语音合成的过程中学习语音的韵律,从而达到情感语音生成的效果。但文本显式标签也只能使模型学习到样本数据的平均风格以及语音的基本韵律,仍然缺乏情感韵律的细粒度分析。并且这种通过文本标签的本文档来自技高网...

【技术保护点】

1.一种基于脑电情绪的语音合成方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于脑电情绪的语音合成方法,其特征在于,S1中采用脑电信号采集仪获取测试者听到语音片段后的脑电情绪数据的具体内容为:

3.根据权利要求1所述的一种基于脑电情绪的语音合成方法,其特征在于,S2中将采集到的脑电情绪数据进行情绪标注,得到标注后的情绪极值组数据的具体内容为:

4.根据权利要求3所述的一种基于脑电情绪的语音合成方法,其特征在于,情绪极值组数据为根据情绪两极对立特征对六种情绪进行分类的a极值组、b极值组和c极值组;每个极值组称为一个情绪量度尺,中心交叉点表...

【技术特征摘要】

1.一种基于脑电情绪的语音合成方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于脑电情绪的语音合成方法,其特征在于,s1中采用脑电信号采集仪获取测试者听到语音片段后的脑电情绪数据的具体内容为:

3.根据权利要求1所述的一种基于脑电情绪的语音合成方法,其特征在于,s2中将采集到的脑电情绪数据进行情绪标注,得到标注后的情绪极值组数据的具体内容为:

4.根据权利要求3所述的一种基于脑电情绪的语音合成方法,其特征在于,情绪极值组数据为根据情绪两极对立特征对六种情绪进行分...

【专利技术属性】
技术研发人员:胡勇军梁显武滕建新刘勤山朱柳茜何杰锋姜檬檬林浩
申请(专利权)人:广州大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1