一种语音生成方法、装置、设备及存储介质制造方法及图纸

本申请提出一种语音生成方法、装置、设备及存储介质，该方法包括：根据录音文本以及目标语音情感效果，生成录音情感引导信息；输出所述录音情感引导信息，以便目标发音人在所述录音情感引导信息的引导下朗读所述录音文本；采集所述目标发音人对所述录音文本的朗读语音，得到与所述录音文本对应的语音数据。该方法一方面能够为发音人发音提供便利，即可以自动生成录音情感引导信息，方便发音人明确应当如何调整发音情感，另一方面能够生成各种情感的语音数据，这些语音数据可以作为语音素材用于合成具有感情色彩的语音，能够提高语音合成效果，进而有利于改善基于语音的人机交互效果。果。果。

【技术实现步骤摘要】
一种语音生成方法、装置、设备及存储介质


[0001]本申请涉及语音合成
，尤其涉及一种语音生成方法、装置、 设备及存储介质。

技术介绍

[0002]语音合成通常是基于语音库中的语音素材，合成符合交互场景的语音。 随着基于语音的人机交互技术的发展和应用，语音合成在智能家居、智能 机器人等配置人机交互功能的智能设备上的应用越来越广泛。
[0003]目前，比较常用的构建语音库的方式是由发音人按照标准发音朗读文 本，同时对发音人的朗读语音进行录制，录制的语音即作为语音素材存储 至语音库中。采用这种方式所生成的语音，是语气一成不变、平铺直叙的 语音，基于这些语音素材而合成的语音，不会带有任何感情色彩，这就导 致合成的语音非常呆板，无法达到与用户共情交互的效果，更无法使得人 机交互像人人交互那样自然和真实。

技术实现思路

[0004]基于上述技术现状，本申请提出一种语音生成方法、装置、设备及存 储介质，能够生成符合目标情感效果的语音，利用这些语音进行语音合成， 能够得到具有感情色彩的合成语音，从而有利于提高人机交互效果。
[0005]本申请第一方面提供了一种语音生成方法，包括：根据录音文本以及 目标语音情感效果，生成录音情感引导信息；输出所述录音情感引导信息， 以便目标发音人在所述录音情感引导信息的引导下朗读所述录音文本；采 集所述目标发音人对所述录音文本的朗读语音，得到与所述录音文本对应 的语音数据。
[0006]本申请第二方面提供了一种语音生成装置，包括：信息生成单元，用 于根据录音文本以及目标语音情感效果，生成录音情感引导信息；数据输 出单元，用于输出所述录音情感引导信息，以便目标发音人在所述录音情 感引导信息的引导下朗读所述录音文本；数据采集单元，用于采集所述目 标发音人对所述录音文本的朗读语音，得到与所述录音文本对应的语音数 据。
[0007]本申请第三方面提供了一种语音生成设备，包括：处理器，以及分别 与所述处理器连接的存储器、麦克风和输出设备；其中，所述存储器用于 存储数据和计算机程序；所述处理器，用于通过运行所述存储器中的计算 机程序，根据录音文本以及目标语音情感效果，生成录音情感引导信息， 并将生成的录音情感引导信息发送给所述输出设备；所述输出设备用于输 出所述处理器发送的录音情感引导信息，以便目标发音人在所述录音情感 引导信息的引导下朗读所述录音文本；所述麦克风与所述存储器连接，用 于采集所述目标发音人对所述录音文本的朗读语音，得到与所述录音文本 对应的语音数据，并将所述语音数据存储至所述存储器。
[0008]本申请第四方面提供了一种存储介质，所述存储介质上存储有计算机 程序，所述
计算机程序被处理器运行时，实现上述的语音生成方法。
[0009]本申请提出的语音生成方法在生成语音时，能够根据录音文本和目标 语音情感效果生成录音情感引导信息并输出，以使发音人能够在该录音情 感引导信息的引导下朗读录音文本。此时，采集发音人对录音文本的朗读 语音，即得到与录音文本对应的语音数据。
[0010]上述的语音生成过程中，能够根据录音文本及目标语音情感效果，实 时地生成录音情感引导信息，从而能够为发音人提供录音情感参考，使发 音人更加直观、准确地知晓应当以何种情感朗读录音文本，进而可以采集 得到带有各种情感色彩的语音数据。该方法一方面能够为发音人发音提供 便利，即可以自动生成录音情感引导信息，方便发音人明确应当如何调整 发音情感；另一方面，将任意语音情感作为目标语音情感效果，然后通过 执行本申请技术方案能够生成各种情感的语音数据，这些语音数据可以作 为语音素材用于合成具有感情色彩的语音，能够提高语音合成效果，进而 有利于改善基于语音的人机交互效果。
附图说明
[0011]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对 实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地， 下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0012]图1为本申请实施例提供的一种语音生成方法的流程示意图；
[0013]图2为本申请实施例提供的口语文本生成模型的处理过程示意图；
[0014]图3为本申请实施例提供的文本纠错模型的文本纠错过程示意图；
[0015]图4为本申请实施例提供的语音识别系统迭代训练示意图；
[0016]图5为本申请实施例提供的语音生成装置的结构示意图；
[0017]图6为本申请实施例提供的语音生成设备的结构示意图。
具体实施方式
[0018]本申请实施例所提出的技术方案适用于语音生成的应用场景，具体可 以用于生成语音从而构建得到语音库的应用场景。采用本申请实施例技术 方案，能够使得生成的语音具有情感效果，从而可以使得利用这些语音构 建的语音库能够用于合成具有情感色彩、能够适用于更多场景和语言风格 的语音。
[0019]人类在日常生活中相互交流的方式多种多样，而最直接易懂和自然的 交流模式就是语音，计算机和互联网科技的飞速发展很大程度上改变了人 们的生活方式，人与计算机之间的关系密不可分。如今语音合成在智能家 居、智能机器人等交互领域得到了广泛应用。近年来，很多有关语音合成 的开发技术在不断创新，人与机器通过语音交互的梦想在逐步的实现。语 音开发技术与应用产品成功结合的案例也是层出不穷，例如手机语音助手 和语音输入法等。
[0020]但是在使用智能语音设备时，相比于机器一成不变、平铺直叙的语音 合成技术，针对不同场景、不同风格的拟人化语音合成变的更加被需要， 拟人化语音可以使得人机交
互系统更加接近于人人沟通。例如，在手机语 音助手场景下，机器可以根据机主的情绪选取对应的情感与机主沟通，达 到共情的效果；在车载语音助手场景下，当车辆能源不足时，可以切换到 虚弱的语气与车主沟通；在有声小说场景下，根据小说的情节，选取不同 的风格与语气情感来表述，大大增强表现力。因此在这种情况下更具场景、 风格、情感表现力的语音合成系统就显得非常迫切，而为了训练出该语音 合成系统，原始语音库的构建就显得尤为重要。
[0021]目前常规的语音库构建方式是由发音人按照标准发音朗读文本，同时 对发音人的朗读语音进行录制，录制的语音即作为语音素材存储至语音库 中。采用这种方式所生成的语音，是语气一成不变、平铺直叙、不带有感 情色彩的语音，基于这些语音素材而合成的语音，也不会带有任何感情色 彩，这就导致合成的语音非常呆板，无法达到与用户共情交互的效果，更 无法使得人机交互像人人交互那样自然和真实。
[0022]针对上述技术现状，本申请实施例提出一种新的语音生成方法，该方 法能够使得生成的语音具有感情色彩，将利用该方法生成的语音用于语音 库构建，可以使得该语音库能够用于生成适合不同场景、不同风格、不同 情感的语音，使得语音合成能够支持更自然和更真实的人机交互。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语音生成方法，其特征在于，包括：根据录音文本以及目标语音情感效果，生成录音情感引导信息；输出所述录音情感引导信息，以便目标发音人在所述录音情感引导信息的引导下朗读所述录音文本；采集所述目标发音人对所述录音文本的朗读语音，得到与所述录音文本对应的语音数据。2.根据权利要求1所述的方法，其特征在于，根据录音文本以及目标语音情感效果，生成录音情感引导信息，包括：根据录音文本以及目标语音情感效果，生成与所述录音文本的情境相匹配和/或与所述目标语音情感效果的情感基调相同的录音情感引导信息。3.根据权利要求1所述的方法，其特征在于，所述录音情感引导信息，包括录音情感引导视频、录音情感引导音频和录音情感引导文本中的至少一项；所述录音情感引导音频，包括录音情感引导语音和录音情感引导音乐中的至少一项。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：检测所述目标发音人对所述录音文本的朗读语音的音色，与所述目标发音人的设定情感的朗读语音的音色是否一致；若所述目标发音人对所述录音文本的朗读语音的音色与所述目标发音人的设定情感的朗读语音的音色不一致，则舍弃所述目标发音人对所述录音文本的朗读语音。5.根据权利要求1所述的方法，其特征在于，在输出所述录音情感引导信息之前，所述方法还包括：根据录音文本、目标语音情感效果，以及候选发音人的画像信息，从候选发音人中筛选得到目标发音人；其中，候选发音人的画像信息，包括发音人基本信息、发音人人设信息以及发音人发音特点信息；所述发音人基本信息包括性别、年龄、国籍和口音中的至少一项；所述发音人人设信息包括性格、职业和受众中的至少一项；所述发音人发音特点信息包括音色、发音风格、希望的发音角色和/或发音风格、不希望的发音角色和/或发音风格中的至少一项。6.根据权利要求1所述的方法，其特征在于，在根据录音文本以及目标语音情感效果...

【专利技术属性】
技术研发人员：方昕，章子睿，刘晨宁，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：