语音增强方法、装置、存储介质及电子设备制造方法及图纸

本公开涉及一种语音增强方法、装置、存储介质和电子设备，所述方法包括：获取待处理的耳语数据；通过语音增强模型对所述耳语数据进行处理，以得到所述耳语数据对应的声学特征信息，其中，所述语音增强模型包括编码子模型和解码子模型，所述编码子模型用于对所述耳语进行编码，获得目标编码信息，所述解码子模型通过逐步单调注意力机制对所述目标编码信息进行解码，获得所述声学特征信息；根据所述声学特征信息进行语音合成，以得到与所述耳语数据对应的音频信息。由此，可以对耳语数据进行增强，从而可以增加该耳语数据的可懂度，便于用户之间交互和机器识别。并且，可以降低数据处理量，提高语音增强方法的处理效率，进一步提升用户使用体验。

【技术实现步骤摘要】
语音增强方法、装置、存储介质及电子设备
本公开涉及语音合成技术，具体地，涉及一种语音增强方法、装置、存储介质和电子设备。
技术介绍
在禁止大声喧哗的场景下，用户正常语音对话通常会带来一些不方便，因此部分用户会选择采用耳语进行交互。而在该过程中获得的语音数据难以被机器准确识别。同时声带受损的用户发音和耳语音也比较接近，在交互过程中该发音数据的可懂度较低。
技术实现思路
提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。第一方面，本公开提供一种语音增强方法，所述方法包括：获取待处理的耳语数据；通过语音增强模型对所述耳语数据进行处理，以得到所述耳语数据对应的声学特征信息，其中，所述语音增强模型包括编码子模型和解码子模型，所述编码子模型用于对所述耳语进行编码，获得目标编码信息，所述解码子模型通过逐步单调注意力机制对所述目标编码信息进行解码，获得所述声学特征信息；根据所述声学特征信息进行语音合成，以得到与所述耳语数据对应的音频信息。第二方面，本公开提供一种语音增强装置，所述装置包括：第一获取模块，用于获取待处理的耳语数据；处理模块，用于通过语音增强模型对所述耳语数据进行处理，以得到所述耳语数据对应的声学特征信息，其中，所述语音增强模型包括编码子模型和解码子模型，所述编码子模型用于对所述耳语进行编码，获得目标编码信息，所述解码子模型通过逐步单调注意力机制对所述目标编码信息进行解码，获得所述声学特征信息；合成模块，用于根据所述声学特征信息进行语音合成，以得到与所述耳语数据对应的音频信息。第三方面，提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现第一方面所述方法的步骤。第四方面，提供一种电子设备，包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现第一方面所述方法的步骤。在上述技术方案中，可以获取待处理的耳语数据，通过语音增强模型对所述耳语数据进行处理，以得到所述耳语数据对应的声学特征信息，并且，在语音增强模型的解码子模型中通过逐步单调注意力机制对耳语数据对应的目标编码信息进行解码，从而获得所述声学特征信息，并根据所述声学特征信息进行语音合成，以得到与所述耳语数据对应的音频信息。由此，通过上述技术方案，可以对耳语数据进行增强，从而可以增加该耳语数据的可懂度，便于用户之间交互和机器识别。并且，可以有效避免解码子模型进行重复解码，降低数据处理量，提高语音增强方法的处理效率；同时可以保证解码获得的声学特征信息的准确性和有序性，保证真实语音的韵律特征，提高语音增强方法获得音频信息的准确性，提高该音频信息的可懂度，进一步提升用户使用体验。本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。附图说明结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：图1是根据本公开的一种实施方式提供的语音增强方法的流程图；图2是根据本公开的另一种实施方式提供的语音增强方法的流程图；图3是根据本公开的另一种实施方式提供的获取耳语数据对应的演讲者基频信息的实现方式的流程图；图4是根据本公开的一种实施方式提供的语音增强装置的框图；图5是用来实现本公开实施例的电子设备的结构示意图。具体实施方式下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。图1所示，为根据本公开的一种实施方式提供的语音增强方法的流程图，如图1所示，所述方法包括：在步骤11中，获取待处理的耳语数据。其中，该耳语数据为用户发音过程中未涉及声带振动的语音数据。示例地，可以是用户轻声说话或者是声带受损的用户的语音数据。在步骤12中，通过语音增强模型对耳语数据进行处理，以得到耳语数据对应的声学特征信息。其中，所述语音增强模型包括编码子模型和解码子模型，所述编码子模型用于对所述耳语进行编码，获得目标编码信息，所述解码子模型通过逐步单调注意力(stepwisemonotonicattention)机制对所述目标编码信息进行解码，获得所述声学特征信息。示例地，该声学特征信息为用于生成语音的特征信息，如mel谱，声谱等。其中，该语音增强模型可以通过用户的耳语数据和正常语音数据进行训练获得。示例地，可以选择多个用户预先录制样本耳语数据和样本正常语音数据，并提取该样本正常语音数据中的声学特征信息，作为样本声学特征信息，并将该样本耳语数据和样本声学特征信息作为训练样本。示例地，可以将该样本耳语数据输入语音增强模型，通过编码子模型对该样本耳语数据进行编码，以获得该样本耳语数据的声学特征的向量表示，即样本耳语数据的目标编码信息。之后再由解码子模型基于该逐步单调注意力机制对该目标编码信息进行解码从而可以获得该样本耳语数据对应的声学特征信息。其中，在用户发声获得耳语数据时，声带不振动或者声带呈现出不规律的随机性的振动，即在耳语数据中包含的声音特征比较少，且声音能量比较低，则在根据耳语数据对应的序列生成声学特征信息对应的序列时，该序列之间的对齐顺序准确度难以保证。基于此，在该实施例中，解码子模型在对目标编码信息进行解码时，采用逐步单调注意力机制进行解码。在对耳语数据进行输入时，该耳语数本文档来自技高网...

【技术保护点】
1.一种语音增强方法，其特征在于，所述方法包括：/n获取待处理的耳语数据；/n通过语音增强模型对所述耳语数据进行处理，以得到所述耳语数据对应的声学特征信息，其中，所述语音增强模型包括编码子模型和解码子模型，所述编码子模型用于对所述耳语进行编码，获得目标编码信息，所述解码子模型通过逐步单调注意力机制对所述目标编码信息进行解码，获得所述声学特征信息；/n根据所述声学特征信息进行语音合成，以得到与所述耳语数据对应的音频信息。/n

【技术特征摘要】
1.一种语音增强方法，其特征在于，所述方法包括：
获取待处理的耳语数据；
通过语音增强模型对所述耳语数据进行处理，以得到所述耳语数据对应的声学特征信息，其中，所述语音增强模型包括编码子模型和解码子模型，所述编码子模型用于对所述耳语进行编码，获得目标编码信息，所述解码子模型通过逐步单调注意力机制对所述目标编码信息进行解码，获得所述声学特征信息；
根据所述声学特征信息进行语音合成，以得到与所述耳语数据对应的音频信息。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述耳语数据对应的演讲者基频信息；
所述根据所述声学特征信息进行语音合成，以得到与所述耳语数据对应的音频信息，包括：
根据所述声学特征信息和所述演讲者基频信息进行语音合成，以得到与所述耳语数据对应的音频信息。


3.根据权利要求2所述的方法，其特征在于，所述获取所述耳语数据对应的演讲者基频信息，包括：
通过演讲者识别模型对所述耳语数据进行处理，以获得说出所述耳语数据的演讲者的特征信息；
根据所述演讲者的特征信息，确定基频信息数据集中是否存在与所述演讲者对应的基频信息；
若不存在与所述演讲者对应的基频信息，则输出提示信息，其中，所述提示信息用于提示用户录制音频；
在接收到用户录制的音频数据的情况下，从所述音频数据中提取基频信息，并根据所述基频信息确定所述演讲者基频信息。


4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
将确定出的所述演讲者基频信息与所述演讲者的特征信息关联存储至所述基频信息数据集。


5.根据权利要求2所述的方法，其特征在于，所述获取所述耳语数据对应的演讲者基频信息，包括：
通过演讲者识别模型对所述耳语数据进行处理，以获得说出所述耳语数据的演讲者的特征信息；
根据所述演讲者的特征信息预测所述耳语数据对应的基频信息，并根据所述基频信息确定所述演...

【专利技术属性】
技术研发人员：殷翔，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11