语音识别模型自训练方法及系统技术方案

本发明专利技术实施例提供一种语音识别模型自训练的方法。该方法包括：利用合成音频数据和当前上传的用户音频数据，对语音识别模型进行自训练，其中，合成音频数据由已存储的文本和参数化的声学环境信息生成，在自训练后，不存储用户音频数据。本发明专利技术实施例还提供一种语音识别模型自训练的系统。本发明专利技术实施例提升了声学模型自训练的效果；使得声学模型在进行自训练时不需要存储通用数据也可以取得既在客户目标场景上取得识别准确率提升，又能保持通用识别效果。保障了数据安全性。可以持续进行增量学习，用户不必每次都将以往所有的数据用于训练，减少了每次的训练耗时，优化用户的产品体验。

【技术实现步骤摘要】
语音识别模型自训练方法及系统
本专利技术涉及声学模型领域，尤其涉及一种语音识别模型自训练的方法及系统。
技术介绍
声学模型自训练技术是指：通过将声学模型的优化训练能力以界面化或者接口的方式开放给用户(使用者)，使得用户能够利用自己的已完成标注的数据进行声学模型的调优。自训练通常是通过提供平台或接口，让用户具有自主优化语音识别模型中声学模型的能力，用户只需要按要求上传待优化场景的语音和对应标注文本，即可自主完成模型的优化。在实现本专利技术过程中，专利技术人发现相关技术中至少存在如下问题：1、灾难性遗忘：现有的声学模型自训练技术一般为利用用户上传的目标场景数据在一个用大量数据训练的模型上(如10万小时)进行调整性训练，由于声学模型所采用的深度神经网络存在灾难性遗忘(catastrophicforgetting)问题，会导致虽然在用户期望优化的某一场景上识别准确率一般取得了提升，但是在包括通用场景在内的其它场景上会造成识别准确率的下降，模型的可扩展性大大降低，阻碍业务扩展。2、训练耗时严重，数据安全存在隐患：声学模型通常使用深度神经网络建模，其建模复杂度高，通常都要使用如GPU等并行加速算力进行支持，模型训练的耗时与用于训练的数据量一般呈线性增长关系。现有技术中在利用用户数据进行调整性训练时，一般需要将用户过往上传的音频和对应标注都使用起来进行训练，一方面训练的速度不够快，用户需要等很久才能完成声学模型的训练，另一方面在一些对数据保密和数据存活周期极为严格的领域，存在安全隐患。总的来说，由于声学模型所采用的深度神经网络存在灾难性遗忘(catastrophicforgetting)问题，而通常由于数据安全性问题，尤其是在私有化部署中，调整性学习不能获得除客户优化数据以外的数据，造成在用户期望优化的场景上识别准确率一般取得了提升，但是在包括通用场景在内的其它场景上会造成识别准确率的下降，模型的可扩展性大大降低，阻碍业务扩展。同时由于神经网络的这一特性，使得通常都需要用全部的用户数据进行调整性训练才能取得最好的结果，这一方面会增加训练耗时，另一方面在数据存储和安全性方面带来不便。
技术实现思路
为了至少解决现有技术中声学模型自训练会出现灾难性遗忘，训练耗时严重，数据安全存在隐患的问题。第一方面，本专利技术实施例提供一种语音识别模型自训练的方法，包括：利用合成音频数据和当前上传的用户音频数据，对语音识别模型进行自训练，其中，所述合成音频数据由已存储的文本和参数化的声学环境信息生成，在自训练后，不存储所述用户音频数据。第二方面，本专利技术实施例提供一种语音识别模型自训练的系统，包括：自训练程序模块，用于利用合成音频数据和当前上传的用户音频数据，对语音识别模型进行自训练，其中，所述合成音频数据由已存储的文本和参数化的声学环境信息生成，在自训练后，不存储所述用户音频数据。第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例的语音识别模型自训练方法的步骤。第四方面，本专利技术实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本专利技术任一实施例的语音识别模型自训练方法的步骤。本专利技术实施例的有益效果在于：提升了声学模型自训练的效果；使得声学模型在进行自训练时不需要存储通用数据也可以取得既在客户目标场景上取得识别准确率提升，又能保持通用识别效果。保障了数据安全性。可以持续进行增量学习，用户不必每次都将以往所有的数据用于训练，减少了每次的训练耗时，优化用户的产品体验。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例提供的一种语音识别模型自训练的方法的流程图；图2是本专利技术一实施例提供的一种语音识别模型自训练的方法的数据海绵系统框图；图3是本专利技术一实施例提供的一种语音识别模型自训练的方法的用户自训练框图；图4是本专利技术一实施例提供的一种语音识别模型自训练的系统的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示为本专利技术一实施例提供的一种语音识别模型自训练的方法的流程图，包括如下步骤：S11：利用合成音频数据和当前上传的用户音频数据，对语音识别模型进行自训练，其中，所述合成音频数据由已存储的文本和参数化的声学环境信息生成，在自训练后，不存储所述用户音频数据。在本实施方式中考虑到在解决自训练面对的“灾难性遗忘”问题的同时，还要不引入数据安全性风险。不同于“加密存储部分通用数据，并在声学模型自训练阶段与客户数据进行混合”这种方法。对于步骤S11，使用已存储的文本和参数化的声学环境信息来生成合成音频，这样避免了数据的存储。通过引入参数化的声学环境信息，在合成时可以生成同一参数限定性下的多条合成音频，可以增加模拟生成数据的泛化能力，提升自训练效果。在解决不能获取通用数据造成识别率下降的问题的同时，也避免由于需要将部分通用数据提供给用户而带来数据安全的问题。作为一种实施方式，参数化的声学环境信息包括：i-vector矢量，用于表示说话人、噪声环境、语速的信息。参数化的声学环境信息可以通过对音频提取i-vector矢量，通过i-vector矢量中的参数信息，提取出说话人信息、噪声环境信息、语速信息。在i-vector矢量对应的空间中，可以使用全局差异空间，其包含了说话人之间的差异，又包含了环境中信道的差异。有了合成音频数据(可以是通用合成音频，也可以是用户历史自训练过程中存储的文本和参数化的声学环境信息合成的用于迭代增量的音频数据)，以及用户当前上传的新的音频数据(也就是用户为了自训练自己蕾西的新的音频数据)，通过这两部分的数据来对语音识别模型自训练。在训练后不存储所述用户音频数据。这样，由于在自训练过程中，用户无需存储原始音频数据的原始音频或特征，保证了平台端通用数据安全。用户所操作的平台，也无需一定存储用户上传的音频数据，避免了平台端音频丢失，保证了用户上传音频的数据安全。通过该实施方式可以看出，在语音识别模型自训练中，使用合成语音来避免，训练过程中对语音数据的存储，保证了语音识别模型自训练中数据的安全性。作为一种实施方式，在本实本文档来自技高网...

【技术保护点】
1.一种语音识别模型自训练的方法，包括：/n利用合成音频数据和当前上传的用户音频数据，对语音识别模型进行自训练，其中，所述合成音频数据由已存储的文本和参数化的声学环境信息生成，/n在自训练后，不存储所述用户音频数据。/n

【技术特征摘要】
1.一种语音识别模型自训练的方法，包括：
利用合成音频数据和当前上传的用户音频数据，对语音识别模型进行自训练，其中，所述合成音频数据由已存储的文本和参数化的声学环境信息生成，
在自训练后，不存储所述用户音频数据。


2.根据权利要求1所述的方法，其中，所述自训练为增量自训练。


3.根据权利要求1所述的方法，其中，在所述自训练后，所述方法还包括：将所述用户音频数据转化为文本和参数化的声学环境信息进行存储。


4.根据权利要求1所述的方法，其中，所述已存储的文本和参数化的声学环境信息还包括通用的文本和通用的参数化的声学环境信息。


5.根据权利要求1所述的方法，其中，所述合成音频数据由已存储的文本和参数化的声学环境信息输入至数据海绵模型生成的。


6.根据权利要求5所述的方法，其中，所述数据海绵模型的训练过程包括：
提取训练音频中的声学环境参数；
通过所述声学环境参数、所述训练音频、所...

【专利技术属性】
技术研发人员：薛少飞，
申请(专利权)人：苏州思必驰信息科技有限公司，
类型：发明
国别省市：江苏;32