语音识别方法及装置、介质和设备制造方法及图纸

本公开涉及语音识别技术领域，提供了一种语音识别方法及装置，以及计算机存储介质和电子设备。其中，该方法包括：将待识别语音输入至语音识别模型，获取语音识别模型的编码器的编码隐状态序列，和获取语音识别模型的编码器的解码隐状态序列；对于解码器在第t时间步的输出特征，在编码隐状态序列中确定至少一个目标编码隐状态；根据第t‑1时间步的解码隐状态和目标编码隐状态计算注意力分配概率，其中，t为大于1的整数；根据注意力分配概率确定第t时间步的输出特征，以根据输出特征得到待识别语音对应的目标语音。本技术方案够使得语音识别模型实现在线解码。

Speech recognition methods and devices, media and equipment

【技术实现步骤摘要】
语音识别方法及装置、介质和设备
本公开涉及人工智能
，具体而言，涉及一种语音识别方法及装置，以及实现上述语音识别方法的计算机存储介质和电子设备。
技术介绍
随着人工智能技术的迅速发展，基于人工智能的语音识别技术也不断成熟起来。语音识别技术有利于提升人们的生活品质，例如，语音识别技术使得人机交互界面更加人性化，语音识别技术提供智能问答机器人等。相关技术中，采用基于隐马尔科夫模型(HiddenMarkovModel，简称：HMM)的语音识别模型进行语音识别，HHM用于语素时序建模。其中，HMM自身存在一个强假设，即当前时刻的状态只取决于前一时刻的状态。在语音识别过程中。因此，基于HHM的语音识别模型中，当前时刻的语素状态只取决于前一时刻的语素状态。从而，基于相关技术提供的语音识别模型进行长句识别时，其识别效率有待提升。需要说明的是，上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解。
技术实现思路
本公开的目的在于提供一种语音识别方法及装置，以及实现上述语音识别方法的计算机存储介质和电子设备，进而至少在一定程度上提升语言识别模型识别的识别效率。本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。根据本公开的一个方面，提供一种语音识别方法，包括：将待识别语音输入至语音识别模型，获取上述语音识别模型的编码器的编码隐状态序列，和获取上述语音识别模型的编码器的解码隐状态序列；对于上述解码器在第t时间步的输出特征，在上述编码隐状态序列中确定至少一个目标编码隐状态；根据第t-1时间步的解码隐状态和上述目标编码隐状态计算注意力分配概率，其中，t为大于1的整数；以及，根据上述注意力分配概率确定上述第t时间步的输出特征，以根据上述输出特征得到上述待识别语音对应的目标语音。在本公开的一些实施例中，基于前述方案，上述对于上述解码器在第t时间步的输出特征，在上述编码隐状态序列中确定至少一个目标编码隐状态，包括：对于上述解码器在第t-1时间步的输出特征，在上述编码隐状态序列中确定第i个编码隐状态为第一源隐状态；基于上述第一源隐状态确定第一窗口，将上述第一窗口内的编码隐状态作为上述第t-1时间步的输出特征对应的目标编码隐状态；对于上述解码器在上述第t时间步的输出特征，在上述编码隐状态序列中确定第j个编码隐状态为第二源隐状态；以及，基于上述第二源隐状态确定第二窗口，将上述第二窗口内的编码隐状态作为上述第t时间步的输出特征对应的目标编码隐状态，其中，j大于等于i。在本公开的一些实施例中，基于前述方案，上述根据第t-1时间步的解码隐状态和上述目标编码隐状态计算注意力分配概率，包括：将n1维的上述第t-1时间步的解码隐状态分为k份，以及将n2维的上述目标编码隐状态分为k份，得到k组向量集，每组向量集包含：n1/k份第t-1时间步的解码隐状态和n2/k份目标编码隐状态；并行计算上述k组向量集的关联度，得到k个关联度值；以及，根据上述k个关联度值确定上述第t时间步的输出特征对应的注意力分配概率，其中，n1、n2为正整数，k为大于1的整数。在本公开的一些实施例中，基于前述方案，上述并行计算上述k组向量集的关联度，包括：基于相同的模型参数计算每组向量集的关联度。在本公开的一些实施例中，基于前述方案，上述根据上述k个关联度值确定上述第t时间步的输出特征对应的注意力分配概率，包括：计算上述k个关联度值的平均值，并通过激活函数将上述平均值映射为上述注意力分配概率。在本公开的一些实施例中，基于前述方案，上述根据上述注意力分配概率确定上述第t时间步的输出特征，包括：根据上述目标编码隐状态和上述注意力分配概率计算目标语义特征；以及，根据上述目标语义特征和上述第t-1时间步的解码隐状态确定上述第t时间步的输出特征。在本公开的一些实施例中，基于前述方案，上述一种语音识别方法还包括：通过数据增强算法处理上述语音识别模型的训练样本的频谱图；以及，根据处理后的频谱图训练训练上述语音识别模型。根据本公开的一个方面，提供一种语音识别装置，包括：隐状态序列获取模块、目标编码隐状态确定模块、注意力分配概率计算模块，以及目标语音确定模块。上述隐状态序列获取模块，被配置为：将待识别语音输入至语音识别模型，获取上述语音识别模型的编码器的编码隐状态序列，和获取上述语音识别模型的编码器的解码隐状态序列；上述目标编码隐状态确定模块，被配置为：对于上述解码器在第t时间步的输出特征，在上述编码隐状态序列中确定至少一个目标编码隐状态；上述注意力分配概率计算模块，被配置为：根据第t-1时间步的解码隐状态和上述目标编码隐状态计算注意力分配概率，其中，t为大于1的整数；以及，上述目标语音确定模块，被配置为：根据上述注意力分配概率确定上述第t时间步的输出特征，以根据上述输出特征得到上述待识别语音对应的目标语音。在本公开的一些实施例中，基于前述方案，上述目标编码隐状态确定模块，包括：第一原状态确定子模块、窗口确定子模块，以及第二原状态确定子模块。其中：上述第一原状态确定子模块，被配置为：对于上述解码器在第t-1时间步的输出特征，在上述编码隐状态序列中确定第i个编码隐状态为第一源隐状态；上述窗口确定子模块，被配置为：基于上述第一源隐状态确定第一窗口，将上述第一窗口内的编码隐状态作为上述第t-1时间步的输出特征对应的目标编码隐状态；上述第二原状态确定子模块，被配置为：对于上述解码器在上述第t时间步的输出特征，在上述编码隐状态序列中确定第j个编码隐状态为第二源隐状态；以及，上述窗口确定子模块，还被配置为：基于上述第二源隐状态确定第二窗口，将上述第二窗口内的编码隐状态作为上述第t时间步的输出特征对应的目标编码隐状态，其中，j大于等于i。在本公开的一些实施例中，基于前述方案，上述注意力分配概率计算模块，包括：向量集确定子模块、并行计算子模块，以及注意力分配概率确定子模块。其中：上述向量集确定子模块，被配置为：将n1维的上述第t-1时间步的解码隐状态分为k份，以及将n2维的上述目标编码隐状态分为k份，得到k组向量集，每组向量集包含：n1/k份第t-1时间步的解码隐状态和n2/k份目标编码隐状态；上述并行计算子模块，被配置为：并行计算上述k组向量集的关联度，得到k个关联度值；以及，上述注意力分配概率确定子模块，被配置为：根据上述k个关联度值确定上述第t时间步的输出特征对应的注意力分配概率，其中，n1、n2为正整数，k为大于1的整数。在本公开的一些实施例中，基于前述方案，上述并行计算子模块，被具体配置为：基于相同的模型参数计算每组向量集的关联度。在本公开的一些实施例中，基于前述方案，上述注意力分配概率确定子模块，被具体配置为：计算上述k个关联度值的平均值，并通过激活函数将上述平均值映射为上述注意力分配概率。在本公开的一些实施例中，基于前述方案，上述目标语音确定模块，包括：语义向量计算子模块和输出特征确本文档来自技高网...

【技术保护点】
1.一种语音识别方法，其特征在于，所述方法包括：/n将待识别语音输入至语音识别模型，获取所述语音识别模型的编码器的编码隐状态序列，和获取所述语音识别模型的编码器的解码隐状态序列；/n对于所述解码器在第t时间步的输出特征，在所述编码隐状态序列中确定至少一个目标编码隐状态；/n根据第t-1时间步的解码隐状态和所述目标编码隐状态计算注意力分配概率，其中，t为大于1的整数；/n根据所述注意力分配概率确定所述第t时间步的输出特征，以根据所述输出特征得到所述待识别语音对应的目标语音。/n

【技术特征摘要】
1.一种语音识别方法，其特征在于，所述方法包括：
将待识别语音输入至语音识别模型，获取所述语音识别模型的编码器的编码隐状态序列，和获取所述语音识别模型的编码器的解码隐状态序列；
对于所述解码器在第t时间步的输出特征，在所述编码隐状态序列中确定至少一个目标编码隐状态；
根据第t-1时间步的解码隐状态和所述目标编码隐状态计算注意力分配概率，其中，t为大于1的整数；
根据所述注意力分配概率确定所述第t时间步的输出特征，以根据所述输出特征得到所述待识别语音对应的目标语音。


2.根据权利要求1所述的语音识别方法，其特征在于，所述对于所述解码器在第t时间步的输出特征，在所述编码隐状态序列中确定至少一个目标编码隐状态，包括：
对于所述解码器在第t-1时间步的输出特征，在所述编码隐状态序列中确定第i个编码隐状态为第一源隐状态；
基于所述第一源隐状态确定第一窗口，将所述第一窗口内的编码隐状态作为所述第t-1时间步的输出特征对应的目标编码隐状态；
对于所述解码器在所述第t时间步的输出特征，在所述编码隐状态序列中确定第j个编码隐状态为第二源隐状态；
基于所述第二源隐状态确定第二窗口，将所述第二窗口内的编码隐状态作为所述第t时间步的输出特征对应的目标编码隐状态，其中，j大于等于i。


3.根据权利要求1或2所述的语音识别方法，其特征在于，所述根据第t-1时间步的解码隐状态和所述目标编码隐状态计算注意力分配概率，包括：
将n1维的所述第t-1时间步的解码隐状态分为k份，以及将n2维的所述目标编码隐状态分为k份，得到k组向量集，每组向量集包含：份第t-1时间步的解码隐状态和份目标编码隐状态；
并行计算所述k组向量集的关联度，得到k个关联度值；
根据所述k个关联度值确定所述第t时间步的输出特征对应的注意力分配概率，其中，n1、n2为正整数，k为大于1的整数。


4.根据权利要求3所述的语音识别方法，其特征在于，所述并行计算所述k组向量集的关联度，包括：
基于相同的模型参数计算每组向量集的...

【专利技术属性】
技术研发人员：刘柏基，曹松军，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44