解码方法、语音识别设备和系统技术方案

技术编号:24253124 阅读:94 留言:0更新日期:2020-05-23 00:24
提供解码方法、语音识别设备和系统。所述方法基于至少一个先前输入词法单元预测输出词法单元的候选的概率;基于预测的概率在候选中确定输出词法单元;并且通过基于确定的输出词法单元的概率选择输出词法单元和预定义的特殊词法单元中的一个来确定下一输入词法单元。

Decoding method, speech recognition equipment and system

【技术实现步骤摘要】
解码方法、语音识别设备和系统本申请要求于2018年11月14日提交到韩国知识产权局的第10-2018-0139787号韩国专利申请的权益,所述韩国专利申请的全部公开出于所有目的通过引用包含于此。
本申请涉及语音识别的方法和设备。
技术介绍
当接收具有未定义长度的序列作为人工神经网络中的输入时,会生成未定义长度的输出。通常,为了处理这个问题,可实现作为一种序列到序列模型的编码器-解码器人工神经网络模型。例如,一种基于神经网络的先前输出作为输入,针对与构成一个序列的单元对应的每个词法单元连续输出后续的输出,以便使用人工神经网络计算具有未定义长度的输出的方法可被称为自回归解码。
技术实现思路
提供本
技术实现思路
,以简化的形式介绍下面在具体实施方式中进一步描述的构思的选择。本
技术实现思路
不意在确定要求权利的主题的关键特征或必要特征,也不意在用于帮助确定要求权利的主题的范围。在一个总体方面,一种第一神经网络中的处理器实现的解码方法包括:基于至少一个先前输入词法单元预测输出词法单元的候选的概率;基于预测的概率在候选中确定输出词法单元;以及通过基于确定的输出词法单元的概率来选择输出词法单元和预定义的特殊词法单元中的一个来确定下一输入词法单元。特殊词法单元可被确定为下一输入词法单元,基于特殊词法单元预测的下一输出词法单元的候选的可靠性高于基于输出词法单元预测的下一输出词法单元的候选的可靠性。确定输出词法单元的步骤可包括:基于由与第一人工神经网络交互工作的一个或多个第二神经网络预测的候选的概率与由第一人工神经网络预测的候选的概率的组合,从候选选择输出词法单元。神经网络的输入层可包括与每个候选对应的多个节点和与特殊词法单元对应的特殊节点。所述至少一个先前输入词法单元可包括由神经网络先前预测的输出词法单元和特殊词法单元中的至少一个。确定输出词法单元的步骤可包括选择候选中具有最高概率的词法单元。所述方法可以是使用第一神经网络和所述一个或多个第二神经网络的识别方法。确定下一输入词法单元的步骤可包括:将输出词法单元的概率与阈值概率进行比较;当输出词法单元的概率低于所述阈值概率时,选择特殊词法单元作为下一输入词法单元;当输出词法单元的概率高于或等于所述阈值概率时,选择输出词法单元作为下一输入词法单元。预测输出词法单元的候选的概率的步骤可包括:基于所述至少一个先前输入词法单元与输出词法单元之间的关系来预测输出词法单元的候选的概率。所述方法还可包括:基于所述至少一个先前输入词法单元和下一输入词法单元确定下一输出词法单元。所述方法还可包括:屏蔽特殊词法单元以防止除了特殊词法单元以外的词法单元注意到特殊词法单元。所述方法还可包括:当特殊词法单元被确定为下一输入词法单元时,将下一输出词法单元与特殊词法单元之间的关系设置为小于或等于预定值。确定输出词法单元的步骤可包括:确定输出词法单元是否与特殊词法单元相似;以及当输出词法单元与特殊词法单元相似时,将候选中具有第二最高概率的词法单元确定为输出词法单元。在一个总体方面,一种第一神经网络中的处理器实现的解码方法包括:基于至少一个先前输入词法单元,预测输出词法单元的候选的概率;基于由与第一神经网络交互工作的一个或多个第二神经网络预测的候选的概率与由第一神经网络预测的候选的概率的组合,从候选选择输出词法单元;将第一神经网络中的输出词法单元的概率与所述一个或多个第二神经网络中的具有最高的输出词法单元的概率的确定的神经网络中的输出词法单元的概率进行比较;以及通过基于比较的结果选择输出词法单元和预定义的特殊词法单元中的一个来确定第一神经网络中的下一输入词法单元。确定下一输入词法单元的步骤可包括:当第一神经网络中的输出词法单元的概率与所述确定的神经网络中的输出词法单元的概率之间的差大于或等于阈值时,选择特殊词法单元作为第一神经网络的下一输入词法单元;当第一神经网络中的输出词法单元的概率与所述确定的神经网络中的输出词法单元的概率之间的差小于所述阈值时,选择输出词法单元作为第一神经网络的下一输入词法单元。第一神经网络中的输出词法单元的概率与所述确定的神经网络中的输出词法单元的概率之间的差大于或等于所述阈值,基于特殊词法单元预测的下一输出词法单元的候选的可靠性高于通过输出词法单元预测的下一输出词法单元的候选的可靠性。神经网络的输入层可包括与每个候选对应的多个节点和与特殊词法单元对应的特殊节点。所述至少一个先前输入词法单元可包括由人工神经网络先前预测的输出词法单元和特殊词法单元中的至少一个。预测输出词法单元的候选的概率的步骤可包括:基于所述至少一个先前输入词法单元与输出词法单元之间的关系来预测输出词法单元的候选的概率。所述方法可包括:基于所述至少一个先前输入词法单元和下一输入词法单元确定下一输出词法单元。所述方法可包括:屏蔽特殊词法单元以防止除了特殊词法单元以外的词法单元注意到特殊词法单元。所述方法可包括:当特殊词法单元被确定为下一输入词法单元时,将下一输出词法单元与特殊词法单元之间的关系设置为小于或等于预定值。确定输出词法单元的步骤可包括:确定输出词法单元是否与特殊词法单元相似;以及当输出词法单元与特殊词法单元相似时,将候选中具有第二最高概率的词法单元确定为输出词法单元。在一个总体方面,一种语音识别设备包括:一个或多个处理器,被配置为:至少实现包括一个或多个处理器的第一神经网络,所述一个或多个处理器被配置为基于输入的至少一个先前输入词法单元预测输出词法单元的候选的概率;基于预测的概率在候选中确定输出词法单元;以及通过基于输出词法单元的确定的概率选择输出词法单元和预定义的特殊词法单元中的一个来确定下一输入词法单元。当特殊词法单元被确定为下一输入词法单元时,基于特殊词法单元预测的下一输出词法单元的候选的可靠性可高于基于输出词法单元预测的下一输出词法单元的候选的可靠性。神经网络的输入层可包括与多个候选中的每个对应的多个节点和与特殊词法单元对应的特殊节点。所述至少一个先前输入词法单元可包括由神经网络先前预测的输出词法单元和特殊词法单元中的至少一个。所述一个或多个处理器可被配置为:选择候选中具有最高概率的词法单元。所述一个或多个处理器还可被配置为:实现一个或多个第二神经网络,其中,所述一个或多个处理器还被配置为:基于由与第一神经网络交互工作的第二神经网络预测的候选的概率与由第一神经网络预测的候选的概率的组合,从候选选择输出词法单元。所述一个或多个处理器还可被配置为:将输出词法单元的概率与阈值概率进行比较;当输出词法单元的概率低于所述阈值概率时,选择特殊词法单元作为下一输入词法单元;当输出词法单元的概率高于或等于所述阈值概率时,选择输出词法单元作为下一输入词法单元。所述一个或多个处理器还可被配置为:基于所述至少一个先前输入词法单元与输出词法单元之间的关系来预测输出词法单元的候选的概率。所述一个或多个处理本文档来自技高网...

【技术保护点】
1.一种第一神经网络中的处理器实现的解码方法,所述解码方法包括:/n基于至少一个先前输入词法单元,预测输出词法单元的候选的概率;/n基于预测的概率在候选中确定输出词法单元;以及/n通过基于确定的输出词法单元的概率选择输出词法单元和预定义的特殊词法单元中的一个来确定下一输入词法单元。/n

【技术特征摘要】
20181114 KR 10-2018-01397871.一种第一神经网络中的处理器实现的解码方法,所述解码方法包括:
基于至少一个先前输入词法单元,预测输出词法单元的候选的概率;
基于预测的概率在候选中确定输出词法单元;以及
通过基于确定的输出词法单元的概率选择输出词法单元和预定义的特殊词法单元中的一个来确定下一输入词法单元。


2.根据权利要求1所述的解码方法,其中,当特殊词法单元被确定为下一输入词法单元时,基于特殊词法单元预测的下一输出词法单元的候选的可靠性高于基于输出词法单元预测的下一输出词法单元的候选的可靠性。


3.根据权利要求2所述的解码方法,其中,确定输出词法单元的步骤包括:
基于由与第一神经网络交互工作的一个或多个第二神经网络预测的候选的概率与由第一神经网络预测的候选的概率的组合,从候选选择输出词法单元。


4.根据权利要求1所述的解码方法,其中,第一神经网络的输入层包括与每个候选对应的多个节点和与特殊词法单元对应的特殊节点。


5.根据权利要求1所述的解码方法,其中,所述至少一个先前输入词法单元包括由第一神经网络先前预测的输出词法单元和特殊词法单元中的至少一个。


6.根据权利要求1所述的解码方法,其中,确定输出词法单元的步骤包括:
选择候选中具有最高概率的词法单元。


7.根据权利要求3所述的解码方法,其中,所述方法是使用第一神经网络和所述一个或多个第二神经网络的识别方法。


8.根据权利要求1所述的解码方法,其中,确定下一输入词法单元的步骤包括:
将输出词法单元的概率与阈值概率进行比较;
当输出词法单元的概率低于所述阈值概率时,选择特殊词法单元作为下一输入词法单元;以及
当输出词法单元的概率高于或等于所述阈值概率时,选择输出词法单元作为下一输入词法单元。


9.根据权利要求1所述的解码方法,其中,预测输出词法单元的候选的概率的步骤包括:
基于所述至少一个先前输入词法单元与输出词法单元之间的关系来预测输出词法单元的候选的概率。


10.根据权利要求1所述的解码方法,还包括:
基于所述至少一个先前输入词法单元和下一输入词法单元确定下一输出词法单元。


11.根据权利要求2所述的解码方法,还包括:
屏蔽特殊词法单元以防止特殊词法单元以外的词法单元注意到特殊词法单元。


12.根据权利要求1所述的解码方法,还包括:
当特殊词法单元被确定为下一输入词法单元时,将下一输出词法单元与特殊词法单元之间的关系设置为小于或等于预定值。


13.根据权利要求1所述的解码方法,其中,确定输出词法单元的步骤包括:
确定输出词法单元是否与特殊词法单元相同;以及
当输出词法单元与特殊词法单元相同时,将候选中具有第二最高概率的词法单元确定为输出词法单元。


14.一种第一神经网络中的处理器实现的解码方法,所述解码方法包括:
基于至少一个先前输入词法单元,预测输出词法单元的候选的概率;
基于由与第一神经网络交互工作的一个或多个第二神经网络预测的候选的概率与由第一神经网络预测的候选的概率的组合,从候选选择输出词法单元;
将第一神经网络中的输出词法单元的概率与所述一个或多个第二神经网络中具有最高的输出词法单元的概率的确定的神经网络中的输出词法单元的概率进行比较;以及
通过基于比较的结果选择输出词法单元和预定义的特殊词法单元中的一个来确定第一神经网络中的下一输入词法单元。


15.根据权利要求14所述的解码方法,其中,确定下一输入词法单元的步骤包括:
当第一神经网络中的输出词法单元的概率与所述确定的神经网络中的输出词法单元的概率之间的差大于或等于阈值时,选择特殊词法单元作为第一神经网络的下一输入词法单元;以及
当第一神经网络中的输出词法单元的概率与所述确定的神经网络中的输出词法单元的概率之间的差小于所述阈值时,选择输出词法单元作为第一神经网络的下一输入词法单元。


16.根据权利要求15所述的解码方法,其中,当第一神经网络中的输出词法单元的概率与所述确定的神经网络中的输出词法单元的概率之间的差大于或等于所述阈值时,基于特殊词法单元预测的下一输出词法单元的候选的可靠性高于通过输出词法单元预测的下一输出词法单元的候选的可靠性。


17.根据权利要求14所述的解码方法,其中,第一神经网络的输入层包括与每个候选对应的多个节点和与特殊词法单元对应的特殊节点。


18.根据权利要求14所述的解码方法,其中,所述至少一个先前输入词法单元包括由所述人工神经网络先前预测的输出词法单元和特殊词法单元中的至少一个。


19.根据权利要求14所述的解码方法,其中,预测输出词法单元的候选的概率的步骤包括:
基于所述至少一个先前输入词法单元与输出词法单元之间的关系来预测输出词法单元的候选的概率。


20.根据权利要求14所述的解码方法,还包括:
基于所述至少一个先前输入词法单元和下一输入词法单元确定下一输出词法单元。


21.根据权利要求14所述的解码方法,还包括:
屏蔽特殊词法单元以防止特殊词法单元以外的词法单元注意到特殊词法单元。


22.根据权利要求14所述的解码方法,还包括:
当特殊词法单元被确定为下一输入词法单元时,将下一输出词法单元与特...

【专利技术属性】
技术研发人员:李敏重
申请(专利权)人:三星电子株式会社
类型:发明
国别省市:韩国;KR

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1