关键词检测模型训练和推理方法、电子设备和存储介质技术

技术编号:45846345 阅读:12 留言:0更新日期:2025-07-19 11:08
本申请实施例公开关键词检测模型训练和推理方法、电子设备和存储介质,其中,方法包括:在训练阶段,对文本序列的潜在表示进行随机屏蔽,生成被屏蔽版本;利用所述关键词检测模型使用这个被屏蔽的版本和未被屏蔽的版本一起,通过所述联合网络计算出预测的分布,同时计算所述未被屏蔽的版本的分布,作为自蒸馏学习的教师信号;在推理阶段,所述关键词检测模型支持两种解码模式:自回归解码和非自回归解码,其中,在自回归解码模式下,使用所述预测网络的输出来生成关键词的激活分数,在非自回归解码模式下,屏蔽预测网络的输出,只使用所述编码器和所述联合网络来生成激活分数;将这两种解码模式的激活分数进行融合,得到最终的解码结果。

【技术实现步骤摘要】

本专利技术属于任务型对话,尤其涉及关键词检测模型训练和推理方法、电子设备和存储介质


技术介绍

1、相关技术中,关键词检测技术是从连续的语流中检测预设的关键词是否出现,当唤醒词出现时唤醒设备。关键词检测系统(kws,keyword spotting)旨在检测连续语音中预定义的关键词,而基于关键词的交互前端对于智能设备至关重要。由于计算和内存的限制,设计紧凑而强大的kws模型已成为一个具有挑战性的再搜索课题。凭借自然流能力和卓越的性能,rnn-t在多个研究领域取得了巨大成功,如自动语音识别(asr,automatic speechrecognition)、语音翻译(st,speech translation)和文本到语音(tts,text-to-speech)。基于传感器的kws系统也备受关注。有些技术为rnn-t引入了一个偏差模块,以增强关键词检测。还有些技术利用大量合成和真实语音数据实现了rnn-t kws的高性能。还有一些技术采用多阶段策略来减少误报。还有一些技术(如tdt-kws)为rnn-t kws提出了一种高效的解码算法,利用令牌和持续时间变换器本文档来自技高网...

【技术保护点】

1.一种关键词检测模型训练和推理方法,所述关键词检测模型包括编码器、预测网络和联合网络,所述方法包括:

2.根据权利要求1所述的方法,其中,在训练过程中所述预测网络接收转录信息,而在推理过程中所述预测网络则接收关键词信息。

3.根据权利要求1所述的方法,其中,所述对文本序列的潜在表示进行随机屏蔽,生成一个部分信息被隐藏的版本包括:

4.根据权利要求3所述的方法,其中,利用与所述未被屏蔽的版本相对应的对数来教导所述被屏蔽的版本。

5.根据权利要求1所述的方法,其中,利用自教师-学生学习范式有助于确保屏蔽输出与所述关键词检测模型的输出基本相同,...

【技术特征摘要】

1.一种关键词检测模型训练和推理方法,所述关键词检测模型包括编码器、预测网络和联合网络,所述方法包括:

2.根据权利要求1所述的方法,其中,在训练过程中所述预测网络接收转录信息,而在推理过程中所述预测网络则接收关键词信息。

3.根据权利要求1所述的方法,其中,所述对文本序列的潜在表示进行随机屏蔽,生成一个部分信息被隐藏的版本包括:

4.根据权利要求3所述的方法,其中,利用与所述未被屏蔽的版本相对应的对数来教导所述被屏蔽的版本。

5.根据权利要求1所述的方法,其中,利用自教师-学生学习范式有助于确保屏蔽输出与所述关键词检测模型...

【专利技术属性】
技术研发人员:俞凯奚彧顾笑与李浩宇
申请(专利权)人:思必驰科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1