基于原型的构音障碍语音识别方法技术

本发明专利技术属于语音识别技术领域，更具体地，涉及一种基于原型的构音障碍语音识别方法。该方法包括以下步骤：S1、微调用于特征提取的HuBERT，在构音障碍语音识别任务上对预训练的自监督学习模型HuBERT进行微调，在微调阶段使用CTC损失和监督对比学习损失来有效地指导模型的训练，微调后的HuBERT用作特征提取器；S2、构建每个单词的原型；S3、基于原型的分类。本发明专利技术提供了一种快速有效的方法来提高对未见过的构音障碍说话人的语音识别。本发明专利技术将CTC损失与SCL损失相结合，以训练DSR模型，通过学习更好的特征表示来提高性能。

【技术实现步骤摘要】

本专利技术属于语音识别，更具体地，涉及一种基于原型的构音障碍语音识别方法。

技术介绍

1、构音障碍是一种由多种因素引起的语音障碍，如神经病变、影响语音的肌肉麻痹、肌肉收缩力下降或运动不协调，通常与脑瘫、帕金森病和头部创伤等疾病有关。对于患有这些疾病的人来说，使用键盘或触摸屏的能力有限，这使得语音成为他们与智能手机和智能家居设备等设备最方便的交互方式。然而，构音障碍引起的呼吸、共振、发音和韵律的变化显著降低了在非构音障碍语音上训练的语音识别系统的性能。构音障碍语音识别(dysarthric speech recognition，简称dsr)技术试图解决这个问题，实现构音障碍说话人与数字设备的无缝交互。虽然一些研究专注于开发与说话人无关的(speaker-independent，简称si)dsr模型，但由于构音障碍的病因、年龄、性别、说话方式和严重程度的差异，使每个构音障碍说话人的语音模式不同，当sidsr模型应用于未见过的构音障碍说话人时，会有显著的性能下降。

2、因此，一些研究已经探索了利用来自目标构音障碍说话人的数据来微调dsr模型，以实现个本文档来自技高网...

【技术保护点】

1.基于原型的构音障碍语音识别方法，其特征在于，包括以下步骤：

2.如权利要求1所述的基于原型的构音障碍语音识别方法，其特征在于，所述步骤S1具体包括选择连接主义时间分类损失函数作为主要损失函数；

3.如权利要求1所述的基于原型的构音障碍语音识别方法，其特征在于，所述步骤S2具体包括将未见过的构音障碍说话人所说的不同单词的语音分类为不同的类别，并利用未见过的构音障碍说话人提供的有限数量的语音数据作为支持集，使用微调的HuBERT从支持集中提取语音特征；随后，该实施例对同一单词的特征进行平均，以构建每个单词的原型；这些原型充当各个单词的表示。p>

4.如权利...

【技术特征摘要】

1.基于原型的构音障碍语音识别方法，其特征在于，包括以下步骤：

2.如权利要求1所述的基于原型的构音障碍语音识别方法，其特征在于，所述步骤s1具体包括选择连接主义时间分类损失函数作为主要损失函数；

3.如权利要求1所述的基于原型的构音障碍语音识别方法，其特征在于，所述步骤s2具体包括将未见过的构音障碍说话人所说的不同单词的语音分类为不同的类别，并利用未见过的构音障碍说话人提供的有限数量的语音数据作为支持集，使用微调的...

【专利技术属性】
技术研发人员：秦勇，王诗瑶，赵石顽，周家名，孔奥博，李起成，
申请(专利权)人：南开大学，
类型：发明
国别省市：