语音纠正方法及装置、计算机存储介质及终端制造方法及图纸

技术编号:38616476 阅读:11 留言:0更新日期:2023-08-26 23:44
本申请提供了一种语音纠正方法及装置、介质及终端,涉及语音识别技术领域。该方法包括:将待测语音输入至语音识别模型,根据语音识别模型的输出确定待测语音对应的待测音标以及待测音标对应的发音标签,发音标签为发音准确或所存在的第k发音问题;在待测音标对应的发音标签为所存在的第k发音问题的情况下,确定第k发音问题对应的解决策略;输出第k发音问题和第k发音问题对应的解决策略,第k发音问题对应的解决策略为解决第k发音问题的对策。本技术方案能够于错误数据收集,分析出常见的口语发音错误,通过语音识别模型自动识别出在学生练习口语的过程中发音错误的原因,并自动提示正确的发音口型,辅助口语的学习,提高准确率与学习效率。与学习效率。与学习效率。

【技术实现步骤摘要】
语音纠正方法及装置、计算机存储介质及终端


[0001]本申请涉及语音识别
,尤其涉及一种语音纠正方法及装置、计算机可读存储介质及终端。

技术介绍

[0002]在外语的学习过程中,口语是最重要、也是最基础的部分。在口语的训练中,可能会存在难以把握正确发音的情况,又无专业人士进行指导,会导致口语学习的不便。而通过线上语音纠正的技术,使用移动设备便可进行口语的纠正与学习。
[0003]需要说明的是,在上述
技术介绍
部分公开的信息仅用于加强对本申请的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0004]本申请的目的在于提供一种语音纠正方法及装置、计算机可读存储介质及终端,至少一定程度上提高口语学习的效率。
[0005]本申请的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本申请的实践而习得。
[0006]根据本申请的第一个方面,提供一种语音纠正方法,上述方法包括:将待测语音输入至语音识别模型,根据上述语音识别模型的输出确定上述待测语音对应的待测音标以及上述待测音标对应的发音标签,上述发音标签为发音准确或所存在的第k发音问题,k为正整数;在上述待测音标对应的发音标签为所存在的第k发音问题的情况下,确定上述第k发音问题对应的解决策略;输出上述第k发音问题和上述第k发音问题对应的解决策略,上述第k发音问题对应的解决策略为解决上述第k发音问题的对策。
[0007]在本申请一个实施例中,上述确定M个特征对应的第一向量,包括:将上述M个特征中的第i特征输入共享嵌入层,得到上述第i特征对应的第i向量,其中,i取值为1至M的每一个正整数;通过上述共享嵌入层将每个上述第i向量进行合并,得到上述M个特征对应的第一向量。
[0008]在本申请一个实施例中,上述方法还包括:对上述语音识别模型的训练;上述对上述语音识别模型的训练,包括:获取N个训练样本,其中,第i训练样本为根据第i语音确定的第i标注数据,N为正整数,i为小于等于N的正整数;对上述第i标注数据进行特征提取,得到M个语音特征向量,其中,M为正整数;将上述M个语音特征向量输入语音识别模型,以通过上述语音识别模型对每个语音特征向量进行语音识别处理,得到上述语音识别模型输出的M个音标向量;根据上述M个音标向量和上述M个语音特征向量,确定上述第i训练样本对应的损失函数;根据上述损失函数优化上述语音识别模型的参数。
[0009]在本申请一个实施例中,上述根据第i语音确定的第i标注数据,包括:根据上述第i语音,确定上述第i语音中每个音标的发音标签,得到上述第i语音对应的第i标注数据。
[0010]在本申请一个实施例中,上述根据上述M个音标向量和上述M个语音特征向量,确
定上述第i训练样本对应的损失函数,包括:通过上述第m特征向量和上述第m音标向量确定第m概率;根据上述第m音标向量和上述第m概率确定第m损失函数。
[0011]在本申请一个实施例中,上述第m概率的计算方法为:P(X,Y)=ln(Σp(y
m
|x
m
)),其中,P(X,Y)为上述第m概率,X为上述M个特征向量,Y为上述M个音标向量,y
m
为上述第m音标向量,x
m
为上述第m特征向量,p(y
m
|x
m
)为在上述第m特征向量的条件下上述第m音标向量出现的概率值。
[0012]在本申请一个实施例中,上述第m损失函数的计算方法为:L
m


y
m
log(p
m
)

(1

y
m
)log(1

p
m
),其中,L
m
为上述第m损失函数,y
m
为上述第m音标向量,p
m
为上述第m概率。
[0013]在本申请一个实施例中,上述语音识别模型包括:频谱增强层、卷积采样层、线性层、防过拟合层以及卷积增强层;其中,上述频谱增强层用于,对上述M个特征向量进行随机掩蔽处理,得到第一输出;上述卷积采样层用于,对上述第一输出进行卷积处理,得到第二输出;上述线性层用于,对上述第二输出进行线性变换处理,得到第三输出;上述防过拟合层用于,对上述第三输出进行随机的特征丢弃,得到第四输出;上述卷积增强层用于,对上述第四输出进行卷积增强处理,得到上述M个音标向量。
[0014]根据本申请的第二个方面,提供一种语音纠正装置,上述装置包括:识别模块,用于:将待测语音输入至语音识别模型,根据上述语音识别模型的输出确定上述待测语音对应的待测音标以及上述待测音标对应的发音标签,上述发音标签为发音准确或所存在的第k发音,k为正整数;确定模块,用于:在上述待测音标对应的发音标签为所存在的第k发音问题的情况下,确定上述第k发音问题对应的解决策略;输出模块,用于:输出上述第k发音问题和上述第k发音问题对应的解决策略,上述第k发音问题对应的解决策略为解决上述第k发音问题的对策。
[0015]根据本申请的第三个方面,提供一种终端,包括:存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序,上述处理器执行上述计算机程序时实现上述第一个方面所述的语音纠正方法。
[0016]根据本申请的第四个方面,提供一种计算机可读存储介质,其上存储有计算机程序,上述计算机程序被处理器执行时实现上述第一个方面所述的语音纠正方法。
[0017]本申请的实施例所提供的语音纠正方法及装置、计算机可读存储介质及终端,具备以下技术效果:
[0018]在本申请实施例提供的语音纠正过程中,将待测语音输入至语音识别模型后,可以根据语音识别模型的输出来确定待测语音对应的待测音标以及待测音标对应的发音标签。其中,发音标签为发音准确或所存在的第k发音问题。在待测音标对应的发音标签为所存在的第k发音问题的情况下,确定第k发音问题对应的解决策略,并输出第k发音问题和第k发音问题对应的解决策略,第k发音问题对应的解决策略为解决第k发音问题的对策。本技术方案能够于错误数据收集,分析出常见的口语发音错误,通过语音识别模型可自动识别出在学生练习口语的过程中发音错误的原因,并自动提示正确的发音口型,能够辅助口语的学习,从而用户可以通过自纠的方式来提高准确率与学习效率。
[0019]应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
[0020]此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0021]图1示出了本申请一示例性的实施例提供的语音纠正方法的流程图;
...

【技术保护点】

【技术特征摘要】
1.一种语音纠正方法,其特征在于,包括:将待测语音输入至语音识别模型,根据所述语音识别模型的输出确定所述待测语音对应的待测音标以及所述待测音标对应的发音标签,所述发音标签为发音准确或所存在的第k发音问题,k为正整数;在所述待测音标对应的发音标签为所存在的第k发音问题的情况下,确定所述第k发音问题对应的解决策略;输出所述第k发音问题和所述第k发音问题对应的解决策略,所述第k发音问题对应的解决策略为解决所述第k发音问题的对策。2.根据权利要求1所述的语音纠正方法,其特征在于,所述方法还包括:对所述语音识别模型的训练;所述对所述语音识别模型的训练,包括:获取N个训练样本,其中,第i训练样本为根据第i语音确定的第i标注数据,N为正整数,i为小于等于N的正整数;对所述第i标注数据进行特征提取,得到M个语音特征向量,其中,M为正整数;将所述M个语音特征向量输入语音识别模型,以通过所述语音识别模型对每个语音特征向量进行语音识别处理,得到所述语音识别模型输出的M个音标向量;根据所述M个音标向量和所述M个语音特征向量,确定所述第i训练样本对应的损失函数;根据所述损失函数优化所述语音识别模型的参数。3.根据权利要求2所述的语音纠正方法,其特征在于,所述根据第i语音确定的第i标注数据,包括:根据所述第i语音,确定所述第i语音中每个音标的发音标签,得到所述第i语音对应的第i标注数据。4.根据权利要求2所述的语音纠正方法,其特征在于,所述根据所述M个音标向量和所述M个语音特征向量,确定所述第i训练样本对应的损失函数,包括:通过所述第m特征向量和所述第m音标向量确定第m概率;根据所述第m音标向量和所述第m概率确定第m损失函数。5.根据权利要求4所述的语音纠正方法,其特征在于,所述第m概率的计算方法为:P(X,Y)=ln(∑p(y
m
|x
m
))其中,P(X,Y)为所述第m概率,X为所述M个特征向量,Y为所述M个音标向量,y
m
为所述第m音标向量,x
m
为所述第m特征向量,p(y
m
|x
m
)为在所述第m特征向量的条件下所述...

【专利技术属性】
技术研发人员:李波
申请(专利权)人:广州视睿电子科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1