一种基于特征融合的英语口语自动评分方法技术

本发明专利技术提供一种基于特征融合的英语口语自动评分方法，针对大规模英语口语考试朗读题型，采用多特征融合的方法进行评分。以连续语音信号及语音识别文本作为研究对象，从语音和文本两个不同角度对口语考试朗读题型进行分析。一方面，通过分析输入语音,提取语音特征并与参考标准进行匹配比较；另一方面通过文本对齐方法比较语音识别文本与朗读文本，由评分机制根据相似程度大小给出评价得分。实验证明该方法的算法复杂度较低,评分结果符合人的主观感觉。

【技术实现步骤摘要】
一种基于特征融合的英语口语自动评分方法
本专利技术涉及音频处理领域，尤其涉及一种基于特征融合的英语口语自动评分方法。
技术介绍
当前计算机辅助评估系统已经逐渐成为研究的热点之一。尤其在大规模考试中，它已经开始逐渐取代老师，这将成为教育界的一场重大变革。随着语音识别技术的发展，语音评估系统也逐渐发展起来。它主要通过计算机给人的发音进行评测，这样的系统不仅评分准确，而且可以大大提高效率，节约人力。针对口语考试题型的评分大体分为两类：一类是从语音的角度评分，一类是从文本的角度评分。纯粹基于语音的评分主要涉及到发音、频率和韵律等声学层面的特征。如果一个评分系统仅仅从语音的角度评分，而不考虑所表达内容的语法结构，那么这个自动评分系统仍旧不是一个完整的理想系统。
技术实现思路
为了克服上述现有技术中的不足，本专利技术的目的在于，提供一种评测效率且降低了对人力工作的依赖程度的基于特征融合的英语口语自动评分方法，方法包括：S1：输入语音信号和文本；S2：对输入的语音信号提取特征参数；S3：利用模式对比的方式对标准语音和待评语音的特征参数进行比较；S4：利用文本对齐方式对朗读文本和待评语音识别文本进行特征比较；S5：评分机制根据特征相似度对语音作出评价。优选地，所述步骤S1包括如下步骤：S1.1输入标准语音信号；S1.2输入标准朗读文本；S1.3输入英语缩略词及完整形式对照.优选地，所述步骤S2还包括如下步骤：S2.1提取梅尔倒谱参数特征；S2.2提取基频变化轨迹特征；优选地，所述步骤S2.1还包括如下步骤：S2.11将信号进行分帧，预加重和加汉明窗处理，然后进行短时傅里叶变换并得到其频谱；S2.12求出频谱平方，即能量谱，并用M个Mel带通滤波器进行滤波；由于每一个频带中分量的作用在人耳中是叠加的。因此将每个滤波器频带内的能量进行叠加，这时第k个滤波器输出功率谱x'(k)；S2.13将每个滤波器的输出取对数，得到相应频带的对数功率谱；并进行反离散余弦变换，得到L个MFCC系数，一般L取12～16个左右。MFCC系数为S2.14将这种直接得到的MFCC特征作为静态特征，再将这种静态特征做一阶和二阶差分，得到相应的动态特征。优选地，所述步骤S3还包括如下步骤：利用梅尔倒谱参数特征比较方式以及基音变化轨迹特征比较方式对标准语音和待评语音的特征参数进行比较。优选地，所述利用梅尔倒谱参数特征比较方式包括：(1)假设参考标准语音的MFCC特征向量为M1＝[m1(1),m1(2),…,m1(T)],(T为参考语音的长度)；(2)待评价语音的MFCC特征向量为M2＝[m2(1),m2(2),…,m2(S)],(S为待评价语音的长度)；(3)使用改进的DTW算法，得到一条误差最小的对齐路径和对应的DTW距离；(4)该距离是待评价的输入语音与参考标准语音的MFCC特征参数的比较结果，反映了两段语音在内容上的发音差别。优选地，所述利用基音变化轨迹特征比较方式包括：(1)假设参考标准语音的基音特征向量为P1＝[p1(1),p1(2),…,p1(R)]，其一阶差分向量为PΔ1＝[pΔ1(1),pΔ1(2),…,pΔ1(R)](R为参考语音的长度)，PΔ1(n)＝|p1(n)-p1(n-1)|,n＝1,2,…,R,p1(0)＝0；(2)待评价的输入语音的基音特征向量为P2＝[p2(1),p2(2),…,p2(T)]，其一阶差分向量为PΔ2＝[pΔ2(1),pΔ2(2),…,pΔ2(T)](T为待评价语音的长度)，PΔ2(n)＝|p2(n)-p2(n-1)|,n＝1,2,…,T,p2(0)＝0；(3)基于上节得到的DTW最佳对齐路径，在对齐的位置进行基音特征比较；(4)求取基音的差距dp，与其变化量的差距Δdp，来获得输入语音与参考标准语音的基音的相似度，即：dp＝|p1(n)-p2(m)|(2)Δdp＝|Δp1(n)-Δp2(m)|(3)其中，Δpi(n)＝|pi(n)-pi(n-1)|(4)。优选地，所述步骤S4文本进行单词填充对齐之前所做规定和假设为：考生作答的答案均是字母字符、数字字符和标点符号字符，不包括图形、图案、图片；评分时考生答案与标准答案严格匹配，不考虑近义词、同义词或语义问题；考生得分只与考生答案的答对字符数、漏字字符数和加字字符数有关。优选地，所述步骤S4还包括如下步骤：S4.1获取标准答案A，查看标准答案中是否存在缩略词(如I’m)，若存在则将缩略词展开(Iam)，统计标准答案单词个数N(定冠词、不定冠词、标点符号不计)，获取词频(即某一个给定的词语在文件中出现的次数)向量V，标记每个单词的实际位置及单词本身、前向单词和后向单词在向量V中的位置，判断标准答案中是否有重复单词；S4.2获取考生答案a，查看考生答案中是否存在缩略词(如I’m)，若存在则将缩略词展开(Iam)，统计考生答案单词个数n(定冠词、不定冠词、标点符号不计)，将其在标准答案中不存在的单词(即无效单词)补充到向量V的后面形成新的词频向量v，标记有效单词的实际位置及单词本身、前向单词和后向单词在向量v中的位置，判断考生答案中是否有重复单词；S4.3创建长度为n的数组R用来标记考生答案中重复单词的位置，逐个比较考生答案词频向量v与标准答案词频向量V的单词位置信息，若v中某一单词的前向单词或后向单词在向量中的位置与V中同一单词的前向单词或后向单词在向量中的位置相同，则统计其出现的次数，当单词出现次数大于1时则将该单词实际位置标记为1表示重复，反之与V中同一单词的前向单词和后向单词在向量中的位置都不相同，也将该单词实际位置标记为1表示重复；S4.4依据标记数组R去掉考生答案中的重复单词，更新考生答案字符串a和考生答案单词个数n；S4.5比较标准答案和考生答案的单词个数，若是n/N<0.2，或N/n>1.5，则该考生答案判分为0，评分结束；否则继续向下执行步骤S4.6S4.6设置长度为N的空字符数组B,并初始化为0的两计数器C、D分别统计考生答案中有效单词的个数和无效单词的个数，且设置考生答案中的任一单词与标答中的单词最大比较次数为L；S4.7将字符串a中的第一个单词a0与字符串A中的第一个单词A0进行比较，若相等，将a0赋值给B0，有效单词个数C加1；若不相等，则继续与标答中单词Aj,(0<j<N)进行比较，直到比较结果相等或比较次数大于L或j＝N则比较结束，若比较结果相等，则将a0赋值到Bj,(0<j<N)中，有效单词个数C加1，若比较次数大于L或j＝N则无效单词个数D加1；S4.8循环对字符串a中剩余的单词ai,(0<i<n)与标答A中Aj之后的单词进行比较，直到循环比较结束获得新的字符数组B，有效单词个数C和无效单词个数D；S4.9比较标准答案和有效单词及无效单词的个数，若是C/N<0.2，或D/N>0.5,则该考生答案判分为0，评分结束；否则继续向下执行步骤S4.10；S4.10统计R中连续单词的个数，非连续单词则认为是无效单词；S4.11有效单词个数C与标准答案单词个数N的百分比表示正确率，若考生答案单词个数n减去重复单词个数后长度仍大于标准答案单词个数N则需要先计算标准答案单词个数N与有效单本文档来自技高网...

【技术保护点】
一种基于特征融合的英语口语自动评分方法，其特征在于，方法包括：S1：输入语音信号和文本；S2：对输入的语音信号提取特征参数；S3：利用模式对比的方式对标准语音和待评语音的特征参数进行比较；S4：利用文本对齐方式对朗读文本和待评语音识别文本进行特征比较；S5：评分机制根据特征相似度对语音作出评价。

【技术特征摘要】
1.一种基于特征融合的英语口语自动评分方法，其特征在于，方法包括：S1：输入语音信号和文本；S2：对输入的语音信号提取特征参数；S3：利用模式对比的方式对标准语音和待评语音的特征参数进行比较；S4：利用文本对齐方式对朗读文本和待评语音识别文本进行特征比较；S5：评分机制根据特征相似度对语音作出评价。2.根据权利要求1所述的基于特征融合的英语口语自动评分方法，其特征在于，所述步骤S1包括如下步骤：S1.1输入标准语音信号；S1.2输入标准朗读文本；S1.3输入英语缩略词及完整形式对照。3.根据权利要求1所述的基于特征融合的英语口语自动评分方法，其特征在于，所述步骤S2还包括如下步骤：S2.1提取梅尔倒谱参数特征；S2.2提取基频变化轨迹特征。4.根据权利要求3所述的基于特征融合的英语口语自动评分方法，其特征在于，所述步骤S2.1还包括如下步骤：S2.11将信号进行分帧，预加重和加汉明窗处理，然后进行短时傅里叶变换并得到其频谱；S2.12求出频谱平方，即能量谱，并用M个Mel带通滤波器进行滤波；由于每一个频带中分量的作用在人耳中是叠加的；因此将每个滤波器频带内的能量进行叠加，这时第k个滤波器输出功率谱x'(k)；S2.13将每个滤波器的输出取对数，得到相应频带的对数功率谱；并进行反离散余弦变换，得到L个MFCC系数，一般L取12～16个左右；MFCC系数为：S2.14将这种直接得到的MFCC特征作为静态特征，再将这种静态特征做一阶和二阶差分，得到相应的动态特征。5.根据权利要求1所述的基于特征融合的英语口语自动评分方法，其特征在于，所述步骤S3还包括如下步骤：利用梅尔倒谱参数特征比较方式以及基音变化轨迹特征比较方式对标准语音和待评语音的特征参数进行比较。6.根据权利要求5所述的基于特征融合的英语口语自动评分方法，其特征在于，所述利用梅尔倒谱参数特征比较方式包括：(1)假设参考标准语音的MFCC特征向量为M1＝[m1(1),m1(2),…,m1(T)],(T为参考语音的长度)；(2)待评价语音的MFCC特征向量为M2＝[m2(1),m2(2),…,m2(S)],(S为待评价语音的长度)；(3)使用改进的DTW算法，得到一条误差最小的对齐路径和对应的DTW距离；(4)该距离是待评价的输入语音与参考标准语音的MFCC特征参数的比较结果，反映了两段语音在内容上的发音差别。7.根据权利要求5所述的基于特征融合的英语口语自动评分方法，其特征在于，所述利用基音变化轨迹特征比较方式包括：(1)假设参考标准语音的基音特征向量为P1＝[p1(1)，p1(2)，…，p1(R)]，其一阶差分向量为P△1＝[p△1(1),p△1(2),…,p△1(R)](R为参考语音的长度)，P△1(n)＝|p1(n)-p1(n-1)|,n＝1,2,…,R,p1(0)＝0；(2)待评价的输入语音的基音特征向量为P2＝[p2(1),p2(2),…,p2(T)]，其一阶差分向量为P△2＝[p△2(1),p△2(2),…,p△2(T)](T为待评价语音的长度)，P△2(n)＝|p2(n)-p2(n-1)|,n＝1,2,…,T,p2(0)＝0；(3)基于上节得到的DTW最佳对齐路径，在对齐的位置进行基音特征比较；(4)求取基音的差距dp，与其变化量的差距△dp，来获得输入语音与参考标准语音的基音的相似度，即：dp＝|p1(n)-p2(m)|(2)△dp＝|△p1(n)-△p2(m)|(...

【专利技术属性】
技术研发人员：马磊，陈义学，陈霞，
申请(专利权)人：山东山大鸥玛软件股份有限公司，
类型：发明
国别省市：山东,37