英语语音分析和加强学习系统及方法技术方案

本发明专利技术提供了英语语音分析和加强学习系统及方法，其通过采集预设对象诵读英语对应的语音声波信号，并对该语音声波信号进行单词诵读语音提取处理，再获得每一个单词诵读语音声波信号对应的声波频谱，并通过预设神经网络模型对声波频谱进行分析处理，以此评价预设对象当前诵读英语过程中单词发音标准性，最后向预设对象推送与单词读音相关联的若干单词，以此进行单词读音训练，其能够从单词发音层面上对预设对象的英语诵读标准性进行精确评价，其不仅能够帮助预设对象纠正特定单词的发音，并且还能够通过推送其他关联单词来对预设对象进行循环加强化的发音训练，从而高效地和全面地改善预设对象的英语发音标准性。

【技术实现步骤摘要】
英语语音分析和加强学习系统及方法
本专利技术涉及智能教学的
，特别涉及英语语音分析和加强学习系统及方法。
技术介绍
目前，英语发音教学主要是通过教师课堂教学以及多媒体音频教学等方式来实现的，学生通过诵读英语单词或者语句来不断完善自身的英语发音标准性，但是上述英语发音教学方式均存在教学场合和教学灵活性的局限，其并不能提供针对不同学生自身的发音问题进行有针对性分析和加强发音训练的有效方案，这严重地降低了英语发音教学的对不同学生的普适性和有效性。
技术实现思路
针对现有技术存在的缺陷，本专利技术提供英语语音分析和加强学习系统及方法，该英语语音分析和加强学习系统及方法通过采集预设对象诵读英语对应的语音声波信号，并对该语音声波信号进行单词诵读语音提取处理，以此获得一个或者多个单词诵读语音声波信号，再对每一个单词诵读语音声波信号进行音频向量分析，以此获得对应的声波频谱，并通过预设神经网络模型对声波频谱进行分析处理，以此评价预设对象当前诵读英语过程中单词发音标准性，最后根据单词发音标准性的评价结果，向预设对象推送与单词读音相关联的若干单词，以此进行单词读音训练；可见，该英语语音分析和加强学习系统及方法能够从单词发音层面上对预设对象的英语诵读标准性进行精确评价，其不仅能够帮助预设对象纠正特定单词的发音，并且还能够通过推送其他关联单词来对预设对象进行循环加强化的发音训练，从而高效地和全面地改善预设对象的英语发音标准性。本专利技术提供英语语音分析和加强学习系统，其特征在于，包括语音采集模块、声波频谱获取模块、单词发音准确性评价模块和单词读音训练模块；其中，所述语音采集模块用于采集预设对象诵读英语对应的语音声波信号，并对所述语音声波信号进行单词诵读语音提取处理，以此获得一个或者多个单词诵读语音声波信号，其中，所述语音声波信号包括所述预设对象诵读单词和语句的语音声波信号；所述声波频谱获取模块用于对每一个所述单词诵读语音声波信号进行音频向量分析，以此获得对应的声波频谱；所述单词发音准确性评价模块用于通过预设神经网络模型对所述声波频谱进行分析处理，以此评价所述预设对象当前诵读英语过程中单词发音标准性；所述单词读音训练模块用于根据所述单词发音标准性的评价结果，向所述预设对象推送与单词读音相关联的若干单词，以此进行单词读音训练；进一步，所述语音采集模块包括语音声波信号采集与判断子模块、声波信号停顿状态确定子模块和语句诵读声波信号划分子模块；其中，所述语音声波信号采集与判断子模块用于以16000次/s的采样频率采集所述预设对象英语对应的语音声波信号，并判断所述语音声波信号属于单词诵读语音声波信号还是语句诵读声波信号，以及在所述语音声波信号属于单词诵读语音声波信号时，将当前的语音声波信号直接作为一个单词诵读声波信号；所述声波信号停顿状态确定子模块用于在所述语音声波信号属于语句诵读声波信号时，计算所述语音声波信号对应的所有语音帧能量分布值，并判断每一帧能量分布值是否超过预设能量阈值，若超过，则确定当前语音帧属于诵读状态，若不超过，则确定当前语音帧属于非诵读的停顿状态；所述语句诵读声波信号划分子模块用于根据所有所述停顿状态，对所述语音声波信号进行单一单词诵读划分处理，以此将所述语音声波信号划分为多个单词诵读语音声波信号；进一步，所述声波频谱获取模块包括音频向量确定子模块和声波频谱计算子模块；其中，所述音频向量确定子模块用于根据每一个所述单词诵读语音声波信号生成如下的16000个/s的数列x1,1,x1,2,x1,3,…,x1,16000,x2,1,x2,2,…,x2,16000,…,xt,1,…,xt,16000,……再按照20ms的间隔对所述数列划分为800个音频块，所述800个音频块记为下面音频向量yi＝(yi1,yi2,…,yi800)T；所述声波频谱计算子模块用于根据下面公式(1)，对所述音频向量进行线性插值，在上述公式(1)中，Δt＝1/16000，k＝1，2…800对上述公式(1)进行傅里叶展开处理，即如下面公式(2)所示在上述公式(2)中，j表示单位虚数，系数Cn由傅里叶逆变换求得，即再将所有系数共同组成如下面公式(3)所示的声波频谱XX＝(C1,C2,…,C799,C800)T(3)；进一步，所述单词发音准确性评价模块包括神经网络处理子模块、实际发音评价子模块和字母标注子模块；其中，所述神经网络处理子模块用于通过预设神经网络模型对声波频谱进行处理，其具体过程为，A1，将所述声波频谱X＝(C1,C2,…,C799,C800)T输入至完成训练的所述预设神经网络模型中，相应地所述预设神经网络模型的输出结果包含800个27维的向量output，每一个向量output具有下面公式(4)表示的数学形式output＝(P1,P2,…,P25,P26,P27)T(4)在上述公式(4)中，Pi表示向量每i维的概率值，并且第1维至第26维分别代表26个英文字母，第27维代表空格；A2，设定j＝argmaxPi(1≤i≤27)，argmax表示取最大值运算，以及设定映射函数map:{1,2,…,27}→{a,b,c,d,…,x,y,z,__}，其中__代表空格符号，此时每次向所述预设神经网络模型输入相应的声波频谱X，即可得到相应的数值j，并生成相应数值序列(j1,j2,…,j800)T；A3，将所述映射函数作用于所述数值序列，并得到如下函数结果word＝map(j)＝(map(j1),…,map(j800))T对所述函数结果word进行如下删除空格的修正处理，以此获得所述预设对象当前诵读英语的实际发音在上述修正处理中，wordmod表示修成处理的结果，wordiifwordi≠__表示若当前符号不为空格符号，则将当前符号直接作为结果输出，deleteifwordi＝__表示当前符号为空格符号，则将当前符号直接删除；所述实际发音评价子模块用于根据预设评价函数计算所述实际发音的评价函数值value，其具体过程为，B1，获取所述实际发音对应的频谱z1，以及从标准语音库中获得所述预设对象在英语诵读过程中单词标准发音频谱z2，所述频谱z1与所述单词标准发音频谱z2为具有相同长度N的向量；B2，根据下面公式(5)，计算所述实际发音对应的评价函数值value，并且当评价函数值value越大代表所述实际发音越标准在上述公式(5)中，z1i和z2i分别为所述频谱z1和所述单词标准发音频谱z2对应的频谱分量；所述字母标注子模块用于对预设对象在当前诵读过程中存在发音问题的字母进行标注，其具体过程为，根据下面公式(6)定义差值函数diffdiff＝argmax(value)(6)argmax()表示取最大值运算，并且根据所述差值函数diff将所述预设对象在当前诵读过程中存在本文档来自技高网...

【技术保护点】
1.英语语音分析和加强学习系统，其特征在于，包括语音采集模块、声波频谱获取模块、单词发音准确性评价模块和单词读音训练模块；其中，所述语音采集模块用于采集预设对象诵读英语对应的语音声波信号，并对所述语音声波信号进行单词诵读语音提取处理，以此获得一个或者多个单词诵读语音声波信号，其中，所述语音声波信号包括所述预设对象诵读单词和语句的语音声波信号；/n所述声波频谱获取模块用于对每一个所述单词诵读语音声波信号进行音频向量分析，以此获得对应的声波频谱；/n所述单词发音准确性评价模块用于通过预设神经网络模型对所述声波频谱进行分析处理，以此评价所述预设对象当前诵读英语过程中单词发音标准性；/n所述单词读音训练模块用于根据所述单词发音标准性的评价结果，向所述预设对象推送与单词读音相关联的若干单词，以此进行单词读音训练。/n

【技术特征摘要】
1.英语语音分析和加强学习系统，其特征在于，包括语音采集模块、声波频谱获取模块、单词发音准确性评价模块和单词读音训练模块；其中，所述语音采集模块用于采集预设对象诵读英语对应的语音声波信号，并对所述语音声波信号进行单词诵读语音提取处理，以此获得一个或者多个单词诵读语音声波信号，其中，所述语音声波信号包括所述预设对象诵读单词和语句的语音声波信号；
所述声波频谱获取模块用于对每一个所述单词诵读语音声波信号进行音频向量分析，以此获得对应的声波频谱；
所述单词发音准确性评价模块用于通过预设神经网络模型对所述声波频谱进行分析处理，以此评价所述预设对象当前诵读英语过程中单词发音标准性；
所述单词读音训练模块用于根据所述单词发音标准性的评价结果，向所述预设对象推送与单词读音相关联的若干单词，以此进行单词读音训练。


2.如权利要求1所述的英语语音分析和加强学习系统，其特征在于：
所述语音采集模块包括语音声波信号采集与判断子模块、声波信号停顿状态确定子模块和语句诵读声波信号划分子模块；其中，
所述语音声波信号采集与判断子模块用于以16000次/s的采样频率采集所述预设对象英语对应的语音声波信号，并判断所述语音声波信号属于单词诵读语音声波信号还是语句诵读声波信号，以及在所述语音声波信号属于单词诵读语音声波信号时，将当前的语音声波信号直接作为一个单词诵读声波信号；
所述声波信号停顿状态确定子模块用于在所述语音声波信号属于语句诵读声波信号时，计算所述语音声波信号对应的所有语音帧能量分布值，并判断每一帧能量分布值是否超过预设能量阈值，若超过，则确定当前语音帧属于诵读状态，若不超过，则确定当前语音帧属于非诵读的停顿状态；
所述语句诵读声波信号划分子模块用于根据所有所述停顿状态，对所述语音声波信号进行单一单词诵读划分处理，以此将所述语音声波信号划分为多个单词诵读语音声波信号。


3.如权利要求1所述的英语语音分析和加强学习系统，其特征在于：
所述声波频谱获取模块包括音频向量确定子模块和声波频谱计算子模块；其中，
所述音频向量确定子模块用于根据每一个所述单词诵读语音声波信号生成如下的16000个/s的数列
x1,1,x1,2,x1,3,…,x1,16000,x2,1,x2,2,…,x2,16000,…,xt,1,…,xt,16000,……
再按照20ms的间隔对所述数列划分为800个音频块，所述800个音频块记为下面音频向量
yi＝(yi1,yi2,…,yi800)T；
所述声波频谱计算子模块用于根据下面公式(1)，对所述音频向量进行线性插值，



在上述公式(1)中，Δt＝1/16000，k＝1，2…800
对上述公式(1)进行傅里叶展开处理，即如下面公式(2)所示



在上述公式(2)中，j表示单位虚数，系数Cn由傅里叶逆变换求得，即
再将所有系数共同组成如下面公式(3)所示的声波频谱X
X＝(C1,C2,…,C799,C800)T(3)。


4.如权利要求1所述的英语语音分析和加强学习系统，其特征在于：
所述单词发音准确性评价模块包括神经网络处理子模块、实际发音评价子模块和字母标注子模块；其中，
所述神经网络处理子模块用于通过预设神经网络模型对声波频谱进行处理，其具体过程为，
A1，将所述声波频谱X＝(C1,C2,…,C799,C800)T输入至完成训练的所述预设神经网络模型中，相应地所述预设神经网络模型的输出结果包含800个27维的向量output，每一个向量output具有下面公式(4)表示的数学形式
output＝(P1,P2,…,P25,P26,P27)T(4)
在上述公式(4)中，Pi表示向量每i维的概率值，并且0≤Pi≤1,第1维至第26维分别代表26个英文字母，第27维代表空格；
A2，设定j＝argmaxPi(1≤i≤27)，argmax表示取最大值运算，以及设定映射函数map:{1,2,…,27}→{a,b,c,d,…,x,y,z,__}，其中__代表空格符号，此时每次向所述预设神经网络模型输入相应的声波频谱X，即可得到相应的数值j，并生成相应数值序列(j1,j2,…,j800)T；
A3，将所述映射函数作用于所述数值序列，并得到如下函数结果
word＝map(j)＝(map(j1),…,map(j800))T
对所述函数结果word进行如下删除空格的修正处理，以此获得所述预设对象当前诵读英语的实际发音



在上述修正处理中，wordmod表示修成处理的结果，wordiifwordi≠__表示若当前符号不为空格符号，则将当前符号直接作为结果输出，deleteifwordi＝__表示当前符号为空格符号，则将当前符号直接删除；
所述实际发音评价子模块用于根据预设评价函数计算所述实际发音的评价函数值value，其具体过程为，
B1，获取所述实际发音对应的频谱z1，以及从标准语音库中获得所述预设对象在英语诵读过程中单词标准发音频谱z2，所述频谱z1与所述单词标准发音频谱z2为具有相同长度N的向量；
B2，根据下面公式(5)，计算所述实际发音对应的评价函数值value，并且当评价函数值value越大代表所述实际发音越标准



在上述公式(5)中，z1i和z2i分别为所述频谱z1和所述单词标准发音频谱z2对应的频谱分量，N表示频谱分量的总数量；
所述字母标注子模块用于对预设对象在当前诵读过程中存在发音问题的字母进行标注，其具体过程为，
根据下面公式(6)定义差值函数diff
diff＝argmax(value)(6)
argmax()表示取最大值运算，并且根据所述差值函数diff将所述预设对象在当前诵读过程中存在发音问题的字母进行发音标准与否标注。


5.如权利要求1所述的英语语音分析和加强学习系统，其特征在于：
所述单词读音训练模块包括单词提取子模块和单词推送子模块；其中，所述单词提取子模块用于根据所述预设对象在当前诵读过程中存在发音问题的字母标注结果，从预设单词语音库中提取与目标单词具...

【专利技术属性】
技术研发人员：樊星，
申请(专利权)人：上海松鼠课堂人工智能科技有限公司，
类型：发明
国别省市：上海;31