一种便携式实时反馈语言学习系统技术方案

本发明专利技术公开了一种便携式实时反馈语言学习系统，属于语言学习技术领域。本设备可智能根据用户的学习目标和应用场合分析其发音是否需要纠正，并进行指导教学。本发明专利技术包括显示模块、语音传输模块、控制模块、语言库模块；本设备将采集到的语音信号经过语音识别处理后，转换为数字信号传输至控制器，采用滑窗离散傅里叶变换方法进行谐波提取分析，将语音信号波形(即对应的音强，音长，音高)实时显示，并基于残差理论将语言库中对应语句波形进行对比，判断其发音是否正确。本设备携带方便，能够满足非母语学习者及发音不标准用户根据其需求解决语言发音问题。决语言发音问题。决语言发音问题。

【技术实现步骤摘要】
一种便携式实时反馈语言学习系统


[0001]本专利技术涉及语言学习
，具体为一种便携式实时反馈语言学习系统。

技术介绍

[0002]随着全球各个国家合作程度不断加深，由于语言不通而影响交流一直是一个难题。当前语言学习大多依赖从事语言工作职业的教师授课完成，自主学习方法较少且有很多局限性，如果没有相关专业人员的指导，语言学习极易发生错误。
[0003]目前智能学习软件学习口语发音纠错方式单一且不能依据不同语言学习需求的用户智能学习，因此针对现有语言学习方法及应用的不足，提出了一种便携式实时反馈语音学习系统。

技术实现思路

[0004]本部分的目的在于概述本专利技术的实施方式的一些方面以及简要介绍一些较佳实施方式。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
[0005]鉴于现有语言学习系统中存在的问题，提出了本专利技术。
[0006]因此，本专利技术的目的是提供一种便携式实时反馈语言学习系统，能够在方便携带的使用的情况下实现语言学习功能，能够及时反馈用户所需改进的发音部分并提供正确发音教学。
[0007]为解决上述技术问题，根据本专利技术的一个方面，本专利技术提供了如下技术方案：
[0008]一种便携式实时反馈语言学习系统，其包括显示模块、通信模块、控制模块、语音库模块、语言传输模块；
[0009]所述显示模块：用于实现用户与本系统信息交互，所述交互信息包括学习语言选择目标学习语句，学习阶段选择，语言分析报告；
[0010]所示显示模块，通过USB接口或蓝牙连接方式与显示设备连接(包括工业显示屏、手机、iPad、电脑等)，配合相应app即可实现人机信息交互；
[0011]所述控制模块：用于接收显示模块输入的需求，并将语言传输模块输入的数字量信号通过滑窗离散傅里叶变换方法将音强音色音高输出波形并与语料库波形进行对比，并设置有USB接口，实现与上位机进行传输；
[0012]所述语言传输模块：包括语音播报模块，语言转化模块、麦克风模块，麦克风模块用于采集语音信号，语音转换模块将采集到的语音信号进行A/D转换为数字信号送至控制器模块中，语音播报模块用于播放目标语句的正确发音；
[0013]所述语音库模块包括多国语言库及各个语句的音高音强音色等标准发音，以及单词的发音技巧及举例解析；
[0014]步骤1、用户选择学习语言、目标学习阶段以及相关语句；
[0015]步骤2、在语音信息库中进行匹配目标语句，并通过控制模块语音识别模块输出至语音播报模块，进行示范教学；
[0016]步骤3、采集用户发音内容，将用户发音内容通过语言识别模块以数字量信号输入至控制模块，；
[0017]步骤4、在控制模块中利用滑窗离散傅里叶变换方法将其语音学习发音内容按照音高、音色、音强进行谐波提取分析；
[0018]步骤5、将提取到的用户音高、音色、音强与信息库标准发音进行对比，基与残差理论分别将音长、音高、音强进行输出；
[0019]步骤6、基于S5部分残差生成报告，各部分发音指标与当前学习阶段设置残差阈值进行对比，将残差超出设置阈值部分定义为发音不规范部分在显示模块中显示；
[0020]步骤7、将发音不规范部分在标准语音库中标准音频、发音方法以及示例教学在显示模块及语音播报模块传递给用户。
[0021]所述S4步骤还包括：
[0022]一种便携式反馈式语言学习系统，将采集到的语音信号经过语音识别处理后，转换为数字信号传输至控制器，采用滑窗离散傅里叶变换方法，进行谐波提取分析，在显示模块中实时显示语音信号波形(即对应的音强，音长，音高)。
[0023]所述S4步骤还包括：
[0024]利用滑窗离散傅里叶变换算法对频率波动的敏感性，将采集到的语音信号进行离散化处理分为n个信号片段，然后通过加滑窗处理，取出信号片段进行傅里叶变换，以观察该片段内信号的频率分量，实现对谐波信号的幅值和相位信息重建。
[0025]所述S4步骤还包括：
[0026]对于任意周期性函数都可以用正弦、余弦函数构成的无穷级数来表示，即：
[0027][0028]根据欧拉公式可化为：
[0029][0030]其中，c0为恒定的直流常量；ω1代表周期函数基频的角频率；代表各次谐波的初相位；M
n
代表各级三角函数的幅值，n≥2为各次谐波幅值，n＝1时为基波幅值；A
n
代表n次谐波的余弦系数；B
n
代表n次谐波的正弦系数。
[0031]根据三角函数的奇偶性，等式可等效为：
[0032][0033]根据傅里叶变换的定义，上式为傅里叶级数展开的复指数形式。作为傅里叶级数
的升级，傅里叶变换因为能够实现信号在时域和频域的转换，能够通过时频转换对信号进行的分解，将连续的周期分量转化为频域内离散的频谱分量。在数学上，对于满足u(t)∈L2(R)的连续时间信号u(t)，其连续傅里叶变换可以定义为：
[0034][0035]X(ω)的傅里叶逆变换为：
[0036][0037]在实际应用语音校正系统信号分析时，根据傅里叶级数原理，对任意有限带宽的周期性语音信号u(t)，设其周期为T，频带带宽从基波角频率ω到N
max
ω，其傅里叶变换表达式为：
[0038][0039]根据n次谐波的正弦系数An和余弦系数Bn可以得到该次谐波信号的幅值Mn和初相角信息：
[0040][0041][0042]根据傅里叶变换的表达式可知，通过傅里叶变换即可实现对语音谐波信号的频谱分析。在实际采用傅里叶级数方法是，大多需要经过数字处理方法实现，即离散傅里叶变换。对于离散傅里叶变换，它在时域、频域上的自变量都是离散的。对于经过采样、A/D转换处理成离散时域信号的有限长语音信号u(n)，按照N个采样数据为一组，构成一个采样时间窗，进行离散傅里叶变换，即：
[0043][0044]所述S4步骤还包括：
[0045]离散傅里叶变换的作用实际上是将有限长序列在频域内离散化；
[0046]对于语音校正系统谐波信号u(t)，周期为T，根据式对应的其离散傅里叶变换表达式为：
[0047][0048][0049]式中k＝0,1,2,...,N
‑
1；
[0050]所述S4步骤还包括：
[0051]针对语音校正系统实时性高的要求，采用滑窗离散傅里叶变换算法；
[0052]对N个采样数据构成的采样时间窗进行迭代更新，加入新的实时采样数据代替原有部分对语音谐波信号进行分析检测。
[0053]根据式,其对应的滑窗傅里叶的提取n次语音信号谐波分量可表示为：
[0054][0055]式中，N
new
代表最新采样点，u
n
(kτ)代表第k时刻采样数据。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种便携式实时反馈语言学习系统，其特征在于：包括显示模块、控制模块、语音库模块和语言传输模块；所述显示模块：用于实现用户与本系统信息交互，通过USB接口或蓝牙连接方式与显示设备连接，配合相应软件即可实现人机信息交互，其中交互信息包括学习语言选择、目标学习语句、学习阶段选择，语言分析报告；所述控制模块：通过USB接口与上位机进行控制文件传输，执行显示模块输入的需求，将语言传输模块输入的数字量信号通过滑窗离散傅里叶变换方法将音强音色音高输出波形并利用残差理论与语料库标准波形进行对比后输出至显示模块；所述语言传输模块：由收声装置、扬声器装置及语音识别模块组成，与系统控制模块传输信号声音
‑
数字信号的传输功能，同时配有接口，可外接麦克风及播放器，语音转换模块将采集到的语音信号进行A/D转换为数字信号送至控制器模块中，并将控制器输出语音通过语音播放目标语句的正确发音；所述语音库模块：通过usb模块与上位机连接进行下载，包括多国语言库标准语言的音高音强音色等标准发音以及对应不同学习阶段，以及语言的发音技巧及举例解析。2.根据权利要求1所述的一种便携式实时反馈语言学习系统，其特征在于：系统执行包括如下步骤：步骤1：用户选择学习语言、目标学习阶段以及相关语句；步骤2：在语音信息库中进行匹配目标语句，并通过控制模块语音识别模块输出至语音播报模块，进行示范教学；步骤3：采集用户发音内容，将用户发音内容通过语言传输模块以数字量形式输入至控制模块；步骤4：在控制模块中利用滑窗离散傅里叶变换方法将其语音学习发音内容按照音高、音色、音强进行谐波提取分析；步骤5：将提取到的用户音高、音色、音强与语言库对应标准...

【专利技术属性】
技术研发人员：刘育雁，
申请(专利权)人：东北师范大学，
类型：发明
国别省市：