一种听障儿童发音水平测试方法、设备及存储介质技术

本发明专利技术提出的一种听障儿童发音水平测试方法，该方法包括：采集听障儿童的训练过程中一段时间内的发音数据集，并按训练时间顺序进行排序，然后将发音数据集按顺序依次进行预处理；将预处理后的发音数据集按顺序依次全部输入到聚类模型中进行聚类得到多组聚类簇,再将多组聚类簇分别输入到图神经网络知识追踪模型中进行单独训练后得到多组知识追踪模型；多组知识追踪模型接收新采集的听障儿童的发音数据依次进行预处理和聚类后，输出测试结果。此外，本发明专利技术还公开了相应的设备及存储介质。本发明专利技术通过对听障儿童学习过程中的学习数据进行个性化建模实现对听障儿童现有发音水平进行预测，同时也提高了知识追踪模型的个性化能力和时间动态特性。能力和时间动态特性。能力和时间动态特性。

【技术实现步骤摘要】
一种听障儿童发音水平测试方法、设备及存储介质


[0001]本专利技术属于特殊教育
更具体地，涉及一种听障儿童发音水平测试方法、设备及存储介质。

技术介绍

[0002]教育评价作为一种评教手段在整个教育活动过程中占据着重要的位置，可以对听障儿童的学习效果和教师的教学质量进行判断，得出听障儿童知识掌握的情况。然而，传统的教育评价仅通过报告得到较为笼统的测验分数或能力值，并对其进行排序，不仅无法详细的获取听障儿童的认知结构和知识掌握的情况信息，而且也没有对学习信息进行更深入的分析和挖掘，使得不能帮助教师更加针对性的指导听障儿童。
[0003]目前一些关于教育评价的相关研究主要集中在线上教育平台，除了能够记录学习者的海量历史学习数据还能记录下学习者的一些学习习惯数据如鼠标移动轨迹、点击次数等，线上平台海量且丰富的数据驱动着知识追踪领域不断创新；但是针对线下课堂进行知识追踪建模的研究还是非常少的，尤其是在特殊教育领域几乎是零开展。
[0004]对听障儿童课堂学习数据进行知识追踪建模既能实现技术的落地应用也能解决一些现实困境。其中，图神经网络知识追踪(GKT)是知识追踪领域里一个全新方向，这个模型是图神经网络在知识追踪方向的突破性应用，其完全舍弃了以往RNN或者是Transformer这样的线性模型，整个更新知识状态的操作都是在图上完成，充分利用到了图神经网络中信息传递的机制。不过GKT仍然属于比较初始的模型，在现实应用中可在初始GKT上模型上做出一些改进。
[0005]专利申请号为CN201810274088.4的专利技术专利公开了一种基于模糊综合评价的听障儿童元音评估方法。其主要技术方案为使用三维电磁发音记录获得多个正常人和听障儿童阅读语料时的基本声学参数u1、舌位声学参数u2、唇舌运动参数u3建立模糊综合评价数据库，以及建立模糊综合数据库的一级评价指标和二级评价指标；将听障儿童的二级评价指标的每个特征参数到正常人的特征参数的距离作为顺序作为隶属函数，设置六个得分等级，建立判断矩阵；再通过嫡权评价指标每个特征参数到正常人的一级评价指标的特征参数的距离标准差作为一级评价指标的权重，最终利用M(
·
+)算子，得到听障儿童的发音得分。上述方案作为一种传统领域的听障儿童发音评估方法，需要重新采集实验所需特定数据，并且需要人工建立数据库和指标，使得听障儿童的发音得分完全受实验时所采集数据和评估标准的等硬性指标来决定；其次，大量的最接近真实水平语训和课堂发音历史记录无法得到应用；此外，单一的评分也无法反应出听障儿童长期的发音水平的变化。

技术实现思路

[0006]针对以上现有技术的至少一个缺陷或改进需求，本专利技术提供了一种听障儿童发音水平测试方法、设备及存储介质，通过对听障儿童学习过程中的学习数据进行个性化建模实现对听障儿童现有发音水平进行预测，同时也提高了知识追踪模型的个性化能力和时间
动态特性。
[0007]为了实现上述目的，按照本专利技术的第一个方面，本专利技术采用了如下技术方案。
[0008]一种听障儿童发音水平测试方法，该方法包括：
[0009]采集听障儿童的训练过程中一段时间内的发音数据集，并按训练时间顺序进行排序，然后将所述发音数据集按所述顺序依次进行预处理；
[0010]将所述预处理后的发音数据集按所述顺序依次全部输入到聚类模型中进行聚类得到多组聚类簇，再将所述多组聚类簇分别输入到图神经网络知识追踪模型中进行单独训练后得到多组知识追踪模型；
[0011]所述多组知识追踪模型接收新采集的听障儿童的发音数据依次进行所述预处理和所述聚类后，输出测试结果。
[0012]进一步的，所述发音数据集包括音频数据和/或视频数据。
[0013]进一步的，所述预处理：
[0014]S1：记录听障儿童的ID、记录发音正误并标记知识点；
[0015]S2：根据所述发音正误及知识点得到相关特征并进行特征筛选得到聚类所需的特征项数据；
[0016]进一步的，所述聚类所需的特征项数据包括回答问题正确率、尝试次数、回答响应时间及寻求提示次数特征。
[0017]进一步的，所述记录发音正误是将所述发音数据集与标准发音数据集进行对比，以单个发音为一条记录，正确发音标记为1、错误发音标记为0。
[0018]进一步的，所述知识点为所有汉语拼音的单独发音；
[0019]所述标记知识点为给每个所述单独发音按所述顺序进行编号。
[0020]进一步的，所述聚类为：
[0021]根据所述聚类所需的特征项数据对所述发音数据集进行切割，再依据所述顺序对每个切割后的所述发音数据附上时间戳；
[0022]取所有特征项的平均值作为聚类的特征值，再使用标准化对特征项的平均值做无量纲化处理后生成带权重的网络图，再进而得到带有时间戳的矩阵；
[0023]依据所述矩阵在每个时间点生成聚类簇，并在下一个时间点将新数据输入后调整聚类簇，最终得到当前时刻的多组聚类簇。
[0024]进一步的，所述聚类模型的目标函数包括时间平滑的惩罚项。
[0025]按照本专利技术的第二个方面，还提供了一种听障儿童发音水平测试设备，包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述计算机程序被所述处理单元执行时，使得所述处理单元执行上述任一项所述方法的步骤。
[0026]按照本专利技术的第三个方面，还提供了一种存储介质，其存储有可由访问认证设备执行的计算机程序，当所述计算机程序在访问认证设备上运行时，使得所述访问认证设备执行上述任一项所述方法的步骤。
[0027]总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
[0028](1)本专利技术的一种听障儿童发音水平测试方法、设备及存储介质，在使用知识追踪模型的基础上，对听障儿童进行了进化聚类处理，使听障儿童的发音得分不会完全受实验
时采集数据和评估标准的硬性指标决定，可以避免传统测评的目标性、主观性等弊端，给教师的工作提供便利和参考价值，同时也比单独使用知识追踪模型的测试结果更准确可靠。
[0029](2)本专利技术的一种听障儿童发音水平测试方法、设备及存储介质，使用聚类使聚类的结果随着数据特征值的变化在不同的时刻做出调整变化并避免相邻时刻的聚类结果相差较大，使对于任意时刻新进入的儿童都能将其聚类到与其表现相似的学习者簇中，而对于此类儿童，尽管未能有其历史学习数据来训练知识追踪模型也能输出一个较准确的测试结果。
[0030](3)本专利技术的一种听障儿童发音水平测试方法、设备及存储介质，使用图神经网络能够很好的挖掘不同试题之间的关联关系，在更新知识状态的过程中，能将包含相关知识点的试题掌握状态都得到更新，在不需要额外去分析试题之间的隐含联系的前提下，可以很好的反映出听障儿童长期的发音水平的变化。
[0031](4)本专利技术的一种听障儿童发音水平测试方法、设备及存储介质，利用听障儿童在课堂中连续一段本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种听障儿童发音水平测试方法，其特征在于，该方法包括：采集听障儿童的训练过程中一段时间内的发音数据集，并按训练时间顺序进行排序，然后将所述发音数据集按所述顺序依次进行预处理；将所述预处理后的发音数据集按所述顺序依次全部输入到聚类模型中进行聚类得到多组聚类簇,再将所述多组聚类簇分别输入到图神经网络知识追踪模型中进行单独训练后得到多组知识追踪模型；所述多组知识追踪模型接收新采集的听障儿童的发音数据依次进行所述预处理和所述聚类后，输出测试结果。2.如权利要求1所述的一种听障儿童发音水平测试方法，其特征在于，所述发音数据集包括音频数据和/或视频数据。3.如权利要求1所述的一种听障儿童发音水平测试方法，其特征在于，所述预处理：S1：记录听障儿童的ID、记录发音正误并标记知识点；S2：根据所述发音正误及知识点得到相关特征并进行特征筛选得到聚类所需的特征项数据。4.如权利要求3所述的一种听障儿童发音水平测试方法，其特征在于，所述聚类所需的特征项数据包括回答问题正确率、尝试次数、回答响应时间及寻求提示次数特征。5.如权利要求3所述的一种听障儿童发音水平测试方法，其特征在于，所述记录发音正误是将所述发音数据集与标准发音数据集进行对比，以单个发音为一条记录，正确发音标记为1、错误发音标记为0。6.如权利要求3所述的一种听障...

【专利技术属性】
技术研发人员：廖盛斌，方安妮，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：