基于语音和文本分类的学生认知识别方法、装置以及设备制造方法及图纸

本发明专利技术涉及计算机技术领域，特别涉及一种基于语音和文本分类的学生认知识别方法、装置、设备及存储介质，方法包括：获得讨论课堂上各个学生的语音数据集，其中，语音数据集包括若干个不同时间时刻的语音数据；将各个学生的语音数据集输入至预设的声纹识别模型，获得各个不同时间时刻的语音数据对应的声纹识别数据，根据声纹识别数据以及预设的声纹特征库，获得各个不同时间时刻的语音数据对应的学生身份标识；将各个学生的语音数据集输入至预设的文本转换模型，获得各个不同时间时刻的语音数据对应的课堂文本数据；将各个不同时间时刻的语音数据对应的课堂文本数据输入至预设的认知识别模型，获取各个不同时间时刻的语音数据对应的认知等级数据。据对应的认知等级数据。据对应的认知等级数据。

【技术实现步骤摘要】
基于语音和文本分类的学生认知识别方法、装置以及设备


[0001]本专利技术涉及计算机
，特别涉及是一种基于语音和文本分类的学生认知识别方法、装置、设备以及存储介质。

技术介绍

[0002]讨论式教学是中学课堂中被广泛应用的一种教学模式。以学生为主体的讨论当中，学生能够发挥主观能动性，通过一系列思维活动主动建构自己认知。同时课堂讨论能够在学生与老师之间建立更加紧密的联系，提高课堂绩效，帮助学生发掘潜力，促进学生健康品格养成，实现教与学的共同创新。
[0003]然而，讨论课中也有诸多不足亟待解决。首先，教师与学生数量上的巨大差异世界各地普遍存在。在讨论课当中，教师无法及时掌握每组成员讨论状况，也便无法及时给予帮助。其次，由于往往讨论课的小组成员为随机分组，组内成员认知水平不一将影响学生讨论参与度以及思考程度，最终导致讨论课收效甚微。再者，存在着多方面因素，例如学生状态不佳，学生之间性格难以磨合，学生自身性格较难支持其主动发言等导致学生之间无法深入交流学习的情况。

技术实现思路

[0004]基于此，本专利技术的目的在于，提供一种基于语音和文本分类的学生认知识别方法、装置、设备以及存储介质，通过将声纹识别技术和文本转换技术应用于讨论课堂，获取语音数据对应的学生的身份标识以及课堂文本数据，并采用深度学习方法，精准、有效率地对学生在讨论课堂上的认知情况进行评价，为教师提供更加全面的信息，有助于提高未来讨论课程的教学质量。
[0005]第一方面，本申请实施例提供了一种基于语音和文本分类的学生认知识别方法，包括以下步骤：
[0006]获得讨论课堂上各个学生的语音数据集，其中，所述语音数据集包括若干个不同时间时刻的语音数据；
[0007]将所述各个学生的语音数据集输入至预设的声纹识别模型，获得所述各个不同时间时刻的语音数据对应的声纹识别数据，根据所述声纹识别数据以及预设的声纹特征库，获得所述各个不同时间时刻的语音数据对应的学生身份标识；
[0008]将所述各个学生的语音数据集输入至预设的文本转换模型，获得所述各个不同时间时刻的语音数据对应的课堂文本数据；
[0009]将所述各个不同时间时刻的语音数据对应的课堂文本数据输入至预设的认知识别模型，获取所述各个不同时间时刻的语音数据对应的认知等级数据；
[0010]根据各个不同时间时刻的语音数据对应的学生身份标识以及所述各个不同时间时刻的语音数据对应的认知等级数据，获得各个学生在讨论课堂上的认知变化情况。
[0011]第二方面，本申请实施例提供了一种基于语音和文本分类的学生认知等级识别装
置，包括：
[0012]语音数据获得模块，用于获得讨论课堂上各个学生的语音数据集，其中，所述语音数据集包括若干个不同时间时刻的语音数据；
[0013]身份识别模块，用于将所述各个学生的语音数据集输入至预设的声纹识别模型，获得所述各个不同时间时刻的语音数据对应的声纹识别数据，根据所述声纹识别数据以及预设的声纹特征库，获得所述各个不同时间时刻的语音数据对应的学生身份标识；
[0014]课堂文本转换模块，用于将所述各个学生的语音数据集输入至预设的文本转换模型，获得所述各个不同时间时刻的语音数据对应的课堂文本数据；
[0015]认知等级识别模块，用于将所述各个不同时间时刻的语音数据对应的课堂文本数据输入至预设的认知识别模型，获取所述各个不同时间时刻的语音数据对应的认知等级数据；
[0016]显示模块，用于根据各个不同时间时刻的语音数据对应的学生身份标识以及所述各个不同时间时刻的语音数据对应的认知等级数据，获得各个学生在讨论课堂上的认知变化情况。
[0017]第三方面，本申请实施例提供了一种计算机设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于语音和文本分类的学生认知识别方法的步骤。
[0018]第四方面，本申请实施例提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于语音和文本分类的学生认知识别方法的步骤。
[0019]在本申请实施例中，提供一种基于语音和文本分类的学生认知识别方法、装置、设备以及存储介质，通过将声纹识别技术和文本转换技术应用于讨论课堂，获取语音数据对应的学生的身份标识以及课堂文本数据，并采用深度学习方法，精准、有效率地对学生在讨论期间内的多个时间区间对应的认知情况进行评价，并构建相应的认知等级变化情况图表，能够反映学生在讨论期间的表现以及学习情况，为教师提供更加全面的信息，有助于提高未来讨论课程的教学质量。
[0020]为了更好地理解和实施，下面结合附图详细说明本专利技术。
附图说明
[0021]图1为本申请第一实施例提供的基于语音和文本分类的学生认知识别方法的流程示意图；
[0022]图2为本申请第二实施例提供的基于语音和文本分类的学生认知识别方法的流程的示意图；
[0023]图3为本申请第三实施例提供的基于语音和文本分类的学生认知识别方法的流程的示意图；
[0024]图4为本申请第三实施例提供的基于语音和文本分类的学生认知识别方法的流程中S8的示意图；
[0025]图5为本申请第三实施例提供的基于语音和文本分类的学生认知识别方法的流程中S82的示意图；
[0026]图6为本申请第三实施例提供的基于语音和文本分类的学生认知识别方法的流程中S83的示意图；
[0027]图7为本申请第四实施例提供的基于语音和文本分类的学生认知识别方法的流程的示意图；
[0028]图8为本申请第五实施例提供的基于语音和文本分类的学生认知等级识别装置的结构示意图；
[0029]图9为本申请第六实施例提供的计算机设备的结构示意图。
具体实施方式
[0030]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0031]在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0032]应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”/“若”可以被解释成为“在...

【技术保护点】

【技术特征摘要】
1.一种基于语音和文本分类的学生认知识别方法，其特征在于，包括以下步骤：获得讨论课堂上各个学生的语音数据集，其中，所述语音数据集包括若干个不同时间时刻的语音数据；将所述各个学生的语音数据集输入至预设的声纹识别模型，获得所述各个不同时间时刻的语音数据对应的声纹识别数据，根据所述声纹识别数据以及预设的声纹特征库，获得所述各个不同时间时刻的语音数据对应的学生身份标识；将所述各个学生的语音数据集输入至预设的文本转换模型，获得所述各个不同时间时刻的语音数据对应的课堂文本数据；将所述各个不同时间时刻的语音数据对应的课堂文本数据输入至预设的认知识别模型，获取所述各个不同时间时刻的语音数据对应的认知等级数据；根据各个不同时间时刻的语音数据对应的学生身份标识以及所述各个不同时间时刻的语音数据对应的认知等级数据，获得各个学生在讨论课堂上的认知变化情况。2.根据权利要求1所述的基于语音和文本分类的学生认知识别方法，其特征在于，所述将所述各个学生的语音数据输入至预设的声纹识别模型，获得所述各个语音数据对应的声纹识别数据之前，包括步骤：对所述各个学生的语音数据进行预处理，获取预处理后的各个学生的语音数据，其中，所述预处理包括分帧、加窗、短时傅里叶变换以及标准差标准化。3.根据权利要求1所述的基于语音和文本分类的学生认知识别方法，其特征在于，还包括训练所述认知识别模型，包括步骤：获取若干个样本课堂文本数据，以及所述若干个样本课堂文本数据相应的认知标签数据，其中，所述样本课堂文本数据包括若干个样本词语；将所述若干个样本课堂文本数据输入至预设的句向量表示计算模型，获取所述若干个样本课堂文本数据的句向量表示，并将所述若干个样本课堂文本数据的句向量表示以及相应的认知标签数据输入至待训练的神经网络模型，获取所述认知识别模型。4.根据权利要求3所述的基于语音和文本分类的学生认知识别方法，其特征在于：所述句向量表示计算模型包括词嵌入向量计算模块、融合词向量计算模块以及句向量计算模块；所述将所述若干个样本课堂文本数据输入至预设的句向量表示计算模型，获取所述若干个样本课堂文本数据的句向量表示，包括步骤：根据所述若干个样本课堂文本数据以及词嵌入向量计算模块，获取所述词嵌入向量计算模块输出的所述若干个样本课堂文本数据中若干个样本词语的多维词嵌入向量表示；根据所述若干个样本课堂文本数据中若干个样本词语的多维词嵌入向量表示以及融合词向量计算模块中，获取所述若干个样本课堂文本数据的若干个样本词语的融合词向量表示；根据所述若干个样本课堂文本数据的若干个样本词语的融合词向量表示以及句向量计算模块，获取所述若干个样本课堂文本数据的句向量表示。5.根据权利要求4所述的基于语音和文本分类的学生认知识别方法，其特征在于，所述根据所述若干个样本课堂文本数据中若干个样本词语的多维词嵌入向量表示以及融合词向量计算模块中，获取所述若干个样本课堂文本数据的若干个样本词语的融合词向量表
示，包括步骤：根据所述若干个样本课堂文本数据中若干个样本词语以及预设的词频
‑
逆文档频度计算算法，获取所述若干个样本课堂文本数据的若干个样本词语相应的词频
‑
逆文档频度值，其中，所述词频
‑
逆文档频度计算算法为：式中，C
i
为第i个样本词语的词频
‑
逆文档频度值，TF
i,j
为第i个样本词语在预设的语料库中第j个语料文本数据的词频；IDF
i
为第i个样本词语的逆文档频度；n
i,j
为第i个样本词语在第j个语料文本数据中出现的次数，∑
k
n
...

【专利技术属性】
技术研发人员：曾康，李靖延，唐小煜，温溢舒，邱淑辉，何俊杰，
申请(专利权)人：华南师范大学，
类型：发明
国别省市：