基于人工智能的教育监管系统及其方法技术方案

公开了一种基于人工智能的教育监管系统及其方法。其首先对课堂表现视频进行采样处理以得到多个课堂表现关键帧，接着，将所述多个课堂表现关键帧通过作为特征提取器的卷积神经网络模型以得到课堂表现特征向量的序列，然后，将所述课堂表现特征向量的序列通过包含第一序列编码器和第二序列编码器的多尺度感知模型以得到课堂表现时序特征向量，最后，将所述课堂表现时序特征向量通过分类器以得到用于表示被监控对象的课堂表现是否正常的分类结果。这样，可以更好地评估学生的表现，提高监管系统的性能。管系统的性能。管系统的性能。

【技术实现步骤摘要】
基于人工智能的教育监管系统及其方法


[0001]本申请涉及智能化监管领域，且更为具体地，涉及一种基于人工智能的教育监管系统及其方法。

技术介绍

[0002]随着人工智能技术的快速发展，教育监管系统逐渐被广泛应用于学校和培训机构等教育场景中。传统的教育监管方法主要依赖于人工对学生的课堂表现进行监测评估，需要耗费大量的时间和精力，并且存在主观性和不公平性的问题，导致监管的效率和精度都较低，难以满足现代化的教育监管需求。
[0003]因此，期望一种优化的基于人工智能的教育监管系统，以对学生的课堂表现进行自动化分析和评估，从而提高监管效率和精度，为教育管理部门提供更加科学、客观的决策依据。

技术实现思路

[0004]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于人工智能的教育监管系统及其方法。其首先对课堂表现视频进行采样处理以得到多个课堂表现关键帧，接着，将所述多个课堂表现关键帧通过作为特征提取器的卷积神经网络模型以得到课堂表现特征向量的序列，然后，将所述课堂表现特征向量的序列通过包含第一序列编码器和第二序列编码器的多尺度感知模型以得到课堂表现时序特征向量，最后，将所述课堂表现时序特征向量通过分类器以得到用于表示被监控对象的课堂表现是否正常的分类结果。这样，可以更好地评估学生的表现，提高监管系统的性能。
[0005]根据本申请的一个方面，提供了一种基于人工智能的教育监管系统，其包括：视频采集模块，用于获取由摄像头采集的被监控对象的课堂表现视频；课堂表现关键帧采样模块，用于对所述课堂表现视频进行采样处理以得到多个课堂表现关键帧；课堂表现特征提取模块，用于将所述多个课堂表现关键帧通过作为特征提取器的卷积神经网络模型以得到课堂表现特征向量的序列；课堂表现时序变化模块，用于将所述课堂表现特征向量的序列通过包含第一序列编码器和第二序列编码器的多尺度感知模型以得到课堂表现时序特征向量，其中，所述第一序列编码器为循环神经网络模型，所述第二序列编码器为双向长短期记忆神经网络模型；以及课堂表现检测模块，用于将所述课堂表现时序特征向量通过分类器以得到分类结果，所述分类结果用于表示被监控对象的课堂表现是否正常。
[0006]在上述的基于人工智能的教育监管系统中，所述课堂表现特征提取模块，用于：使用所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的卷积神经网络模型的最后一层输出所述课堂表现特征向量的序列，其中，所述作为特征提取器的卷积神经网络模型的第一层的输入为所述多个课堂表现关键帧。
[0007]在上述的基于人工智能的教育监管系统中，所述课堂表现时序变化模块，包括：第
一序列编码单元，用于将所述课堂表现特征向量的序列通过所述多尺度感知模型的所述第一序列编码器以得到第一尺度课堂表现时序特征向量；第二序列编码单元，用于将所述课堂表现特征向量的序列通过所述多尺度感知模型的所述第二序列编码器以得到第二尺度课堂表现时序特征向量；以及融合单元，用于将所述第一尺度课堂表现时序特征向量和所述第二尺度课堂表现时序特征向量进行融合以得到所述课堂表现时序特征向量。
[0008]在上述的基于人工智能的教育监管系统中，还包括用于对所述作为特征提取器的卷积神经网络模型、所述包含第一序列编码器和第二序列编码器的多尺度感知模型和所述分类器进行训练的训练模块。
[0009]在上述的基于人工智能的教育监管系统中，所述训练模块，包括：训练数据采集单元，用于获取训练数据，所述训练数据包括被监控对象的训练课堂表现视频，以及，所述被监控对象的课堂表现是否正常的真实值；训练课堂表现关键帧采样单元，用于对所述训练课堂表现视频进行采样处理以得到多个训练课堂表现关键帧；训练课堂表现特征提取单元，用于将所述多个训练课堂表现关键帧通过所述作为特征提取器的卷积神经网络模型以得到训练课堂表现特征向量的序列；训练课堂表现时序变化单元，用于将所述训练课堂表现特征向量的序列通过所述包含第一序列编码器和第二序列编码器的多尺度感知模型以得到第一尺度训练课堂表现时序特征向量和第二尺度训练课堂表现时序特征向量，其中，所述第一序列编码器为循环神经网络模型，所述第二序列编码器为双向长短期记忆神经网络模型；特征融合单元，用于融合所述第一尺度训练课堂表现时序特征向量和所述第二尺度训练课堂表现时序特征向量以得到训练课堂表现时序特征向量；分类损失单元，用于将所述训练课堂表现时序特征向量通过所述分类器以得到分类损失函数值；伪循环差异惩罚损失单元，用于计算所述第一尺度训练课堂表现时序特征向量和所述第二尺度训练课堂表现时序特征向量的伪循环差异惩罚因数作为伪循环差异惩罚损失函数值；以及训练单元，用于以所述分类损失函数值和所述伪循环差异惩罚损失函数值的加权和作为损失函数值，并通过梯度下降的反向传播来对所述作为特征提取器的卷积神经网络模型、所述包含第一序列编码器和第二序列编码器的多尺度感知模型和所述分类器进行训练。
[0010]在上述的基于人工智能的教育监管系统中，所述分类损失单元，用于：使用所述分类器以如下分类损失公式对所述训练课堂表现时序特征向量进行处理以获得所述训练分类结果，其中，所述分类损失公式为： ，其中，到为权重矩阵，到为偏置向量 ，为所述训练课堂表现时序特征向量；以及，计算所述训练分类结果与所述真实值之间的交叉熵值作为所述分类损失函数值。
[0011]在上述的基于人工智能的教育监管系统中，所述伪循环差异惩罚损失单元，用于：以如下损失公式计算所述第一尺度训练课堂表现时序特征向量和所述第二尺度训练课堂表现时序特征向量的伪循环差异惩罚因数作为所述伪循环差异惩罚损失函数值；其中，所述损失公式为：，其中，是所述第一尺度训练课堂表现时序特征向量，是所述第二尺度训练课堂表现时序特征向量，是特征向量的长度， 为所述第一尺度训练课堂表现时序特征向
量和所述第二尺度训练课堂表现时序特征向量之间的距离矩阵， 表示矩阵的Frobenius范数，是所述第一尺度训练课堂表现时序特征向量和所述第二尺度训练课堂表现时序特征向量之间的距离，是向量的二范数，表示以2为底的对数函数，且和 为加权超参数，是所述伪循环差异惩罚损失函数值。
[0012]根据本申请的另一个方面，提供了一种基于人工智能的教育监管方法，其包括：获取由摄像头采集的被监控对象的课堂表现视频；对所述课堂表现视频进行采样处理以得到多个课堂表现关键帧；将所述多个课堂表现关键帧通过作为特征提取器的卷积神经网络模型以得到课堂表现特征向量的序列；将所述课堂表现特征向量的序列通过包含第一序列编码器和第二序列编码器的多尺度感知模型以得到课堂表现时序特征向量，其中，所述第一序列编码器为循环神经网络模型，所述第二序列编码器为双向长短期记忆神经网络模型；以及将所述课堂表现时序特征向量通过分类器以得到分类结果，所述分类结果用于表示被监控对象的课堂表现是否正常。
[0013]在上述的基于人工智能的教育监管方法中，将所述多个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的教育监管系统，其特征在于，包括：视频采集模块，用于获取由摄像头采集的被监控对象的课堂表现视频；课堂表现关键帧采样模块，用于对所述课堂表现视频进行采样处理以得到多个课堂表现关键帧；课堂表现特征提取模块，用于将所述多个课堂表现关键帧通过作为特征提取器的卷积神经网络模型以得到课堂表现特征向量的序列；课堂表现时序变化模块，用于将所述课堂表现特征向量的序列通过包含第一序列编码器和第二序列编码器的多尺度感知模型以得到课堂表现时序特征向量，其中，所述第一序列编码器为循环神经网络模型，所述第二序列编码器为双向长短期记忆神经网络模型；以及课堂表现检测模块，用于将所述课堂表现时序特征向量通过分类器以得到分类结果，所述分类结果用于表示被监控对象的课堂表现是否正常。2.根据权利要求1所述的基于人工智能的教育监管系统，其特征在于，所述课堂表现特征提取模块，用于：使用所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的卷积神经网络模型的最后一层输出所述课堂表现特征向量的序列，其中，所述作为特征提取器的卷积神经网络模型的第一层的输入为所述多个课堂表现关键帧。3.根据权利要求2所述的基于人工智能的教育监管系统，其特征在于，所述课堂表现时序变化模块，包括：第一序列编码单元，用于将所述课堂表现特征向量的序列通过所述多尺度感知模型的所述第一序列编码器以得到第一尺度课堂表现时序特征向量；第二序列编码单元，用于将所述课堂表现特征向量的序列通过所述多尺度感知模型的所述第二序列编码器以得到第二尺度课堂表现时序特征向量；以及融合单元，用于将所述第一尺度课堂表现时序特征向量和所述第二尺度课堂表现时序特征向量进行融合以得到所述课堂表现时序特征向量。4.根据权利要求3所述的基于人工智能的教育监管系统，其特征在于，还包括用于对所述作为特征提取器的卷积神经网络模型、所述包含第一序列编码器和第二序列编码器的多尺度感知模型和所述分类器进行训练的训练模块。5.根据权利要求4所述的基于人工智能的教育监管系统，其特征在于，所述训练模块，包括：训练数据采集单元，用于获取训练数据，所述训练数据包括被监控对象的训练课堂表现视频，以及，所述被监控对象的课堂表现是否正常的真实值；训练课堂表现关键帧采样单元，用于对所述训练课堂表现视频进行采样处理以得到多个训练课堂表现关键帧；训练课堂表现特征提取单元，用于将所述多个训练课堂表现关键帧通过所述作为特征提取器的卷积神经网络模型以得到训练课堂表现特征向量的序列；训练课堂表现时序变化单元，用于将所述训练课堂表现特征向量的序列通过所述包含第一序列编码器和第二序列编码器的多尺度感知模型以得到第一尺度训练课堂表现时序特征向量和第二尺度训练课堂表现时序特征向量，其中，所述第一序列编码器为循环神经网络模型，所述第二序列编码器为双向长短期记忆神经网络模型；特征融合单元，用于融合所述第一尺度训练课堂表现时序特征向量和所述第二尺度训练课堂表现时序特征向量以得到训练课堂表现时序特征向量；分类损失单元，用于将所述训练课堂表现时序特征向量通过所述分类器以得到分类损失函数值；伪循环差异惩罚损失单元，用于计算所述第一尺度训练课堂表现时序特征向量和所述第二尺度训练课堂表现时序特征向量的伪循环差异惩罚因数作为伪循环差异惩罚损失函...

【专利技术属性】
技术研发人员：单伟萍，
申请(专利权)人：杭州科技职业技术学院，
类型：发明
国别省市：