基于深度学习的面向师-机-生教学成效评估方法和系统技术方案

本发明专利技术公开基于深度学习的面向师

【技术实现步骤摘要】
基于深度学习的面向师
‑
机
‑
生教学成效评估方法和系统


[0001]本专利技术属于教学管理信息
，更具体地，涉及基于深度学习的面向师
‑
机
‑
生教学成效评估方法和系统。

技术介绍

[0002]智能教学系统通过多项技术、互联网以及计算机系统提供有效的、全面的学习和诊断以及针对性教学等功能，被广泛运用于高校课堂。
[0003]专利CN109359521A公开了一种基于深度学习的课堂质量双向评估系统，基于接收的课堂图片和帧图像，利用目标检测模型、人脸检测模型和人脸分割模型对课堂图片和帧图像进行考勤分析、听课率分析、课堂行为分析、课堂表情分析、课堂座位分析，并反馈分析结果。
[0004]专利CN111652045A提供一种课堂教学质量评估方法和系统，通过根据学生的面部信息与教师的位置信息确定学生的听讲状态，进而根据学生的听讲状态进行课堂教学质量评估。
[0005]然而，现有教学成效评估方式基本上只关注课堂表现，以学生或者教师为研究对象，方式单一、结果片面，不能准确反映真实的教学成效。

技术实现思路

[0006]针对现有技术的缺陷，本专利技术的目的在于提供基于深度学习的面向师
‑
机
‑
生教学成效评估方法和系统，旨在解决现有教学成效评估方式单一、结果片面的问题。
[0007]为实现上述目的，第一方面，本专利技术提供了一种基于深度学习的面向师
‑
机/>‑
生教学成效评估方法，包括：
[0008]获取教学过程中教师、学生、辅助机器产生的数据，所述数据包括：视频、音频和文本；
[0009]采用预训练的视频特征提取网络模型，从视频数据中分别提取出课堂学习过程教师、学生的活动特征；采用预训练的语言模型，从文本数据中分别提取在线学习过程教师、学生、辅导机器的活动特征；采用预训练的语音特征提取网络模型，从音频数据中分别提取出教师
‑
学生对话、教师
‑
机器对话、学生
‑
学生对话、学生
‑
机器对话过程的教师、学生的活动特征；
[0010]对教师、学生、辅助机器的各种活动特征进行融合，得到教学成效评估指标。
[0011]优选地，所述视频特征提取网络模型包括：
[0012]特征提取模块，用于分别提取视频的空间特征向量序列f
space
＝{x1,x2,
…
,x
t
}和时间特征向量序列f
time
＝{y1,y2,
…
,y
t
}；
[0013]加权融合模块，用于对特征向量序列f
space
和f
time
进行自适应加权融合，得到自适应加权融合后的特征向量序列
[0014]长时间序列化视频的特征提取模块，用于将自适应加权融合后的特征向量序列按
顺序输入到循环神经网络中，得到长时间序列化视频的特征；
[0015]其中，α
i
、β
i
是对每个特征向量计算得到的权重，代表进入循环神经网络进行视频时序性训练的重要性。
[0016]优选地，权重α
i
、β
i
的计算公式如下：
[0017][0018][0019]其中，a()表示打分函数。
[0020]优选地，打分函数的计算公式如下：
[0021][0022]其中，v
i
表示特征向量，取值x
i
或y
i
，g(v
i
)表示获得v
i
所在类的类别个数，t表示特征向量序列中向量个数。
[0023]优选地，所述语音特征提取网络模型包括：
[0024]编码模块，用于将当前时刻输入的语音帧x
t
编码为发音基元
[0025]上下文向量提取模块，用于将当前时刻输入的标签y
u
‑1与前期预测的所有标签拼接后，输入至BERT模型，得到上下文向量；
[0026]组合模块，用于组合编码模块的输出和预测模块的输出，得到转录文本。
[0027]优选地，所述语言模型为BERT模型，用于对文本进行句子层面的特征向量表示。
[0028]优选地，所述对教师、学生、辅助机器的各种活动特征进行融合，具体如下：
[0029](1)接收设定的教学情境的类别；
[0030](2)对教师、学生和辅助机器，分别分层提取不同教学情境类别的语义特征，确定各主体在各教学情境类别的语义属性，确定各教学情境类别语义的多层语义逻辑关系；
[0031](3)对教师、学生和辅助机器，分别按照这些分层语义分类，采用相应的粒度进行特征级数据融合，生成能准确描述各主体在教学过程的场景数据；
[0032](4)对具有关联语义的各主体在教学过程的场景数据进一步融合，生成教学成效评估指标。
[0033]为实现上述目的，第二方面，本专利技术提供了一种基于深度学习的面向师
‑
机
‑
生教学成效评估系统，包括：处理器和存储器；
[0034]所述存储器用于存储计算机程序或指令；
[0035]所述处理器用于执行存储器中的所述计算机程序或指令，使得第一方面所述的方法被执行。
[0036]总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，具有以下有益效果：
[0037]本专利技术首次提出以教师、学生、机器为研究对象，从复合主体的角度进行教育成效
评估，综合考虑视频数据、文本数据、音频数据等多源数据格式，采用深度学习提取多源数据特征，采用特征级融合，从不同的方面得到评估指标，完整层次实现复合主体认知模型的闭环反馈与认知能力的螺旋式增强。
附图说明
[0038]图1是本专利技术提供的一种基于深度学习的面向师
‑
机
‑
生教学成效评估方法流程图；
[0039]图2是本专利技术提供的视频特征提取网络模型结构示意图。
具体实施方式
[0040]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。
[0041]图1是本专利技术提供的一种基于深度学习的面向师
‑
机
‑
生教学成效评估方法流程图。如图1所示，本专利技术提供了一种基于深度学习的面向师
‑
机
‑
生教学成效评估方法，包括：
[0042]步骤1：获取教学过程中教师、学生、辅助机器产生的数据，所述数据包括：视频、音频和文本。
[0043]多源教育数据采集
[0044]通过线上线下相结合的方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的面向师
‑
机
‑
生教学成效评估方法，其特征在于，包括：获取教学过程中教师、学生、辅助机器产生的数据，所述数据包括：视频、音频和文本；采用预训练的视频特征提取网络模型，从视频数据中分别提取出课堂学习过程教师、学生的活动特征；采用预训练的语言模型，从文本数据中分别提取在线学习过程教师、学生、辅导机器的活动特征；采用预训练的语音特征提取网络模型，从音频数据中分别提取出教师
‑
学生对话、教师
‑
机器对话、学生
‑
学生对话、学生
‑
机器对话过程的教师、学生的活动特征；对教师、学生、辅助机器的各种活动特征进行融合，得到教学成效评估指标。2.如权利要求1所述的方法，其特征在于，所述视频特征提取网络模型包括：特征提取模块，用于分别提取视频的空间特征向量序列f
space
＝{x1，x2，...，x
t
}和时间特征向量序列f
time
＝{y1，y
2，
…
，y
t
)；加权融合模块，用于对特征向量序列f
space
和f
time
进行自适应加权融合，得到自适应加权融合后的特征向量序列长时间序列化视频的特征提取模块，用于将自适应加权融合后的特征向量序列按顺序输入到循环神经网络中，得到长时间序列化视频的特征；其中，α
i
、β
i
是对每个特征向量计算得到的权重，代表进入循环神经网络进行视频时序性训练的重要性。3.如权利要求2所述的方法，其特征在于，权重α
i
、β
i
的计算公...

【专利技术属性】
技术研发人员：周东波，曾超勇，刘三女牙，戴志诚，张立山，李千千，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：