一种基于学习行为智能分析的教学方法及系统技术方案

本申请涉及智能教学领域，其具体地公开了一种基于学习行为智能分析的教学方法及系统，其利用基于深度学习的人工智能检测技术，以通过ViT图像编码器、基于转换器的上下文编码器从待检测人员的学习监控视频中挖掘待检测人员在实验过程中关于实验操作行为的高维时序隐含关联特征信息，并基于此来进行学习行为规范性的分类判断。这样，可以及时纠正待检测人员的实验操作行为，从而提高学习效率，还能避免安全事故的发生。免安全事故的发生。免安全事故的发生。

【技术实现步骤摘要】
一种基于学习行为智能分析的教学方法及系统


[0001]本申请涉及智能教学领域，且更为具体地，涉及一种基于学习行为智能分析的教学方法及系统。

技术介绍

[0002]随着教学条件的改善和教育水平的提高，如今国内很多学校都纷纷建立了实验室教学模式，培养学生将理论应用于实践的能力。
[0003]在传统实验室教学模式下，例如，在一个面向中学生的化学实验课程中，一般由老师先示范操作步骤、演示实验过程，学生再通过模仿和学习老师的做法，以完成实践环节的教学，加深学生对课程内容的理解。但是由于老师的注意力有限，无法对学生进行一一指导，在此过程中，学生难免出现不合规范的操作行为，这不仅降低学习效率，还可能存在安全隐患。
[0004]因此，期待一种基于学习行为智能分析的教学方案。

技术实现思路

[0005]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于学习行为智能分析的教学方法及系统，其利用基于深度学习的人工智能检测技术，以通过ViT图像编码器、基于转换器的上下文编码器从待检测人员的学习监控视频中挖掘待检测人员在实验过程中关于实验操作行为的高维时序隐含关联特征信息，并基于此来进行学习行为规范性的分类判断。这样，可以及时纠正待检测人员的实验操作行为，从而提高学习效率，还能避免安全事故的发生。
[0006]根据本申请的一个方面，提供了一种基于学习行为智能分析的教学方法，其包括：
[0007]获取待检测人员的学习监控视频；
[0008]从所述学习监控视频中提取多个学习关键帧；
[0009]将所述多个学习关键帧分别通过基于自动编解码器的图像降噪器以得到多个降噪学习关键帧；
[0010]将所述多个降噪学习关键帧分别通过ViT图像编码器以得到多个学习语义理解特征向量；
[0011]将所述多个学习语义理解特征向量通过基于转换器的上下文编码器以得到时序关联学习特征向量；以及
[0012]将所述时序关联学习特征向量通过分类器以得到分类结果，所述分类结果用于表示所述待检测人员的学习行为是否规范。
[0013]在上述基于学习行为智能分析的教学方法中，从所述学习监控视频中提取多个学习关键帧，包括：以预定采样频率从所述学习监控视频中提取多个学习关键帧。
[0014]在上述基于学习行为智能分析的教学方法中，将所述多个学习关键帧分别通过基于自动编解码器的图像降噪器以得到多个降噪学习关键帧，包括：将所述学习关键帧输入
所述图像降噪器的编码器，其中，所述编码器使用卷积层对所述学习关键帧进行显式空间编码以得到图像特征；以及，将所述图像特征输入所述图像降噪器的解码器，其中，所述解码器使用反卷积层对所述图像特征进行反卷积处理以得到所述降噪学习关键帧。
[0015]在上述基于学习行为智能分析的教学方法中，将所述多个降噪学习关键帧分别通过ViT图像编码器以得到多个学习语义理解特征向量，包括：对所述各个降噪学习关键帧进行图像分块处理以得到图像块的序列；使用所述ViT图像编码器的嵌入层分别对所述图像块的序列中各个图像块进行嵌入编码以得到图像块嵌入向量的序列；以及，将所述图像块嵌入向量的序列输入所述ViT图像编码器的转换器模块以得到所述学习语义理解特征向量。
[0016]在上述基于学习行为智能分析的教学方法中，使用所述ViT图像编码器的嵌入层分别对所述图像块的序列中各个图像块进行嵌入编码以得到图像块嵌入向量的序列，包括：将所述图像块的序列中的各个图像块分别展开为一维像素输入向量以得到多个一维像素输入向量；以及，使用所述ViT图像编码器的嵌入层对所述多个一维像素输入向量中各个一维像素输入向量进行全连接编码以得到所述图像块嵌入向量的序列。
[0017]在上述基于学习行为智能分析的教学方法中，将所述多个学习语义理解特征向量通过基于转换器的上下文编码器以得到时序关联学习特征向量，包括：使用所述基于转换器的上下文编码器对所述多个学习语义理解特征向量进行全局上下文语义编码以得到多个上下文学习特征向量；计算所述多个上下文学习特征向量的高斯混合模型，所述高斯混合模型的均值向量为所述多个上下文学习特征向量的按位置均值向量，所述高斯混合模型的协方差矩阵中各个位置的值为所述按位置均值向量中相应两个位置的特征值之间的方差；计算所述多个上下文学习特征向量中各个上下文学习特征向量相对于所述高斯混合模型的高斯概率密度分布距离指数以得到多个高斯概率密度分布距离指数；以所述多个高斯概率密度分布距离指数作为权重，对所述多个上下文学习特征向量进行加权以得到多个校正后上下文学习特征向量；以及，将所述多个校正后上下文学习特征向量进行级联以得到所述时序关联学习特征向量。
[0018]在上述基于学习行为智能分析的教学方法中，使用所述基于转换器的上下文编码器对所述多个学习语义理解特征向量进行全局上下文语义编码以得到多个上下文学习特征向量，包括：将所述多个学习语义理解特征向量排列为输入向量；将所述输入向量通过可学习嵌入矩阵分别转化为查询向量和关键向量；计算所述查询向量和所述关键向量的转置向量之间的乘积以得到自注意关联矩阵；对所述自注意关联矩阵进行标准化处理以得到标准化自注意关联矩阵；将所述标准化自注意关联矩阵输入Softmax激活函数进行激活以得到自注意力特征矩阵；以及，将所述自注意力特征矩阵与以所述多个学习语义理解特征向量中各个学习语义理解特征向量作为值向量分别进行相乘以得到所述多个上下文学习特征向量。
[0019]在上述基于学习行为智能分析的教学方法中，计算所述多个上下文学习特征向量中各个上下文学习特征向量相对于所述高斯混合模型的高斯概率密度分布距离指数以得到多个高斯概率密度分布距离指数，包括：以如下高斯概率密度分布距离指数公式计算所述多个上下文学习特征向量中各个上下文学习特征向量相对于所述高斯混合模型的高斯概率密度分布距离指数以得到多个高斯概率密度分布距离指数；其中，所述高斯概率密度
分布距离指数公式为：
[0020][0021]其中，V
i
是第i个上下文学习特征向量，μ
u
和∑
u
是高斯混合模型的均值向量和协方差矩阵，即μ
u
表示所述多个上下文学习特征向量的按位置均值向量，且Σ
u
中各个位置的值为所述按位置均值向量中相应两个位置的特征值之间的方差，其中向量为列向量，表示矩阵乘，表示按位置相减，exp(
·
)表示自然指数函数运算，w
i
是第i个高斯概率密度分布距离指数。
[0022]在上述基于学习行为智能分析的教学方法中，将所述时序关联学习特征向量通过分类器以得到分类结果，所述分类结果用于表示所述待检测人员的学习行为是否规范，包括：将所述时序关联学习特征向量作为分类特征向量输入所述分类器的Softmax分类函数以得到所述分类特征向量归属于各个分类标签的概率值；以及，将最大概率值对应的分类标签确定为所述分类结果。
[0023]根据本申请的另一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于学习行为智能分析的教学方法，其特征在于，包括：获取待检测人员的学习监控视频；从所述学习监控视频中提取多个学习关键帧；将所述多个学习关键帧分别通过基于自动编解码器的图像降噪器以得到多个降噪学习关键帧；将所述多个降噪学习关键帧分别通过ViT图像编码器以得到多个学习语义理解特征向量；将所述多个学习语义理解特征向量通过基于转换器的上下文编码器以得到时序关联学习特征向量；以及将所述时序关联学习特征向量通过分类器以得到分类结果，所述分类结果用于表示所述待检测人员的学习行为是否规范。2.根据权利要求1所述的基于学习行为智能分析的教学方法，其特征在于，从所述学习监控视频中提取多个学习关键帧，包括：以预定采样频率从所述学习监控视频中提取多个学习关键帧。3.根据权利要求2所述的基于学习行为智能分析的教学方法，其特征在于，将所述多个学习关键帧分别通过基于自动编解码器的图像降噪器以得到多个降噪学习关键帧，包括：将所述学习关键帧输入所述图像降噪器的编码器，其中，所述编码器使用卷积层对所述学习关键帧进行显式空间编码以得到图像特征；以及将所述图像特征输入所述图像降噪器的解码器，其中，所述解码器使用反卷积层对所述图像特征进行反卷积处理以得到所述降噪学习关键帧。4.根据权利要求3所述的基于学习行为智能分析的教学方法，其特征在于，将所述多个降噪学习关键帧分别通过ViT图像编码器以得到多个学习语义理解特征向量，包括：对所述各个降噪学习关键帧进行图像分块处理以得到图像块的序列；使用所述ViT图像编码器的嵌入层分别对所述图像块的序列中各个图像块进行嵌入编码以得到图像块嵌入向量的序列；以及将所述图像块嵌入向量的序列输入所述ViT图像编码器的转换器模块以得到所述学习语义理解特征向量。5.根据权利要求4所述的基于学习行为智能分析的教学方法，其特征在于，使用所述ViT图像编码器的嵌入层分别对所述图像块的序列中各个图像块进行嵌入编码以得到图像块嵌入向量的序列，包括：将所述图像块的序列中的各个图像块分别展开为一维像素输入向量以得到多个一维像素输入向量；以及使用所述ViT图像编码器的嵌入层对所述多个一维像素输入向量中各个一维像素输入向量进行全连接编码以得到所述图像块嵌入向量的序列。6.根据权利要求5所述的基于学习行为智能分析的教学方法，其特征在于，将所述多个学习语义理解特征向量通过基于转换器的上下文编码器以得到时序关联学习特征向量，包括：使用所述基于转换器的上下文编码器对所述多个学习语义理解特征向量进行全局上下文语义编码以得到多个上下文学习特征向量；
计算所述多个上下文学习特征向量的高斯混合模型，所述高斯混合模型的均值向量为所述多个上下文学习特征向量的按位置均值向量，所述高斯混合模型的协方差矩阵中各个位置的值为所述按位置均值向量中相应两个位置的特征值之间的方差；计算所述多个上下文学习特征向量中各个上下文学习特征向量相对于所述高斯混合模型的高斯概率密度分布距离指数以得到多个高斯概率密度分布距离指数；以所述多个高斯概率密度分布距离指数作为权重，对所述多个上下文学习特征向量进行加权以得到多个校正后上下文学习特征向量；以及将所述多个校正后...

【专利技术属性】
技术研发人员：吴仲毓，龙行，杨世义，沈思宇，
申请(专利权)人：杭州睿数科技有限公司，
类型：发明
国别省市：