一种用于小差异课堂行为的识别方法技术

技术编号:40033792 阅读:29 留言:0更新日期:2024-01-16 18:39
本发明专利技术公开一种用于小差异课堂行为的识别方法,包括在Slow路径中加入复合注意力机制模块和细粒度分析模块,构建以SlowFast网络模型为主体的识别网络模型,复合注意力机制模块用于经由弱监督注意力学习和双线性注意力池化处理,获得多张注意力图以及包含多个分部特征的特征矩阵;细粒度分析模块用于对多张注意力图进行细粒度分析,获得平均细粒度分类概率;将课堂监控视频数据预处理成多段短视频,从每段短视频中按照采样间隔选择每个对应视频片段的首帧图像,构成监控图像数据集,再按照课堂行为类别对监控图像数据集中的各个图像进行人工标注;利用监控图像数据集对识别网络模型训练,利用训练好的识别网络模型进行小差异行为识别。

【技术实现步骤摘要】

本专利技术涉及智能识别的,具体来说,是一种用于小差异课堂行为的识别方法


技术介绍

1、近年来不少研究者采用计算机视觉技术来识别学生的课堂行为,提出运用计算机视觉检测课堂行为的系统来实现了从监控视频到行为检测,最后反馈输出的一套完整系统即通过行为识别技术,从课堂的监控视频中准确识别出学生行为,进而分析出学生的上课状态,便于管理和总结出课堂学生在各阶段的学习表现。

2、基于深度学习进行的行为识别需要有相对应的行为数据集,目前行为识别数据集的制作和方式主要分为两种:一种是基于图片制作的数据集进行的识别,这种数据集的制作优势在于数据标注量小、训练时计算量较小,但这种数据集无法对行为进行时域分析且对连续性的动作难以做出准确的判断,常被用于传统的图像检测网络在行为识别方向上的应用上,如基于faster r-cnn的课堂行为识别;另一种是根据视频制作的数据集进行识别,这种数据集的发展随着动作识别、时序行为识别、时空行为识别的研究取得了较大的进展,也是目前主流的行为数据集的采集方式,制作专用于学生课堂行为识别的数据集对改进基于深度学习的课堂行为识别网络有很大本文档来自技高网...

【技术保护点】

1.一种用于小差异课堂行为的识别方法,其特征在于包括以下步骤:

2.根据权利要求1所述的用于小差异课堂行为的识别方法,其特征在于:将输入Slow路径的监控图像先利用特征提取网络ResNet进行特征提取,得到的特征图用F表示,然后经过弱监督注意力学习获得M张注意力图Ak,统称为注意力图A,即并进行数据增强,再将数据增强后的注意力图Ak和特征图F按元素逐一点乘融合,获得对应的局部特征图Fk即Fk=Ak⊙F,最后逐一进行全局池化处理提取对应的局部特征fk,并将各个局部特征fk进行拼接,获得特征矩阵P。

3.根据权利要求2所述的用于小差异课堂行为的识别方法,其特征在于:采...

【技术特征摘要】

1.一种用于小差异课堂行为的识别方法,其特征在于包括以下步骤:

2.根据权利要求1所述的用于小差异课堂行为的识别方法,其特征在于:将输入slow路径的监控图像先利用特征提取网络resnet进行特征提取,得到的特征图用f表示,然后经过弱监督注意力学习获得m张注意力图ak,统称为注意力图a,即并进行数据增强,再将数据增强后的注意力图ak和特征图f按元素逐一点乘融合,获得对应的局部特征图fk即fk=ak⊙f,最后逐一进行全局池化处理提取对应的局部特征fk,并将各个局部特征fk进行拼接,获得特征矩阵p。

3.根据权利要求2所...

【专利技术属性】
技术研发人员:范涛阚港辉侯世维王国中沈怡君
申请(专利权)人:上海工程技术大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1