【技术实现步骤摘要】
本专利技术涉及智能识别的,具体来说,是一种用于小差异课堂行为的识别方法。
技术介绍
1、近年来不少研究者采用计算机视觉技术来识别学生的课堂行为,提出运用计算机视觉检测课堂行为的系统来实现了从监控视频到行为检测,最后反馈输出的一套完整系统即通过行为识别技术,从课堂的监控视频中准确识别出学生行为,进而分析出学生的上课状态,便于管理和总结出课堂学生在各阶段的学习表现。
2、基于深度学习进行的行为识别需要有相对应的行为数据集,目前行为识别数据集的制作和方式主要分为两种:一种是基于图片制作的数据集进行的识别,这种数据集的制作优势在于数据标注量小、训练时计算量较小,但这种数据集无法对行为进行时域分析且对连续性的动作难以做出准确的判断,常被用于传统的图像检测网络在行为识别方向上的应用上,如基于faster r-cnn的课堂行为识别;另一种是根据视频制作的数据集进行识别,这种数据集的发展随着动作识别、时序行为识别、时空行为识别的研究取得了较大的进展,也是目前主流的行为数据集的采集方式,制作专用于学生课堂行为识别的数据集对改进基于深度学习的课
...【技术保护点】
1.一种用于小差异课堂行为的识别方法,其特征在于包括以下步骤:
2.根据权利要求1所述的用于小差异课堂行为的识别方法,其特征在于:将输入Slow路径的监控图像先利用特征提取网络ResNet进行特征提取,得到的特征图用F表示,然后经过弱监督注意力学习获得M张注意力图Ak,统称为注意力图A,即并进行数据增强,再将数据增强后的注意力图Ak和特征图F按元素逐一点乘融合,获得对应的局部特征图Fk即Fk=Ak⊙F,最后逐一进行全局池化处理提取对应的局部特征fk,并将各个局部特征fk进行拼接,获得特征矩阵P。
3.根据权利要求2所述的用于小差异课堂行为的识别
...【技术特征摘要】
1.一种用于小差异课堂行为的识别方法,其特征在于包括以下步骤:
2.根据权利要求1所述的用于小差异课堂行为的识别方法,其特征在于:将输入slow路径的监控图像先利用特征提取网络resnet进行特征提取,得到的特征图用f表示,然后经过弱监督注意力学习获得m张注意力图ak,统称为注意力图a,即并进行数据增强,再将数据增强后的注意力图ak和特征图f按元素逐一点乘融合,获得对应的局部特征图fk即fk=ak⊙f,最后逐一进行全局池化处理提取对应的局部特征fk,并将各个局部特征fk进行拼接,获得特征矩阵p。
3.根据权利要求2所...
【专利技术属性】
技术研发人员:范涛,阚港辉,侯世维,王国中,沈怡君,
申请(专利权)人:上海工程技术大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。