一种基于多模态数据融合的学生课堂异常行为检测方法及检测系统技术方案

本发明专利技术公开了一种基于多模态数据融合的学生课堂异常行为检测方法，该方法包括对课堂视频中的学生表情数据和肢体数据进行预处理和兴趣区域选择，使用LBP直方图作为课堂学生表情特征描述，采用单类支持向量机(One

【技术实现步骤摘要】
一种基于多模态数据融合的学生课堂异常行为检测方法及检测系统


[0001]本专利技术属于教育信息化
，尤其涉及一种基于多模态数据融合的学生课堂异常行为检测方法及检测系统。

技术介绍

[0002]作为众灵之长，人类可以利用视觉系统、听觉系统、嗅觉系统和触觉系统等感官系统来接受来自外界环境的信息，通过多模态信息合成，在大脑内形成现实世界的“镜像”。生物信息处理系统可以抑制环境噪声，从每个感觉系统中提取关键信息，解决信息冲突进行决策。智能机器亦可以通过多种信息通道从外部环境中接收多模态信息，例如，视频信息、音频信息等，但人工智能与人类在多模态数据处理能力上还有很大差距，多模态数据融合中仍存在诸多问题亟需解决，例如，抑制不同模态数据中的不同噪声，多模态数据之间的信息冲突问题以及如何融合多模态数据以提高最终识别或者决策的精度。可见，融合多模态数据有助于解决歧义，进而提高智能决策的精度。
[0003]在教育领域，多模态学习分析(Multimodal Learning Analytics，MMLA)侧重于收集和分析从学习过程的不同方面获得各种痕迹本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态数据融合的学生课堂异常行为检测方法，其特征在于，所述方法包括：步骤一、通过课堂摄像机获取学生在课堂学习过程中的视频数据；步骤二、对步骤一中获得的课堂视频数据进行预处理；步骤三、将步骤二预处理后的图像进行二值化，选择视频流的每一帧图像中的兴趣区域，集中提取学生行为特征；步骤四、将上述处理完成的课堂视频流数据分别采用局部二值法LBP和光流直方图法HOFO分别提取学生课堂中的表情特征向量和肢体特征向量；步骤五、将获得的学生课堂表情特征向量和肢体特征向量分别输入单分类支持向量机OCSVM分类器中进行分类，得到课堂学生行为是否异常的分类结果；步骤六、将表情和肢体的两模态分类结果进行逻辑融合，得到最终课堂异常行为检测结果。2.根据权利要求1所述的方法，其特征在于，步骤二中，所述预处理包括图像灰度化、视频图像分辨率调整、视频图像大小归一化、视频噪音去除；所述图像灰度化是指用一个数值取代彩色图像R、G、B三个分量值，以表示图像像素点颜色深度，范围取值为[0,255]；所述视频图像分辨率调整至256*1169，保证图像清晰；所述视频图像大小归一化是指将不同的视频图像调整为像素值一样的大小；所述视频图像噪音去除是指去除图像数据中的不必要的或者多余的信息。3.根据权利要求1所述的方法，其特征在于，步骤三中，所述二值化是指将图像转化为非黑即白两种颜色的表示模式，像素点的颜色深度为0或者255；视频中的感兴趣区域采用最大类间差法选择。4.根据权利要求1所述的方法，其特征在于，步骤四中，所述局部二值法LBP通过将图像中心像素P的灰度值与相邻像素的灰度值进行比较来计算像素值，公式表达如下：L≈l(s(n0‑
n
c
),...,s(n7‑
n
c
))，其中，L表示通过计算得到的数值，l(x)表示单个s(x)计算结果，n0表示窗口中除中心像素之外的像素值，n
c
表示中心像素值，5.根据权利要求1所述的方法，其特征在于，步骤四中，光流直方图法HOFO中描述符的计算是以块block为单位的，包括b
w
×
b
h
个胞体cell，每个cell中包含c
w
×
c
h
个像素，把胞体内的每个像素用光流方向映射到固定的角度范围，使用统计直方图进行统计，获得整个胞体的光流直方图；然后把几个胞体组合成块，一个块内的所有胞体的特征描述符串联起来便得到该块的HOFO特征描述符。6.根据权利要求1所述的方法，其特征在于，步骤五中，所述单分类支持向量机是通用支持向量机的一种特殊变体，只需要使用正常或者异常中的一类样本进行训练；分别设置并训练对应于表情特征向量和肢体特征向量的表情异常检测器和肢体异常检测器，即表情异常分类支持向量机和肢体异常分类支持向量机；表情异常包括哭泣、厌恶、目光呆滞、鬼表情；肢体异常包括吃东西、玩手机、用手推、拳头打人、站立、挥手、打哈欠。
7.根据权利要求6所述的方法，其特征在于，单分类支持向量机OCSVM旨在建立一个决策边界，该边界在正常数据集和原点之间具有最大距离；通过正常样本数据集训练出最佳学习边界，包括几乎所有的正常行为样...

【专利技术属性】
技术研发人员：郭胜男，吴永和，
申请(专利权)人：上海熙育信息科技有限公司，
类型：发明
国别省市：