【技术实现步骤摘要】
本专利技术属于智慧教育，具体涉及一种基于多源信息融合的学生课堂状态识别方法。
技术介绍
1、根据“中国教育现代化2035”的理念，高校应积极推进教育改革，构建智能化教育管理体系。使用人工智能技术分析和处理收集的课堂数据已成为一种新的分析方式。这一变化意味着大数据和人工智能技术在教育行业的应用具有很大的可行性。在课堂教学中，人工智能技术可以帮助实现学生行为分析自动化，让教师能够高效且直观地掌握学生学习行为投入的情况，为后续优化教学设计与实施教学干预提供数据支持。用信息化技术对课堂中学生的状态进行检测、处理和分析，不仅可以提醒学生规范在课堂上的行为，还可以反映课堂活跃程度，帮助教师改善教学方式。
2、传统的学生课堂学习状态监测是以人工观察记录实现的，效率低下。并且在人数多的大课堂中老师往往无法及时用肉眼关注到每一个学生的学习状态，如经常低头、玩手机等不集中注意力的行为；困惑、低落等不积极的情绪，进而影响教学效果。同时，课堂场景中产生的大量数据无法充分利用。
3、此外，目前利用人工智能进行课堂场景的学生学习状态分析都是针对单模态进行。这种单一视频特征或者生理信息特征的状态识别分类存在误差干扰大、样本数据非平稳泛化误差以及视频采集角度、光线变化、物体遮挡等导致识别率低等问题，且学生的生理信息水平具有个体化差异，分析学生的生理数据与课堂状态之间的关联很有必要性。
4、因此，为了能够更加准确、全面地识别学生课堂学习状态，急需一种高效便捷、满足学生个体化差异的多源数据融合课堂状态识别方法来实现对课堂学习状态
技术实现思路
1、(一)解决的技术问题
2、针对现有技术中存在的上述缺陷，本专利技术提供了一种基于多源信息融合的课堂状态识别方法，通过摄像头采集学生在课堂中的视频数据，利用yolo v5+轻量级openpose的方法进行目标检测和动作识别，然后对动作识别结果进行特征提取，送入分类器进行分类，在课堂中学生同步佩戴手环，采集学生体温、心率、血压三种生理信息，在手环内置有传感器，通过nbiot网络，使用api接口在后台接收数据数据传入服务器，对体温、心率、血压三种信息数据进行解码、提取特征并按生理信息类别分类整理成excel表格的形式，将csv格式的表格数据送入分类器进行状态分类，二者加权融合实现视频模态与数字信号模态之间的互补与融合，选用不同的分类算法构建分类模型，通过准确率和f1衡量最终分类标准，最终实现课堂学习状态的精准检测。
3、(二)技术方案
4、本专利技术为了实现上述目的具体采用以下技术方案：
5、一种基于多源信息融合的学生课堂状态识别方法，具体包括如下步骤：
6、步骤1：使用摄像头连接计算机，采集学生课堂视频作为视频数据源，并将视频截取成视频帧图像；通过学生佩戴手环采集学生在视频录制期间的动态生理信息数据作为生理信息数据源；
7、步骤2：视频数据方面，利用yolo v5算法进行目标检测，然后采用轻量级openpose算法进行人体姿态估计，提取到每个学生的人体骨骼关节点(x,y)特征并记录，还要对数据进行归一化处理，使各关键点的坐标不受学生于教室的具体位置影响；生理信息数据方面，对收集到的数据分类整理并对同一时间点检测到的行为同步进行行为状态标记；
8、步骤3：归一化后得到每个人的关键点坐标值以及对应的行为标签，把训练数据送入svm分类器进行学习，得到课堂行为分类结果；从完整的生理信号中提取出最能代表该信号的特征，使用随机森林对生理信号进行特征提取；
9、步骤4：使用多模态特征融合方法中的晚融合策略，将得到的课堂行为分类结果与整理后的手环采集的生理数据经过特征提取再通过随机森林分类器得到的分类结果进行融合，最后得到整体的学生课堂状态识别结果；
10、步骤5：通过准确率和f1值评估最终的学习状态识别效果，实现课堂学习状态的精准检测。
11、进一步地，所述步骤1中采集的视频为大学生在两间教室共32学时的课堂真实场景视频数据，后台对超过70g的数据进人工筛选统计，使用labelimg进行数据标注，以10s为单位，对原始视频进行剪辑并使用ffmpeg将视频按帧进行切分；
12、所述定制的手环设备内置关于心率、体温、血压的不同传感器，视频录制过程中后台同步实时获取每位学生的生理信息数据，通过nbiot网络，使用api接口将生理信息数据发送至服务器接收，解析并保存至csv文件中，考虑到课堂时长与分析效果，数据发送频率设置为每隔十分钟一次。
13、进一步地，所述步骤2中yolo v5算法进行的目标检测用于框选出学生所在位置，轻量级openpose算法进行的人体关节点检测选取coco数据格式的18个人体关节点中上半身的14个关节点作为检测目标，将在每帧上将人体骨骼关键点的x和y坐标提取出来，数据归一化具体方法如下式所示：
14、w＝xmax-xmin(1)
15、h＝ymax-ymin(2)
16、
17、
18、cn＝ci(5)
19、其中，xmax和ymax分别是某人14个关键点中最大的横纵坐标值(不一定是同一个关键点)；xmin和ymin分别是某人14个关键点中最小的横纵坐标值(不一定是同一个关键点)；xi和yi分别是某人某关键点未归一化前的横纵坐标值，ci是某人某关键点未归一化前的置信度；xn和yn分别是某人某关键点归一化后的横纵坐标值，cn是某人某关键点归一化后的置信度；
20、所述生理数据首先根据采集到的数据中的type值，将所有的信息数据分成包含体温、心率、血压的3个csv文件，然后根据openpose人体姿态估计算法结合svm分类器对学生课堂行为识别的结果，筛选出每名学生在不同行为时间段内的体温、心率、血压(舒张压、收缩压)四项数据，对其进行行为状态标记。
21、进一步地，所述步骤3中svm分类器具体使用的是python中sklearn包的svc函数，核函数选择rbf核，其余参数默认，将训练集输入openpose网络，根据人体关节点，得到听讲、低头、交谈、打哈欠和睡觉的姿态。抬头可认为是认真听课的表现，低头和交谈通常同不专心的行为产生联系，例如低头玩手机、交头接耳等行为，最终得到每个人属于5个行为类别其中某个类别各自的概率值，取其中最大的概率值所在在类别即为识别得到的行为；
22、使用随机森林方法时，将测试数据集在每个决策树上运行，得到每个决策树的预测结果，然后对分类模型进行投票，计算每个预测结果的得票数，选择得票数最高的模型作为最终决策。
23、进一步地，所述步骤4中的晚融合策略，具体是利用yolo v5算法和轻量级openpose算法提取行为特征，利用svm和随机森林提取生理数据特征，经过一维卷积操作获取相同维度的单模态特征表示，特征融合方面，使用联合特征分别调整单模态特征的权重，将两者拼接后获得多模态融合特征，最本文档来自技高网...
【技术保护点】
1.一种基于多源信息融合的学生课堂状态识别方法，其特征在于，具体包括如下步骤：
2.根据权利要求1所述的一种基于多源信息融合的学生课堂状态识别方法，其特征在于，所述步骤1中采集的视频为大学生在两间教室共32学时的课堂真实场景视频数据，后台对超过70G的数据进人工筛选统计，使用Labelimg进行数据标注，以10s为单位，对原始视频进行剪辑并使用FFmpeg将视频按帧进行切分；
3.根据权利要求1所述的一种基于多源信息融合的学生课堂状态识别方法，其特征在于，所述步骤2中yolov5算法进行的目标检测用于框选出学生所在位置，轻量级OpenPose算法进行的人体关节点检测选取COCO数据格式的18个人体关节点中上半身的14个关节点作为检测目标，将在每帧上将人体骨骼关键点的x和y坐标提取出来，数据归一化具体方法如下式所示：
4.根据权利要求1所述的一种基于多源信息融合的学生课堂状态识别方法，其特征在于，所述步骤3中SVM分类器具体使用的是python中sklearn包的SVC函数，核函数选择RBF核，其余参数默认，将训练集输入OpenPose网络，根据
5.根据权利要求1所述的一种基于多源信息融合的学生课堂状态识别方法，其特征在于，所述步骤4中的晚融合策略，具体是利用yolo v5算法和轻量级OpenPose算法提取行为特征，利用SVM和随机森林提取生理数据特征，经过一维卷积操作获取相同维度的单模态特征表示，特征融合方面，使用联合特征分别调整单模态特征的权重，将两者拼接后获得多模态融合特征，最终输入到全连接层中进行学生课堂状态识别。
6.根据权利要求1所述的一种基于多源信息融合的学生课堂状态识别方法，其特征在于，所述步骤5中准确率和F1值的具体公式如下：
...【技术特征摘要】
1.一种基于多源信息融合的学生课堂状态识别方法，其特征在于，具体包括如下步骤：
2.根据权利要求1所述的一种基于多源信息融合的学生课堂状态识别方法，其特征在于，所述步骤1中采集的视频为大学生在两间教室共32学时的课堂真实场景视频数据，后台对超过70g的数据进人工筛选统计，使用labelimg进行数据标注，以10s为单位，对原始视频进行剪辑并使用ffmpeg将视频按帧进行切分；
3.根据权利要求1所述的一种基于多源信息融合的学生课堂状态识别方法，其特征在于，所述步骤2中yolov5算法进行的目标检测用于框选出学生所在位置，轻量级openpose算法进行的人体关节点检测选取coco数据格式的18个人体关节点中上半身的14个关节点作为检测目标，将在每帧上将人体骨骼关键点的x和y坐标提取出来，数据归一化具体方法如下式所示：
4.根据权利要求1所述的一种基于多源信息融合的学生课堂状态识别方法，其特征在于，所述步骤3中svm分类器具体使用的是python中skle...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。