一种基于多模态的二阶段学生起立检测方法技术

技术编号：45855125 阅读：14 留言：0更新日期：2025-07-19 11:14

本发明专利技术提供一种基于多模态的二阶段学生起立检测方法，通过二阶段的处理和分析，提高学生起立状态检测的准确性和稳定性。本发明专利技术包括以下步骤：一：1)、将图像进行预处理成第一分辨率大小，再缩放到第二分辨率大小；2)、神经网络检测出图像中的所有学生的位置；二：1)、分别以每个学生的人脸框或人头框的中心点作为聚类点进行聚类；2)、计算最大偏移量；3)、如果最大偏移量大于一阶段起立阈值，表示满足一阶段过滤条件；三：1)、计算出第二分辨率图像中学生人脸或人头位置在第一分辨率图像上对应的位置；2)、获取第一分辨率图像上的学生人体位置；3)、将学生人体位置框抠出并等比例缩放到第三分辨率大小,输入到多模态模型，模型对学生姿态分类。

全部详细技术资料下载

【技术实现步骤摘要】

本专利技术涉及一种基于多模态的二阶段学生起立检测方法。

技术介绍

1、当前，学生行为监测在教育领域中扮演着重要角色，而基于多模态数据处理的方法成为了研究的热点。

2、在学生起立检测方面，现有技术主要采用基于深度学习的目标检测、关键点和分类检测等算法，如申请号为202310990752.6，名称为一种轻量高效的课堂学生起立坐下检测方法及系统的中国专利所示。然而，仅仅依赖单一的图像识别方法具有很大的局限性，这些方法在复杂场景下往往难以准确判断学生的起立状态，容易受到环境干扰或误判。

技术实现思路

1、本专利技术的目的在于克服现有技术中存在的上述不足，提供一种基于多模态的二阶段学生起立检测方法，通过二阶段的处理和分析，提高学生起立状态检测的准确性和稳定性。

2、本专利技术解决上述问题所采用的技术方案是：

3、一种基于多模态的二阶段学生起立检测方法，其特征在于：包括以下步骤：

4、步骤一，确定学生人头位置，包括以下步骤：

5、1)、在教室

【技术保护点】

1.一种基于多模态的二阶段学生起立检测方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的基于多模态的二阶段学生起立检测方法，其特征在于：步骤一2)中，先将图像进行处理成1920*1080分辨率大小，随后将处理好的图像拷贝两份，一份分辨率不变用于步骤三2)中的抠图操作，另一份等比例缩放到分辨率960*512大小后作为神经网络的输入。

3.根据权利要求1所述的基于多模态的二阶段学生起立检测方法，其特征在于：步骤一3)中，在人头人脸框都能检测到情况下，使用IOU匹配方式来匹配学生的人头框和人脸框，从而确定是否为同一学生，并确定其位置。