【技术实现步骤摘要】
本专利技术涉及计算机视觉和机器学习，具体而言，涉及一种多视图实例-语义共识挖掘的异常行为识别方法和设备。
技术介绍
1、利用计算机视觉技术识别学生课堂异常行为，可以为教师提供更加及时、准确的学生行为信息，便于教师及时采取措施进行干预和引导，有助于提高教学质量和保障学生安全。
2、现有的基于计算机视觉技术的学生课堂异常行为识别方法主要针对单一视图数据进行分析，存在识别失败或对象丢失的局限性。单视图方法只能分析一个固定的视图，在复杂的环境中，一个视图可能无法完全捕捉到物体的所有细节和特征，从而影响识别的准确性和可靠性。当对象物体被其他物体遮挡时，单视图方法可能无法完整地识别对象。这种条件下，识别失败或对象丢失的情况就可能发生。为了解决现有的学生异常行为识别方法存在识别失败或对象丢失的局限性的问题。
3、多视图学习是一种机器学习方法，它能够从多个来源或视图中获取数据的多重信息，从而更全面地理解学习问题，其中每个视图都包含对原始数据的独特视角和信息。多视图学习能够捕捉到数据间的复杂模式和结构，从而提供更丰富、更精确的信息...
【技术保护点】
1.一种多视图实例-语义共识挖掘的异常行为识别方法，其特征在于，包含：
2.根据权利要求1所述的一种多视图实例-语义共识挖掘的异常行为识别方法，其特征在于，根据所述课堂的多个视角的监控视频流，通过目标检测模型提取学生图像，获取多视图数据集，具体包括：
3.根据权利要求1所述的一种多视图实例-语义共识挖掘的异常行为识别方法，其特征在于，根据所述各个视图中的学生图像的潜在特征编码，分别通过实例编码器和语义编码器进行特征提取，获取各个视图中的学生图像的实例特征和语义特征，具体包括：
4.根据权利要求1所述的一种多视图实例-语义共识挖掘的异...
【技术特征摘要】
1.一种多视图实例-语义共识挖掘的异常行为识别方法，其特征在于，包含：
2.根据权利要求1所述的一种多视图实例-语义共识挖掘的异常行为识别方法，其特征在于，根据所述课堂的多个视角的监控视频流，通过目标检测模型提取学生图像，获取多视图数据集，具体包括：
3.根据权利要求1所述的一种多视图实例-语义共识挖掘的异常行为识别方法，其特征在于，根据所述各个视图中的学生图像的潜在特征编码，分别通过实例编码器和语义编码器进行特征提取，获取各个视图中的学生图像的实例特征和语义特征，具体包括：
4.根据权利要求1所述的一种多视图实例-语义共识挖掘的异常行为识别方法，其特征在于，多视图实例-语义共识挖掘的异常行为识别方法的模型训练时，在实例特征上使用对比学习最大化属于同一实例的多视图数据之间的一致性，以使同一学生的多视图数据在实例特征空间上的距离尽量接近；
5.根据权利要求4所述的一种多视图实例-语义共识挖掘的异常行为识别方法，其特征在于，视图实例-语义共识挖掘的异常行为识别方法的模型训练时，在实例特征上使用对比学习最大化属于同一实例的多视图数据之间的一致性，以使同一学生的多视图数据在实例特征空间上的距离尽量接近，具体包括：
6...
【专利技术属性】
技术研发人员：田罗，柳欣，徐素文，腾先超，黄忠湖，
申请(专利权)人：天度厦门科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。