【技术实现步骤摘要】
本说明书涉及通信及人工智能，尤其涉及一种课堂行为表现分析方法、装置及设备。
技术介绍
1、随着教育领域的发展和科学技术的进步，越来越多的学校和教育机构开始关注师/生的课堂参与表现。传统的教学评估方法主要依靠教师的主观观察和评估，存在主观性和局限性，无法全面准确地评估师/生在课堂中的表现，所以需要一种更加高效准确的方法来评估课堂师/生表现的行为。
技术实现思路
1、为克服相关技术中存在的问题，本说明书提供了一种课堂行为表现分析方法、装置及设备。
2、基于本专利技术实施例的一方面，本专利技术提供了一种课堂行为表现分析方法，该方法包括：
3、通过视频采集设备采集课堂上的视频流；
4、使用人体姿态识别模型识别视频流中每位被检测人员的姿态信息并将姿态信息放入追踪队列，所述姿态信息至少包括人体区域位置和人体关键点信息；
5、基于姿态信息提取与目标行为相关的肢体关键点信息和/或肢体区域图片，使用目标行为分类模型识别被检测人员是否实施了目标行为；
6、根据目标行为的识别结果统计课堂上被检测人员各类目标行为发生的次数，基于统计结果对被检测人员的课堂表现进行综合评估。
7、进一步地，所述目标行为包括学生的举手行为，所述使用目标行为分类模型识别被检测人员是否实施了目标行为的步骤包括：
8、从人体姿态识别模型识别的人体关键点信息中提取出手臂关键点信息，根据手臂关键点信息从视频图像中提取出手臂区域图片；
9、将手
10、进一步地，所述目标行为包括站立行为，所述使用目标行为分类模型识别被检测人员是否实施了目标行为的步骤包括：
11、从人体姿态识别模型识别的人体关键点信息中提取出躯干关键点信息；
12、将躯干关键点信息输入站立行为分类模型以识别被检测人员是否实施了站立行为。
13、进一步地，所述站立行为分类模型包括站立关键点分类子模型和质心分类子模型，由站立关键点分类子模型基于躯干关键点信息识别被检测人员是否实施了站立行为；
14、所述方法还包括；将所有身体躯干关键点的加权平均值作为人体质心关键点，由质心分类子模型根据多帧图像检测人体质心关键点在高度上的变化趋势，当人体质心关键点由下至上超过预设的质心阈值时，识别为被检测人员实施的站立行为；
15、站立行为分类模型综合站立关键点分类子模型和质心分类子模型的识别结果来判别被检测人员是否实施了站立行为。
16、进一步地，所述目标行为包括说话行为，所述使用目标行为分类模型识别被检测人员是否实施了目标行为具体为：
17、从人体姿态识别模型识别的人体关键点信息中提取出人脸关键点信息，根据人脸关键点信息从视频图像中提取出人脸区域图片；
18、将人脸区域图片输入说话行为分类模型中的嘴巴关键点提取模型，提取出嘴巴关键点信息；
19、使用说话行为分类模型中的说话行为识别子模型对被检测人员的多帧图像中提取的嘴巴关键点信息进行识别，识别被检测人员是否实施了说话行为。
20、进一步地，所述目标行为包括回答问题行为，所述目标行为分类模型包括举手行为分类模型、站立行为分类模型、说话行为分类模型和回答问题行为分类模型；
21、所述回答问题行为分类模型在预设时间窗口内，根据举手行为分类模型、站立行为分类模型和说话行为分类模型的输出结果，判断在预设时间窗口内被检测人员是否先后实施了举手行为、站立行为和说话行为，综合各模型的识别结果来判断被检测人员是否实施了回答问题行为。
22、进一步地，所述目标行为包括专注听课行为，目标行为分类模型还包括瞳孔检测模型，所述使用目标行为分类模型识别被检测人员是否实施了目标行为的步骤还包括：
23、从人体姿态识别模型识别的人体关键点信息中提取出人脸关键点信息，根据人脸关键点信息从视频图像中提取出人脸区域图片；
24、使用瞳孔检测模型对人脸区域图片进行检测识别，检测瞳孔的区域位置，根据瞳孔位置和大小的变化来判断学生是否注视前方黑板，从而判断学生是否专注听课。
25、进一步地，所述根据目标行为的识别结果统计课堂上被检测人员各类目标行为发生的次数，基于统计结果对被检测人员的课堂表现进行综合评估的步骤包括：
26、使用综合判断模块收集在上课时间段内，举手行为分类模型、站立行为分类模型、说话行为分类模型、回答问题行为分类模型和瞳孔检测模型的输出结果，统计在上课时间段内被检测人员的举手行为次数、站立行为次数、回答问题行为次数、专注听课行为次数，结合各目标行为的权重，综合评估被检测人员在课堂上的表现。
27、基于本专利技术实施例的另一方面，本专利技术还提供了一种课堂行为表现分析装置，所述装置包括：
28、视频采集模块，用于采集课堂上的视频流；
29、姿态识别模块，用于使用人体姿态识别模型识别视频流中每位被检测人员的姿态信息并将姿态信息放入追踪队列，所述姿态信息至少包括人体区域位置和人体关键点信息；
30、行为识别模块，用于基于姿态信息提取与目标行为相关的肢体关键点信息和/或肢体区域图片，使用目标行为分类模型识别被检测人员是否实施了目标行为；
31、综合判断模块，用于根据目标行为的识别结果统计课堂上被检测人员各类目标行为发生的次数，基于统计结果对被检测人员的课堂表现进行综合评估。
32、基于本专利技术实施例的另一方面，本专利技术还提供一种用于设施上述课堂行为表现分析的电子设备，包括处理器、通信接口、存储介质和通信总线，其中，处理器、通信接口、存储介质通过通信总线完成相互间的通信；
33、存储介质，用于存放计算机程序；
34、处理器，用于执行存储介质上所存放的计算机程序时，实施上述课堂行为表现分析方法中的步骤。
35、本专利技术利用人工智能机器视觉识别技术辅助识别师/生的课堂行为表现，基于识别结果对师/生的课堂表现进行分析评估。本专利技术首先使用经过训练的人体姿态识别模型识别视频流中每位被检测人员的姿态信息，基于姿态信息提取与目标行为相关的肢体关键点信息和/或肢体区域图片，使用目标行为分类模型识别被检测人员是否实施了目标行为。目标行为包括但不限于举手、站立、回答问题和注视前方黑板等行为。根据目标行为的识别结果统计课堂上被检测人员各类目标行为发生的次数，基于统计结果对被检测人员的课堂表现进行综合评估。本专利技术能够让学校更全面地了解老师/学生在课堂中的行为和表现，为学校提供老师/学生在课堂上的客观的评估依据。通过自动化的行为识别和分析，可以减轻教师的工作负担，并为个性化教学、学生辅导和课堂管理提供有价值的数据和指导。本专利技术提供的技术方案可广泛本文档来自技高网...
【技术保护点】
1.一种课堂行为表现分析方法，其特征在于，该方法包括：
2.根据权利要求1所述的方法，其特征在于，所述目标行为包括学生的举手行为，所述使用目标行为分类模型识别被检测人员是否实施了目标行为的步骤包括：
3.根据权利要求1所述的方法，其特征在于，所述目标行为包括站立行为，所述使用目标行为分类模型识别被检测人员是否实施了目标行为的步骤包括：
4.根据权利要求3所述的方法，其特征在于，所述站立行为分类模型包括站立关键点分类子模型和质心分类子模型，由站立关键点分类子模型基于躯干关键点信息识别被检测人员是否实施了站立行为；
5.根据权利要求1所述的方法，其特征在于，所述目标行为包括说话行为，所述使用目标行为分类模型识别被检测人员是否实施了目标行为具体为：
6.根据权利要求1所述的方法，其特征在于，所述目标行为包括回答问题行为，所述目标行为分类模型包括举手行为分类模型、站立行为分类模型、说话行为分类模型和回答问题行为分类模型；
7.根据权利要求6所述的方法，其特征在于，所述目标行为包括专注听课行为，目标行为分类模型还包括瞳
8.根据权利要求7所述的方法，其特征在于，所述根据目标行为的识别结果统计课堂上被检测人员各类目标行为发生的次数，基于统计结果对被检测人员的课堂表现进行综合评估的步骤包括：
9.一种课堂行为表现分析装置，其特征在于，所述装置包括：
10.一种电子设备，其特征在于，包括处理器、通信接口、存储介质和通信总线，其中，处理器、通信接口、存储介质通过通信总线完成相互间的通信；
...【技术特征摘要】
1.一种课堂行为表现分析方法，其特征在于，该方法包括：
2.根据权利要求1所述的方法，其特征在于，所述目标行为包括学生的举手行为，所述使用目标行为分类模型识别被检测人员是否实施了目标行为的步骤包括：
3.根据权利要求1所述的方法，其特征在于，所述目标行为包括站立行为，所述使用目标行为分类模型识别被检测人员是否实施了目标行为的步骤包括：
4.根据权利要求3所述的方法，其特征在于，所述站立行为分类模型包括站立关键点分类子模型和质心分类子模型，由站立关键点分类子模型基于躯干关键点信息识别被检测人员是否实施了站立行为；
5.根据权利要求1所述的方法，其特征在于，所述目标行为包括说话行为，所述使用目标行为分类模型识别被检测人员是否实施了目标行为具体为：
6.根据权利要求1所述的方法...
【专利技术属性】
技术研发人员：吴杰，
申请(专利权)人：新华三智能终端有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。