【技术实现步骤摘要】
本申请涉及计算机视觉和行为识别，特别是涉及到一种学生小组讨论行为识别方法、装置、设备及存储介质。
技术介绍
1、在教室场景中，课堂观察系统是一种实现智慧教育课堂的重要系统，课堂观察系统通过教室场景中的相机，利用计算机视觉等技术对课堂中的学生和老师的行为进行分析，给出课堂质量相关数据(例如，学生参与度，学生学习状态，教学技巧，教师表现力)，以此作为教学反馈的一部分，以促进教师发展。在课堂观察系统中，教师通过引导学生进行小组讨论的方式以达到促使学生思考和交流作用，故课堂中是否进行适当的小组讨论，是衡量一门课程的教学技巧的和学生参与度的一个重要指标，这使得如何识别出课堂中的学生的小组讨论行为显得格外重要。
2、现有的涉及学生小组讨论的行为识别方法对于学生小组讨论行为识别存在诸多问题，其中主要问题包括：现有的方法主要基于个体行为识别，而对于群体行为识别没有给出太多解决方案；现有学生行为识别方法更多是一种通用行为识别方法，用于识别多种行为，然而不同行为有其自身特性，不针对其特性设计，容易导致精度不足的问题，而过度依赖于算法模型则导致算法效率下降。
技术实现思路
1、本申请的主要目的为提供一种学生小组讨论行为识别方法、装置、设备及存储介质，旨在解决现有技术中缺少针对像学生小组讨论这一类群体行为的识别方法和行为识别效率低的技术问题。
2、为了实现上述专利技术目的，本申请提出一种学生小组讨论行为识别方法，所述方法包括：
3、获取包含学生行为的视频，对所述视频进行
4、对所述第一视频帧图像中的每个学生的关键点进行检测定位，得到所述第一视频帧图像中所有学生的人体关键点；
5、根据所述人体关键点，分析每个学生的个体姿态，判断每个学生的姿态是否为小组讨论姿态；
6、若所述第一视频帧图像中有学生处于小组讨论姿态，则统计所述第一视频帧图像中处于小组讨论姿态的学生人数，根据所述学生人数，判断所述第一视频帧图像中学生是否可能在进行小组讨论；
7、将学生可能在进行小组讨论的第一视频帧图像作为第二视频帧图像，根据多个所述第二视频帧图像判断学生是否在进行小组讨论。
8、进一步地，所述对所述第一视频帧图像中的每个学生的关键点进行检测定位，得到所述第一视频帧图像中所有学生的人体关键点的步骤，包括：
9、使用人体关键点检测模型对每个学生的左眼，右眼，鼻子，左肩和右肩进行检测定位，得到视频帧图像中所有学生的人体关键点。
10、进一步地，所述根据所述人体关键点，分析每个学生的个体姿态，判断每个学生的姿态是否为小组讨论姿态的步骤，包括：
11、获取所述人体关键点中的左眼，右眼和鼻子的位置；
12、根据所述左眼，右眼和鼻子的位置，判断学生的姿态是否为小组讨论姿态。
13、进一步地，所述根据所述人体关键点，分析每个学生的个体姿态，判断每个学生的姿态是否为小组讨论姿态的步骤，包括：
14、获取所述人体关键点中的左肩和右肩的位置；
15、根据所述左肩和右肩的位置计算人体肩部向量；
16、根据所述人体肩部向量和所述第一视频帧图像横坐标的夹角，判断所述夹角是否满足第一阈值；
17、当所述夹角满足第一阈值时，判定学生的姿态是小组讨论姿态。
18、进一步地，所述若所述第一视频帧图像中有学生处于小组讨论姿态，则统计所述第一视频帧图像中处于小组讨论姿态的学生人数，根据所述学生人数，判断所述第一视频帧图像中学生是否可能在进行小组讨论的步骤，包括：
19、获取学生的姿态是小组讨论姿态的学生数量，设为第一学生数量；
20、根据所述人体关键点，确定所述第一视频帧图像中的学生总数量，设为第二学生数量；
21、根据所述第一学生数量和所述第二学生数量，计算当前处于小组讨论的概率；
22、当所述概率大于或等于第二阈值时，判定当前可能在进行小组讨论。
23、进一步地，所述获取包含学生行为的视频，对所述视频进行采样，得到第一视频帧图像的步骤，包括：
24、根据所述视频的视频帧率，设定第一帧数；
25、间隔第一帧数对所述视频进行采样，得到第一视频帧图像。
26、进一步地，所述将学生可能在进行小组讨论的第一视频帧图像作为第二视频帧图像，根据多个所述第二视频帧图像判断学生是否在进行小组讨论的步骤，包括：
27、获取第二视频帧图像对应的帧数序列；
28、判断所述帧数序列是否连续；
29、若连续，则判断所述帧数序列的连续帧数长度是否大于或等第三阈值；
30、若所述连续帧数长度大于或等第三阈值，判定所述连续帧数长度对应的时间中学生在进行小组讨论。
31、本申请还提供了一种学生小组讨论行为识别装置，所述装置包括：
32、视频帧图像获取模块，用于获取包含学生行为的视频，对所述视频进行采样，得到第一视频帧图像；
33、人体关键点获取模块，用于对所述第一视频帧图像中的每个学生的关键点进行检测定位，得到所述第一视频帧图像中所有学生的人体关键点；
34、学生姿态判断模块，用于根据所述人体关键点，分析每个学生的个体姿态，判断每个学生的姿态是否为小组讨论姿态；
35、小组讨论判断模块，用于若所述第一视频帧图像中有学生处于小组讨论姿态，则统计所述第一视频帧图像中处于小组讨论姿态的学生人数，根据所述学生人数，判断所述第一视频帧图像中学生是否可能在进行小组讨论；
36、小组讨论确定模块，用于将学生可能在进行小组讨论的第一视频帧图像作为第二视频帧图像，根据多个所述第二视频帧图像判断学生是否在进行小组讨论。
37、本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
38、本申请还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
39、本申请提供的一种学生小组讨论行为识别方法，首先通过人体关键点进行个体姿态分析，再通过群体统计的方式，确定学生是否进行了小组讨论。本申请融合了深度学习优势与行为特性分析规则优势的方法，由于充分利用了深度学习对人体感知能力，并考虑了特定行为的特定规则，使得整个方法泛化性更强，整体性能更佳。针对学生小组讨论的行为特色，通过统计学生转向比例进而判断小组讨论的可能性，不仅避免了过度依赖视频时序特征提取模型的低效，也避免了引入更多深度学习模型，能够更加高效的判断学生是否进行了小组讨论。
本文档来自技高网...【技术保护点】
1.一种学生小组讨论行为识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述的学生小组讨论行为识别方法，其特征在于，所述对所述第一视频帧图像中的每个学生的关键点进行检测定位，得到所述第一视频帧图像中所有学生的人体关键点的步骤，包括：
3.根据权利要求2所述的学生小组讨论行为识别方法，其特征在于，所述根据所述人体关键点，分析每个学生的个体姿态，判断每个学生的姿态是否为小组讨论姿态的步骤，包括：
4.根据权利要求2所述的学生小组讨论行为识别方法，其特征在于，所述根据所述人体关键点，分析每个学生的个体姿态，判断每个学生的姿态是否为小组讨论姿态的步骤，包括：
5.根据权利要求3或4所述的学生小组讨论行为识别方法，其特征在于，所述若所述第一视频帧图像中有学生处于小组讨论姿态，则统计所述第一视频帧图像中处于小组讨论姿态的学生人数，根据所述学生人数，判断所述第一视频帧图像中学生是否可能在进行小组讨论的步骤，包括：
6.根据权利要求1所述的学生小组讨论行为识别方法，其特征在于，所述获取包含学生行为的视频，对所述视频进行采样，得到
7.根据权利要求6所述的学生小组讨论行为识别方法，其特征在于，所述将学生可能在进行小组讨论的第一视频帧图像作为第二视频帧图像，根据多个所述第二视频帧图像判断学生是否在进行小组讨论的步骤，包括：
8.一种学生小组讨论行为识别装置，其特征在于，所述装置包括：
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种学生小组讨论行为识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述的学生小组讨论行为识别方法，其特征在于，所述对所述第一视频帧图像中的每个学生的关键点进行检测定位，得到所述第一视频帧图像中所有学生的人体关键点的步骤，包括：
3.根据权利要求2所述的学生小组讨论行为识别方法，其特征在于，所述根据所述人体关键点，分析每个学生的个体姿态，判断每个学生的姿态是否为小组讨论姿态的步骤，包括：
4.根据权利要求2所述的学生小组讨论行为识别方法，其特征在于，所述根据所述人体关键点，分析每个学生的个体姿态，判断每个学生的姿态是否为小组讨论姿态的步骤，包括：
5.根据权利要求3或4所述的学生小组讨论行为识别方法，其特征在于，所述若所述第一视频帧图像中有学生处于小组讨论姿态，则统计所述第一视频帧图像中处于小组讨论姿态的学生人数，根据所述学生人数，判断所述...
【专利技术属性】
技术研发人员：朱勋沐，王乃洲，张玉兵，谢宗生，马雪浩，
申请(专利权)人：广州视源电子科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。