基于3D人体姿态估计的课堂教学手势识别方法及系统技术方案

本发明专利技术公开了基于3D人体姿态估计的课堂教学手势识别方法及系统。该方法包括步骤：S1，采集教学过程中教师和学生的红外视频流和RGB

【技术实现步骤摘要】
基于3D人体姿态估计的课堂教学手势识别方法及系统


[0001]本专利技术属于模式识别
，更具体地，涉及基于一种3D人体姿态估计的课堂教学手势识别方法及系统。

技术介绍

[0002]第四次工业革命推动社会进入了智能化时代，智慧教室也迅速取代了传统的教学环境，这也为提出新的教学行为评测方法提出了新的挑战。传统的评估方法是评测人员随机挑选某位教师的某堂课后评测，这种评测方法的缺点是很大程度上依赖评测人员，存在主观性，随机性，偶然性及时间地域的限制，难以对教师的教学形成一个长期和客观的成长型分析。将计算机视觉技术应用到教育学领域是新兴的研究方向之一，智慧教室等基本教育设施的普及也为这一研究提供了可能。利用计算机视觉的任务对教师非言语行为的全教学过程的智能化分析，为教学行为评测提供客观的评测结果，对提高评测效率和促进教师教学反思具有重要的意义。
[0003]教师的教学手势识别是课堂教学环境下辅助流畅交互式教学的一种重要方式。这是计算机视觉中一个基础性问题，也是智慧教室环境下教室教学的一种重要的辅助手段。人体姿态估计作为计算机视觉中的一个关键问题，是基于图像的动作识别的基础技术，可广泛的用于游戏化学习、虚拟现实和动作行为识别等领域，受到了广泛的关注。在课堂环境中，长时间的学习时长严重的消耗学生专注度，但通过善用手势，教师可以引导学生注意力，传递情感，辅助课堂教育。
[0004]目前的人体姿态估计方法的局限性体现在两方面。首先，人体姿态估计的数据集缺少深度信息，一般通过双目或者使用网络来预估摄像机内部参数，前者在2D投影到3D时存在歧义，后者需要在数据集中标定内参，而且这两种方法很难实现实时性。另一个局限性在于数据集采集器为可见光摄像头，易受光照变化的影响，当教室环境中的光照发生较大变化时，模型的精度会急剧下降，导致模型的泛化能力较弱，不利于开发实时的教师评测系统。

技术实现思路

[0005]针对现有技术的至少一个缺陷或改进需求，本专利技术提供了一种3D人体姿态估计的课堂教学手势识别方法及系统，可以从教学视频流中获取教师手势信息，识别准确性大大提高。
[0006]为实现上述目的，按照本专利技术的第一方面，提供了一种基于3D人体姿态估计的课堂教学手势识别方法，包括步骤：
[0007]S1，采集教学过程中教师和学生的红外视频流和RGB
‑
D视频流；
[0008]S2，根据红外视频流和RGB
‑
D视频流获取教师行为数据流、教师3D点云数据流、学生行为数据流和学生3D点云数据流；
[0009]S3，将教师行为数据流和教师3D点云数据输入到教师识别模型中，获得教师手势
骨架特征识别结果，将学生行为数据流和学生3D点云数据输入到学生识别模型中，获得学生头部姿态识别结果；
[0010]S4，根据教师手势骨架特征识别结果和学生头部姿态识别结果确定教师教学手势。
[0011]优选地，还包括步骤S5，根据教师教学手势生成电子白板控制指令，或根据教师教学手势输出教师非言语行为技能评价结果。
[0012]优选地，所述S2包括子步骤：
[0013]将教师RGB
‑
D视频流分解为教师RGB视频流和教师3D点云数据流，将学生RGB
‑
D视频流分解为学生RGB视频流和学生3D点云数据流；
[0014]将教师红外视频流和教师RGB视频流进行融合，获得教师行为数据流，将学生红外视频流和学生RGB视频流进行融合，获得学生行为数据流。
[0015]优选地，所述教师识别模型包括：
[0016]第一识别模块，用于从教师行为数据流中提取每帧的教师第一特征向量；
[0017]第二识别模块，用于从教师3D点云数据流提取每帧的教师第二特征向量；
[0018]融合模块，用于将教师第一特征向量和教师第二特征向量进行融合，生成教师融合特征向量；
[0019]时序卷积模块，用于接收教师融合特征向量输出教师手势骨架特征识别结果。
[0020]优选地，教师第一特征向量为教师手势关键点热图，若待识别的教师手势关键点有N个，则教师第一特征向量为N张关键点热图。
[0021]优选地，预先设定N个关键点的父子关系，对于第n(1≤n≤N)个关键点，其与其父关键点的连线构成了第一向量，其与其子关键点的连线构成了第二向量，若第一向量与第二向量的夹角大于预设值，则该第n个关键点的关键点热图为椭球型热图，否则为球型热图，对于不存在父关键点或子关键点的关键点，则直接采用球型热图。
[0022]优选地，课堂教学手势识别方法还包括步骤：对教师手势同一个关键点热图中的多个激活位置进行平滑处理。
[0023]优选地，所述学生识别模型包括：
[0024]第一识别模块，用于从学生行为数据流中提取每帧的学生第一特征向量；
[0025]第二识别模块，用于从学生3D点云数据流提取每帧的学生第二特征向量。
[0026]融合模块，用于将学生第一特征向量和学生第二特征向量进行融合，生成学生融合特征向量；
[0027]时序卷积模块，用于接收学生融合特征向量输出学生头部姿态识别结果。
[0028]优选地，所述S4确定的教师教学手势包括注意力引导型手势、辅助表达型手势和交互指令型手势三类。
[0029]按照本专利技术的第二方面，提供了一种基于3D人体姿态估计的课堂教学手势识别系统，包括：
[0030]采集模块，用于采集教学过程中教师和学生的红外视频流和RGB
‑
D视频流；
[0031]数据预处理模块，用于根据红外视频流和RGB
‑
D视频流获取教师行为数据流、教师3D点云数据流、学生行为数据流和学生3D点云数据流；
[0032]识别模块，用于将教师行为数据流和教师3D点云数据输入到教师识别模型中，获
得教师手势骨架特征识别结果，将学生行为数据流和学生3D点云数据输入到学生识别模型中，获得学生头部姿态识别结果；
[0033]输出模块，用于根据教师手势骨架特征识别结果和学生头部姿态识别结果确定教师教学手势。
[0034]总体而言，本专利技术与现有技术相比，具有有益效果：
[0035](1)本专利技术通过采集RGB
‑
D视频流，获取深度信息，有效应对了遮挡问题的影响，提高了分类和识别的准确性，模型鲁棒性更好。
[0036](2)通过采集红外视频流，本专利技术可在教室光照变化时仍能实时性的工作，模型泛化能力高，更适合实际的教学场景，对复杂光照环境中评测教师教学行为具有重要的意义。
[0037](3)本专利技术提出的椭球型热图可提高人体关键点的识别和分类精度，对于改善教师教学手势的分类结果具有重要的意义。
[0038](4)本专利技术提出的师生姿态识别器是一个轻量化的网络，有利于实时性地反馈教师地手势识别结果。
附图说明
[0039]图1是本专利技术实施例的课堂教学手势识别本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于3D人体姿态估计的课堂教学手势识别方法，其特征在于，包括步骤：S1，采集教学过程中教师和学生的红外视频流和RGB
‑
D视频流；S2，根据红外视频流和RGB
‑
D视频流获取教师行为数据流、教师3D点云数据流、学生行为数据流和学生3D点云数据流；S3，将教师行为数据流和教师3D点云数据输入到教师识别模型中，获得教师手势骨架特征识别结果，将学生行为数据流和学生3D点云数据输入到学生识别模型中，获得学生头部姿态识别结果；S4，根据教师手势骨架特征识别结果和学生头部姿态识别结果确定教师教学手势。2.如权利要求1所述的一种基于3D人体姿态估计的课堂教学手势识别方法，其特征在于，还包括步骤S5，根据教师教学手势生成电子白板控制指令，或根据教师教学手势输出教师非言语行为技能评价结果。3.如权利要求1所述的一种基于3D人体姿态估计的课堂教学手势识别方法，其特征在于，所述S2包括子步骤：将教师RGB
‑
D视频流分解为教师RGB视频流和教师3D点云数据流，将学生RGB
‑
D视频流分解为学生RGB视频流和学生3D点云数据流；将教师红外视频流和教师RGB视频流进行融合，获得教师行为数据流，将学生红外视频流和学生RGB视频流进行融合，获得学生行为数据流。4.如权利要求1所述的一种基于3D人体姿态估计的课堂教学手势识别方法，其特征在于，所述教师识别模型包括：第一识别模块，用于从教师行为数据流中提取每帧的教师第一特征向量；第二识别模块，用于从教师3D点云数据流提取每帧的教师第二特征向量；融合模块，用于将教师第一特征向量和教师第二特征向量进行融合，生成教师融合特征向量；时序卷积模块，用于接收教师融合特征向量输出教师手势骨架特征识别结果。5.如权利要求4所述的一种基于3D人体姿态估计的课堂教学手势识别方法，其特征在于，教师第一特征向量为教师手势关键点热图，若待识别的教师手势关键点有N个，则教师第一特...

【专利技术属性】
技术研发人员：刘婷婷，杨兵，刘海，张昭理，吴潇楠，陈胜勇，李友福，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：