基于课堂辅助教学智能化系统的人机交互方法技术方案

本发明专利技术属于教学设备技术领域，涉及一种基于课堂辅助教学智能化系统的人机交互方法，其特征在于；所述人机交互方法包括：1)建立教师人脸图像、教师手势识别以及教师运动跟踪的信息数据库；2)对教师人脸进行图像采集，得到教师人脸图像；3)对步骤2)采集到的教师人脸图像与步骤1)数据库中的教师人脸图像进行核对分析，确定教师身份；若核对成功，进行步骤4)；若核对失败，则退出；4)身份核对成功后，通过人机交互进行课堂教学过程，并将人机交互信息投影展示出来；人机交互包括教师手势识别人机交互以及教师运动跟踪人机交互。本发明专利技术设计简单、通过手势或肢体动作操控多媒体课件，使用方便，能显著提高课堂交互效果。

Human-Computer Interaction Method Based on Intelligent Classroom Assistant Instruction System

【技术实现步骤摘要】
基于课堂辅助教学智能化系统的人机交互方法
本专利技术属于教学设备
，涉及一种基于课堂辅助教学智能化系统的人机交互方法。
技术介绍
随着人工智能的发展，利用人工智能技术赋能传统行业越来越多地受到人们的关注，在教育教学领域，基于人脸识别的考勤管理、基于增强现实的智慧课堂方兴未艾。现有的课堂教学一般为多媒体课堂，教师将制作好的多媒体课件通过投影仪展示到教室前方的投影幕布上，并通过鼠标或者激光笔进行操作和交互。已有的基于增强现实技术的课堂教学系统，采用事先设计的人工标志物，比如卡片、模型等，通过图像采集设备采集跟踪人工标志物的图像，并在图像显示设备上显示增强后的图像，以实现互动学习的目的。通常需要专用的图像采集设备及控制系统，例如专用摄像头或者相机阵列、专用识别卡、高性能计算机、专用软件等，课堂交互效果良好，但需要较高的硬件成本和改造费用，同时人工标志物设计和显示模型的开发需要专业技能和专门操作，增大了教师的工作量和培训难度。已有的基于语音识别的课堂教学系统，采用声纹识别技术，识别教师的声音指令，并将指令发送到投影仪，以实现多媒体播放过程中的声控翻页、声控跳转等操作；仅需要常规摄像头即可实现，原理简单，应用方便，但仅能实现类似激光笔的交互功能，课堂教学的交互方式无明显改观。因而，设计一种部署简单，使用方便，能改善课堂教学交互的智能系统就显得十分重要。
技术实现思路
为了解决现有存在的技术问题，本专利技术提供一种设计简单、通过手势或肢体动作操控多媒体课件，使用方便，能显著提高课堂交互效果的基于课堂辅助教学智能化系统的人机交互方法。为了实现上述目的，本专利技术采用的技术方案为：一种基于课堂辅助教学智能化系统的人机交互方法，其特征在于；所述基于课堂辅助教学智能化系统的人机交互方法包括：1)建立教师人脸图像、教师手势识别以及教师运动跟踪的信息数据库；2)对教师人脸进行图像采集，得到教师人脸图像；3)对步骤2)采集到的教师人脸图像与步骤1)数据库中的教师人脸图像进行核对分析，确定教师身份；若核对成功，进行步骤4)；若核对失败，则退出；4)身份核对成功后，通过人机交互进行课堂教学过程，并将人机交互信息投影展示出来。上述步骤3)中的教师人脸核对的具体实现过程是：3.1)首先采集讲台区域内的图像，然后在图像上计算梯度直方图HOG特征，根据梯度直方图HOG特征，将教师从背景中分割出来，即为提取到的目标区域；3.2)对提取到的目标区域，进行色彩空间转换，从RGB空间变换到YCrCb空间，对变换后的图像进行自适应阈值分割，提取得到包含人脸图像的候选矩形框；3.3)对提取到的候选矩形框，进行尺度变换和归一化处理，然后输入到卷积神经网络中，计算得到可描述人脸的128维特征向量、128维特征向量对应的授权信息及128维特征向量对应的置信度；3.4)根据检测到候选矩形框位置和128维特征向量对应的置信度，对人脸进行比对，完成教师人脸核对。上述步骤4)的人机交互包括教师手势识别人机交互以及教师运动跟踪人机交互。上述教师手势识别人机交互的具体实现过程是：a1)首先制作通用手势指令数据集，根据预先定义的手势指令，采集不同人所做的不同手势的图像；a2)对手势指令数据集中的每幅图像，选用梯度直方图HOG方法进行特征提取；a3)结合梯度直方图HOG和预先定义的手势指令，训练一个机器学习模型，用于后续的手势识别；a4)采集教师图像，从图像中分割出候选的手部图像；a5)对候选的手部图像进行尺度归一化和特征提取；a6)用训练得到的机器学习模型对提取到的特征进行分类，分类结果即为教师所做的手势指令，完成教师手势识别。上述手势指令包括自定义手势指令以及扩充手势指令；所述手势指令与教师人脸核对结果绑定。上述教师运动跟踪人机交互的具体实现过程是：b1)采用自适应的高斯混合模型估计讲台区域的背景信息；b2)从采集到的当前图像中去除背景信息，得到讲台上教师的位置和图像作为当前运动估计的起始帧；b3)交替使用步骤b1)以及步骤b2)，得到后续若干帧包含教师的图像，即目标图像，作为当前运动估计的候选位置；b4)使用扩展卡尔曼滤波算法，进行目标运动预测，得到连续的目标运动信息，完成教师运动跟踪。一种基于课堂辅助教学智能化系统的人机交互方法的辅助课堂教学的智能化系统包括智能相机、投影仪以及投影幕布，所述智能相机通过连接支架固定在投影仪下方；所述投影幕布置于投影仪的投影光路上；所述智能相机与投影仪通过专用数据线连接。上述智能相机包括外壳、用于捕捉人脸以及人体动镜头模组、用于将镜头模组捕捉的画面转化成图片的成像模块、用于对图片以及画面进行分析对比的运算模块以及用于传输信息的接口模块；所述镜头模组与接口模块设置在智能相机外壳上，所述成像模块与运算模块设置在智能相机内部，所述镜头模组、成像模块、运算模块、接口模块以及投影仪依次连接将智能相机采集到的数据信息通过投影仪在投影幕布上展现。上述辅助课堂教学的智能化系统还包括讲台；所述智能相机与讲台之间有倾斜角。上述智能相机与讲台之间的倾斜角α为：所述智能相机所覆盖范围的长宽高l×w×h分别为：其中：H—投影仪的安装高度；L—讲台的长度；W—讲台的宽度；D—投影仪与讲台之间的距离；θ—智能相机的视场角。本专利技术的有益效果是：1、本专利技术提供的一种基于课堂辅助教学智能化系统的人机交互方法，其特征在于；1)建立教师人脸图像、教师手势识别以及教师运动跟踪的信息数据库；2)对教师人脸进行图像采集，得到教师人脸图像；3)对步骤2)采集到的教师人脸图像与步骤1)数据库中的教师人脸图像进行核对分析，确定教师身份；若核对成功，进行人机交互，并将人机交互信息投影展示出来；若核对失败，则退出本次交互过程。基于课堂辅助教学智能化系统的人机交互方法，具有教师人脸核对，将人机交互的使用者锁定在教师身上，能有效避免无关人员或者学生对课堂教学造成影响。2、本专利技术提供的人机交互包括教师手势识别人机交互，具有教师手势识别，在课堂教学过程中，教师可通过手势完成人机交互，灵活的控制多媒体；更进一步，教师自定义手势与教师人脸核对结果绑定，使每个教师都可以有自己的专属指令，既具备普遍使用的通用性，也具有千人千面的灵活度。3、本专利技术提供的人机交互包括教师运动跟踪人机交互，将注意力始终放在教师身上，从而更快更精确地捕捉教师的手势指令，做出快速而准确的响应；同时，仅响应教师做出的控制指令，也避免了可能出现错误识别和干扰的情况，使整个系统的稳定运行，保证课堂教学的效果。4、本专利技术提供的用于辅助课堂教学的智能化系统包括智能相机，辅助课堂教学的智能化系统包括智能相机、投影仪以及投影幕布，所述智能相机通过连接支架固定在投影仪下方；所述投影幕布置于投影仪的投影光路上；所述智能相机与投影仪通过专用数据线连接。智能相机包括外壳、用于捕捉人脸以及人体动作的镜头模组、用于将镜头模组捕捉的画面转化成图片的成像模块、用于对图片以及画面进行分析对比的运算模块以及用于传输信息的接口模块；所述镜头模组与接口模块设置在智能相机外壳上，所述成像模块与运算模块设置在智能相机内部，所述镜头模组、成像模块、运算模块、接口模块以及投影仪依次连接将智能相机采集到的数据信息通过投影仪在投影幕布上展现。因此不需要增加专门的计算机及专用本文档来自技高网...

【技术保护点】
1.一种基于课堂辅助教学智能化系统的人机交互方法，其特征在于；所述基于课堂辅助教学智能化系统的人机交互方法包括：1)建立教师人脸图像、教师手势识别以及教师运动跟踪的信息数据库；2)对教师人脸进行图像采集，得到教师人脸图像；3)对步骤2)采集到的教师人脸图像与步骤1)数据库中的教师人脸图像进行核对分析，确定教师身份；若核对成功，进行步骤4)；若核对失败，则退出；4)身份核对成功后，通过人机交互进行课堂教学过程，并将人机交互信息投影展示出来。

【技术特征摘要】
1.一种基于课堂辅助教学智能化系统的人机交互方法，其特征在于；所述基于课堂辅助教学智能化系统的人机交互方法包括：1)建立教师人脸图像、教师手势识别以及教师运动跟踪的信息数据库；2)对教师人脸进行图像采集，得到教师人脸图像；3)对步骤2)采集到的教师人脸图像与步骤1)数据库中的教师人脸图像进行核对分析，确定教师身份；若核对成功，进行步骤4)；若核对失败，则退出；4)身份核对成功后，通过人机交互进行课堂教学过程，并将人机交互信息投影展示出来。2.根据权利要求1所述的基于课堂辅助教学智能化系统的人机交互方法，其特征在于；所述步骤3)中的教师人脸核对的具体实施过程是：3.1)首先采集讲台区域内的图像，然后在图像上计算梯度直方图HOG特征，根据梯度直方图HOG特征，将教师从图像中分割出来，即为提取到的目标区域；3.2)对提取到的目标区域，进行色彩空间转换，从RGB空间变换到YCrCb空间，对变换后的图像进行自适应阈值分割，提取得到包含人脸图像的候选矩形框；3.3)对提取到的候选矩形框，进行尺度变换和归一化处理，然后输入到卷积神经网络中，计算得到可描述人脸的128维特征向量、128维特征向量对应的授权信息及128维特征向量对应的置信度；3.4)根据检测到候选矩形框位置和128维特征向量对应的置信度，对人脸进行比对，完成教师人脸核对。3.根据权利要求1或2所述的基于课堂辅助教学智能化系统的人机交互方法，其特征在于：所述步骤4)的人机交互包括教师手势识别人机交互以及教师运动跟踪人机交互。4.根据权利要求3所述的基于课堂辅助教学智能化系统的人机交互方法，其特征在于：所述教师手势识别人机交互的具体实施过程是：a1)首先根据预先定义的手势指令，采集不同人所做的不同手势的图像制作通用手势指令数据集；a2)对手势指令数据集中的每幅图像，选用梯度直方图HOG方法进行特征提取；a3)结合梯度直方图HOG和预先定义的手势指令，训练一个机器学习模型，用于后续的手势识别；a4)采集教师图像，从图像中分割出候选的手部图像；a5)对候选的手部图像进行尺度归一化和特征提取；a6)用训练得到的机器学习模型对提取到的特征进行分类，分类结果即为教师所做的手势指令，完成教师手势识别。5.根据权利要求4所述的...

【专利技术属性】
技术研发人员：周方方，成洁，
申请(专利权)人：陕西国际商贸学院，
类型：发明
国别省市：陕西,61