【技术实现步骤摘要】
基于课堂辅助教学智能化系统的人机交互方法
本专利技术属于教学设备
，涉及一种基于课堂辅助教学智能化系统的人机交互方法。
技术介绍
随着人工智能的发展，利用人工智能技术赋能传统行业越来越多地受到人们的关注，在教育教学领域，基于人脸识别的考勤管理、基于增强现实的智慧课堂方兴未艾。现有的课堂教学一般为多媒体课堂，教师将制作好的多媒体课件通过投影仪展示到教室前方的投影幕布上，并通过鼠标或者激光笔进行操作和交互。已有的基于增强现实技术的课堂教学系统，采用事先设计的人工标志物，比如卡片、模型等，通过图像采集设备采集跟踪人工标志物的图像，并在图像显示设备上显示增强后的图像，以实现互动学习的目的。通常需要专用的图像采集设备及控制系统，例如专用摄像头或者相机阵列、专用识别卡、高性能计算机、专用软件等，课堂交互效果良好，但需要较高的硬件成本和改造费用，同时人工标志物设计和显示模型的开发需要专业技能和专门操作，增大了教师的工作量和培训难度。已有的基于语音识别的课堂教学系统，采用声纹识别技术，识别教师的声音指令，并将指令发送到投影仪，以实现多媒体播放过程中的声控翻页、声控跳转等操作...
【技术保护点】
1.一种基于课堂辅助教学智能化系统的人机交互方法，其特征在于；所述基于课堂辅助教学智能化系统的人机交互方法包括：1)建立教师人脸图像、教师手势识别以及教师运动跟踪的信息数据库；2)对教师人脸进行图像采集，得到教师人脸图像；3)对步骤2)采集到的教师人脸图像与步骤1)数据库中的教师人脸图像进行核对分析，确定教师身份；若核对成功，进行步骤4)；若核对失败，则退出；4)身份核对成功后，通过人机交互进行课堂教学过程，并将人机交互信息投影展示出来。
【技术特征摘要】
1.一种基于课堂辅助教学智能化系统的人机交互方法，其特征在于；所述基于课堂辅助教学智能化系统的人机交互方法包括：1)建立教师人脸图像、教师手势识别以及教师运动跟踪的信息数据库；2)对教师人脸进行图像采集，得到教师人脸图像；3)对步骤2)采集到的教师人脸图像与步骤1)数据库中的教师人脸图像进行核对分析，确定教师身份；若核对成功，进行步骤4)；若核对失败，则退出；4)身份核对成功后，通过人机交互进行课堂教学过程，并将人机交互信息投影展示出来。2.根据权利要求1所述的基于课堂辅助教学智能化系统的人机交互方法，其特征在于；所述步骤3)中的教师人脸核对的具体实施过程是：3.1)首先采集讲台区域内的图像，然后在图像上计算梯度直方图HOG特征，根据梯度直方图HOG特征，将教师从图像中分割出来，即为提取到的目标区域；3.2)对提取到的目标区域，进行色彩空间转换，从RGB空间变换到YCrCb空间，对变换后的图像进行自适应阈值分割，提取得到包含人脸图像的候选矩形框；3.3)对提取到的候选矩形框，进行尺度变换和归一化处理，然后输入到卷积神经网络中，计算得到可描述人脸的128维特征向量、128维特征向量对应的授权信息及128维特征向量对应的置信度；3.4)根据检测到候选矩形框位置和128维特征向量对应的置信度，对人脸进行比对，完成教师人脸核对。3.根据权利要求1或2所述的基于课堂辅助教学智能化系统的人机交互方法，其特征在于：所述步骤4)的人机交互包括教师手势识别人机交互以及教师运动跟踪人机交互。4.根据权利要求3所述的基于课堂辅助教学智能化系统的人机交互方法，其特征在于：所述教师手势识别人机交互的具体实施过程是：a1)首先根据预先定义的手势指令，采集不同人所做的不同手势的图像制作通用手势指令数据集；a2)对手势指令数据集中的每幅图像，选用梯度直方图HOG方法进行特征提取；a3)结合梯度直方图HOG和预先定义的手势指令，训练一个机器学习模型，用于后续的手势识别；a4)采集教师图像，从图像中分割出候选的手部图像；a5)对候选的手部图像进行尺度归一化和特征提取；a6)用训练得到的机器学习模型对提取到的特征进行分类，分类结果即为教师所做的手势指令，完成教师手势识别。5.根据权利要求4所述的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。