【技术实现步骤摘要】
一种基于计算机视觉的智能交互式教学方法及系统
[0001]本专利技术属于人脸识别处理和人机交互
，特别涉及一种基于计算机视觉的智能交互式教学方法及系统。
技术介绍
[0002]在现代教学中，使用计算机相关应用进行日常教学渐成常态。但因教学内容较多教师需花费大量时间与教学设备进行交互，多媒体设备操作负荷较重，导致分散过多精力，教学效率因此降低。
[0003]而随着计算机视觉技术和智能终端设备的快速发展,基于视觉的手势交互因为其自然、友好、方便等优点成为了一种被广泛使用的人机交互方式,其中的关键技术主要包括基于视觉的手势识别、估计与认证,它们之间彼此联系紧密,长期以来都是学术界与工业界的研究热点。
[0004]为此，将日渐完善的计算机视觉技术与传统的教学体系进行融合的智能交互式教学方法及系统应运而生。但手势交互时,图像或视频中手部区域占比较小且手部关节灵活度非常高,基于视觉的手势识别、估计与认证在手势图像或视频处理与分析中面临图像分辨率低、视角多样性、指间相似与遮挡、人手快速运动造成运动模糊等问题,这些都给...
【技术保护点】
【技术特征摘要】
1.一种基于计算机视觉的智能交互式教学方法，其特征在于，包括如下步骤：S1：预设一计算机图像处理视觉框架，该框架用于获取摄像头手势交互视频流；S2：调取所述计算机图像处理视觉框架中的手部检测方法对所述手势交互视频流进行手部轮廓的检测，预先设置第一参数值作为手部检测模型的最小置信值；S3：当检测值超过所述第一参数值，则判定手部检测成功，对手部的相关的预设的21个手部关键信息点进行定位；当检测值未超过所述第一参数值的参数，手部检测失败，计算机图像处理视觉框架继续对下一手势交互视频流进行手部检测；S4：计算机图像处理视觉框架中手部关键点测绘方法将所述手部关键信息点进行识别转换为RGB格式的帧图像，并将手部关键信息点进行连线处理，对所述手部关键信息点进行坐标定位，框定手部范围即划定矩形框，检测矩形框范围坐标及其高度、宽度，然后根据预设的识别规则识别出所述手部是左手还是右手；S5：调用计算机图像处理视觉框架中的跨平台GUI自动化工具包中手部状态检测方法对手部信息进行检测，检测后反馈出一组由5个元素组成的数列，每个元素分别对应一个手指，元素为1时代表该手指竖起，元素为0代表该手指弯曲，当数列中第二个元素为1且第三个元素为0，即食指竖起且中指弯曲时，开启移动鼠标操作，鼠标随食指指尖位置移动；当数列中第二个元素为1且第三个元素为1，即食指与中指同时竖起时，将参数(pt1,pt2,img)带入指尖测距方法对手部信息再次进行采集，其中img为摄像头传入教学电脑的图像信息，pt1、pt2分别为中食指指尖与中指指尖的坐标，当食指指尖和中指指尖之间的像素距离小于50时，开启鼠标点击操作。2.根据权利要求1所述的一种基于计算机视觉的智能交互式教学方法，其特征在于，所述步骤S5中，使用线性插值方法np.interp(x,xp,fp)将矩形框的宽和高映射到电脑屏幕的宽和高，其中x为映射到屏幕的横坐标数组，xp为矩形框的横坐标数组，fp为矩形框的纵坐标数组。3.根据权利要求2所述的一种基于计算机视觉的智能交互式教学方法，其特征在于，获取电脑屏幕的宽和高尺寸信息，后移动鼠标至预设的坐标的位置。4.根据权利要求1所述的一种基于计算机视觉的智能交互式教学方法，其特征在于，所述步骤S5中，在移动鼠标的过程中调用函数cLocx＝pLocx+(x3
‑
p
‑
Locx)/smooth调节鼠标移动平稳度，其中cLocx为上一帧鼠标位置的x坐标，pLocx为上一帧的前一帧的鼠标位置的x坐标，x3为当前鼠标位置的x坐标，s
‑
mooth为可自定义的平滑系数，通过改变smooth，可调节鼠标移动平稳度。5.一种基于计算机视觉的智能交互式教学系统，其特征在于，主要包括登录验证模块、手势教学模块、教室灯源控制模块、教室风扇控制模块、日志信息模块、人员管理模块、个人信息模块、其他模块，所述手势教学模块用于...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。