本实用新型专利技术涉及一种基于Kinect体感交互的课堂多媒体教学装置，Kinect传感器设有RGB彩色摄像头、红外发射器及红外传感器；存储单元预存有手势语义命令以及头部动作命令；处理单元的输入端分别与Kinect传感器、存储单元电连接，处理单元生成控制命令；显示单元生成静态会话场景、虚拟人偶情境、动态协作情境。基于Kinect体感交互的课堂多媒体教学装置根本目的是在普通投影屏幕或白板上实现触摸屏操控效果，用户使用手势即可对屏幕中的对象做出操作指令，如放大、缩小、旋转、移动、打开应用程序等。该装置解放了教师对鼠标键盘的依赖，释放了课堂教学活动空间，使教学交互更为自然、自由。
【技术实现步骤摘要】
【专利摘要】本技术涉及一种基于Kinect体感交互的课堂多媒体教学装置，Kinect传感器设有RGB彩色摄像头、红外发射器及红外传感器；存储单元预存有手势语义命令以及头部动作命令；处理单元的输入端分别与Kinect传感器、存储单元电连接，处理单元生成控制命令；显示单元生成静态会话场景、虚拟人偶情境、动态协作情境。基于Kinect体感交互的课堂多媒体教学装置根本目的是在普通投影屏幕或白板上实现触摸屏操控效果，用户使用手势即可对屏幕中的对象做出操作指令，如放大、缩小、旋转、移动、打开应用程序等。该装置解放了教师对鼠标键盘的依赖，释放了课堂教学活动空间，使教学交互更为自然、自由。【专利说明】—种基于Kinect体感交互的课堂多媒体教学装置
本技术涉及一种基于Kinect体感交互的课堂多媒体教学装置。
技术介绍
多媒体教学是指在教学过程中，根据教学目标和教学对象的特点，通过教学设计，合理选择和运用现代教学媒体，并与传统教学手段有机组合，共同参与教学全过程，以多种媒体信息作用于学生，形成合理的教学过程结构，达到最优化的教学效果。 多媒体教学其实古已有之，教师一直在借助文本、声音、图片来进行教学。但是在20世纪80年代开始出现采用多种电子媒体如幻灯、投影、录音、录像等综合运用与课堂教学，这种教学技术又称多媒体组合教学或电化教学，90年代起，随着计算机技术的迅速发展和普及，多媒体计算机已经逐步取代了以往的多种教学媒体的综合使用地位。因此，现在我们通常所说的多媒体教学是特指运用多媒体计算机并借助于预先制作的多媒体教学软件来开展的教学活动过程。它又可以称为计算机辅助教学(computer assistedinstruct1n,即 CAI)。 然而目前多媒体教学人机交互性较低，不能摆脱传统鼠标键盘的束缚。
技术实现思路
本技术的首要目的是提供一种基于Kinect体感交互的课堂多媒体教学装置，以达到更为自然的人机交互、低成本、情境适用率高、识别率高交互准确的效果，为实现上述目的本技术的具体方案如下:(略，与权利要求书相同) 本技术提供的基于Kinect体感交互的课堂多媒体教学装置具有以下特点: (I)更为自然的人机交互。本装置利用Kinect的体感交互技术实现更为自然的人机交互，摆脱了传统鼠标键盘的束缚，将交互通道拓展到“手势、身体动作、头部运动、声音”等多维通道，用户可在距离为O?200cm范围内对普通投影屏幕或白板实现类似触摸或隔空的交互效果。识别响应时间在Is以内。 (2)低成本。触摸屏交互设备价格昂贵，且受到屏幕尺寸的限制。本装置只需在普通的课堂多媒体系统上通过USB接口接入一台低廉的Kinect体感器(目前市场价格约为800RMB)即可实现。相比其他交互设备，本装置硬件成本优势明显。 (3)情境适用性高。该装置对投影屏幕和使用空间没有特殊要求，且对其他硬件设备性能要求低，对软件环境只需Windows 7及以上操作系统,及安装Kinect for WindowsSDK驱动即可。 (4)手势识别率高，交互准确。本装置设计和实现的基于手势凸凹点检测识别算法，可达到95%的正确识别率，并定义了课堂教学手势语义命令、头部动作命令以及语音语义命令，能较好地满足课堂教学交互需要。 基于Kinect体感交互的课堂多媒体教学装置，根本目的是在普通投影屏幕(或白板)上实现触摸屏操控效果，用户使用手势即可对屏幕中的对象做出操作指令，如放大、缩小、旋转、移动、打开应用程序等。该装置解放了教师对鼠标键盘的依赖，释放了课堂教学活动空间，使教学交互更为自然、自由，可应用于高校、中小学的多媒体课堂教学中，尤其是人机交互活动较多的教学活动，如虚拟展示、情境教学、虚拟演播室等；也可以拓展应用于多媒体广告展示，如房地产、汽车产品展销、节目演播室等，因此本装置具有较高的商业开发价值和较好的市场前景。 【专利附图】【附图说明】 此处所说明的附图用来提供对本技术的进一步理解，构成本申请的一部分，并不构成对本技术的不当限定，在附图中: 图1为本技术实施例系统结构示意图； 图2为人体骨骼节点示意图； 图3为本技术实施例手势的识别示意图。 【具体实施方式】 下面将结合附图以及具体实施例来详细说明本技术，在此本技术的示意性实施例以及说明用来解释本技术，但并不作为对本技术的限定。 实施例 如图1所示,一种基于Kinect体感交互的课堂多媒体教学装置,包括Kinect传感器1、存储单元2、处理单元3以及显示单元； 所述Kinect传感器I是一款体感外设，实际上是一种3D体感摄影机，其设有用于捕获操作者手势及头部动作的RGB彩色摄像头、用于生成代表周围环境的景深图像的红外发射器及红外传感器，其中景深图像采用光编码技术，通过连续的近红外线对测量空间进行编码，经过红外传感器得到编码的光线，将数据传递给晶片进行运算解码，得到的具有深度的图像，该传感器利用黑白光谱来感知环境，纯黑代表无穷远，纯白代表无穷近，黑白间的灰色地带对应物体到传感器的物理距离，它收集视野范围内的每一点，并形成一幅代表周围环境的景深图像，传感器以30帧/s的速度生成深度图像流，实时3D再现周围环境，能进行人物识别与图2所示的骨骼节点跟踪，或手势识别甚至面部表情识别等； 所述存储单元2预存有手势语义命令以及头部动作命令； 所述处理单元3的输入端分别与所述Kinect传感器1、存储单元2电连接，用于将所述Kinect传感器I捕获的操作者手势及头部动作与所述存储单元2预存的手势语义命令以及头部动作命令进行识别比对，生成控制命令: 为了获得更稳定和更精确的手势识别效果，采用了凸点检查算法实现对扩展手势的识别，如图3所示，具体原理如下: (I)首先通过OpenNI的HandsGenerator获得手部节点和图像,再根据手部中心位置的深度值对手部做阈值处理得到整个手部的深度图像，结果如图3(a)所示； (2)中值滤波处理 通过Kinect获取的手势深度图包含噪音,在此通过设置窗口为10*10pixels的中值滤波对噪音进行处理，公示如下: F(i，j) = median (S ((i+k), j+1) h (k, I)) 得到边缘清晰的结果图如图3(b)所示； (3)获取手部轮廓 通过OpenCV函数〈findContours〉得到手部图像的凸凹点，并将点集存放在Point类型的向量变量中。这样通过只存储手部轮廓值而不是整个手部数据使得计算量大大降低。处理结果如图3(c)所示； (4)得到手部轮廓的近似多边形 根据凸凹点集得到近似手部形状的矢量多边形，目的是极大减少冗余的凸凹点和计算量。通过OpenCV的函数〈approxPolyDP〉实现,处理结果如图3(d)所示。 (5)计算多边形的凸凹点集。处理结果如图3(e)所示。 (6)在此基础上，定义和实现拓展手势语义集，例如鼠标、键盘功能，或者定义为在讲解PPT时，通过手来控制PPT翻页；在播放音乐时，通过手的深度变化来控制音量大小。 实现体感操控场景视角的原理是通过Kinect采集用户头部的距离值和角度偏本文档来自技高网...
【技术保护点】
一种基于Kinect体感交互的课堂多媒体教学装置，其特征在于：包括Kinect传感器、存储单元、处理单元以及显示单元；所述Kinect传感器设有用于捕获操作者手势及头部动作的RGB彩色摄像头、用于生成代表周围环境的景深图像的红外发射器及红外传感器；所述存储单元预存有手势语义命令以及头部动作命令；所述处理单元的输入端分别与所述Kinect传感器、存储单元电连接，所述处理单元用于将所述Kinect传感器捕获的操作者手势及头部动作与所述存储单元预存的手势语义命令以及头部动作命令进行识别比对，生成控制命令；所述显示单元包括投影仪和投影幕，所述投影仪与所述处理单元的输出端电连接，所述显示单元用于根据景深图像生成静态会话场景、根据操作者手势及头部动作生成虚拟人偶情境、根据控制命令建立动态协作情境。
【技术特征摘要】
【专利技术属性】
技术研发人员：廖宏建，
申请(专利权)人：广州大学，
类型：新型
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。