一种基于激光笔轨迹识别的人机交互系统及设计方法技术方案

本发明专利技术提供一种基于激光笔轨迹识别的人机交互系统及设计方法，能够实现新型的交互式智慧教学，方便演讲者的操作，提高了课堂的效率。该系统包括：图像采集模块，用于采集激光笔的轨迹图像；图像处理模块，用于对所述轨迹图像进行预处理，识别出激光笔滑动轨迹并传输给轨迹匹配模块；轨迹匹配模块存储控制命令数据库，所述数据库包含多组与激光笔滑动轨迹一一对应的控制命令；轨迹匹配模块调取与所接收的激光笔滑动轨迹对应的控制命令并传输给控制模块；控制模块，根据接收的控制命令执行相应的控制动作。的控制动作。的控制动作。

【技术实现步骤摘要】
一种基于激光笔轨迹识别的人机交互系统及设计方法


[0001]本专利技术属于现代人机交互和图像处理研究
，具体是一种基于激光笔轨迹识别的人机交互系统及设计方法。

技术介绍

[0002]现如今的多媒体教学，大体是指利用计算机和PPT等辅助工具开展的教学活动。但是，多媒体教学中的人机交互过程还存在许多需要解决的问题和缺陷。怎样才能让人机交互朝着更加人性化、智能化的方向发展，可以让演讲者从台上走到台下，脱离讲台的束缚，直接将信息传递给观众而不需要依靠其他因素，成为了当前迫在眉睫的问题。
[0003]近年来，针对人机交互的研究中，在智慧课堂方面应用较为成熟的包括激光笔和电子白板两大类，遥控激光笔自其产生到现在自始至终因为其便携小巧而且使用方便快捷，进而为多媒体课堂的教学贡献自己的不可或缺的力量。目前应用最为广泛的是第三代射频遥控激光笔，它是通过近年来发展良好的无线射频技术来实现相应的功能，消除了之前需要对准方向的限制，但在电磁干扰的情况下效果较差。就目前状况来看，遥控激光笔的功能包括指示，上下翻页以及退出全屏等功能，虽然可以实现基础教学过程的需求，但是却不能够满足不同老师的不同需求，若演讲者想要实现较为复杂的目的，使用激光笔就远远达不到想要的效果，因此如何将激光笔进行适当的扩展，使其能够增加许多相对复杂的功能，进而提高演讲者上课的效率，是本专利技术的核心并成功解决的问题。

技术实现思路

[0004]为了方便教学，使其更加智能化、简洁化，本专利技术提供了一种基于激光笔轨迹识别的人机交互系统及人机交互方法，能够实现新型的交互式智慧教学，方便演讲者的操作，提高了课堂的效率。
[0005]实现本专利技术的技术方案如下:
[0006]一方面，本申请提供一种基于激光笔轨迹识别的人机交互系统，该系统包括：
[0007]图像采集模块，用于采集激光笔的轨迹图像；
[0008]图像处理模块，用于对所述轨迹图像进行预处理，识别出激光笔滑动轨迹并传输给轨迹匹配模块；
[0009]轨迹匹配模块存储控制命令数据库，所述数据库包含多组与激光笔滑动轨迹一一对应的控制命令；轨迹匹配模块调取与所接收的激光笔滑动轨迹对应的控制命令并传输给控制模块；
[0010]控制模块，根据接收的控制命令执行相应的控制动作。
[0011]进一步地，本专利技术所述图像处理模块内预设的神经网络模型，基于所述神经网络模型实现对激光笔滑动轨迹的识别，
[0012]进一步地，本专利技术所述图像处理模块对采集的图像进行预处理，所述预处理包括高斯滤波、阈值分割及形态学运算。
[0013]进一步地，本专利技术所述神经网络模型为三层的BP神经网络模型。
[0014]另一方面，本申请一种基于激光笔轨迹识别的人机交互系统的设计方法，该方法包括如下步骤：
[0015]利用激光笔在给定的投影屏幕或白板上画出多种特定的轨迹；
[0016]采集所述多种特定的轨迹，并将对每一帧图像进行预处理；
[0017]针对预处理后的图像，先采用帧间差分法对图像进行处理，初步判断出运动区域和目标光点的大致位置；在运动区域和目标光点的大致位置内，采用背景差分法对实时运动的光点坐标进行检测和识别；
[0018]将得到的光点坐标拟合成为平滑的曲线，得到不同轨迹；
[0019]创建练神经网络模型，将上述预处理后的图像作为神经网络的输入，将所得到的轨迹作为神经网络的输出，进行神经网络训练；
[0020]设置图像采集模块、图像处理模块、轨迹匹配模块和控制模块，其中所述图像处理模块中存储有训练完毕的神经网络模型，所述轨迹匹配模块中存储有与激光笔轨迹一一对应的控制命令。
[0021]进一步地，本专利技术所述预处理包括高斯滤波，阈值分割和形态学运算处理。
[0022]有益效果：
[0023]第一、本专利技术解决了演讲者受困于多媒体交互设备功能较为单一的限制，本专利技术人机交互系统，可以根据不同地区和课程老师的需求，制定出相对应的功能和手势并存储，可以满足所有老师授课习惯等，增强演讲质量和水平，并且系统具有扩展性和鲁棒性。
[0024]第二、本专利技术图像处理模块、轨迹匹配模块和控制模块采用计算机实现，因此本专利技术实现了将图像采集模块、计算机(用于实现)和激光笔的有机结合，将它们看做一个整体，相较于传统的使用智慧白板以及手势识别来说更具一体性，完整性。
[0025]第三、光点检测方面，本专利技术在研究主流算法的基础上，根据实现目标自身的特征，提出了背景差分法与帧间差分法相结合的方法，结合OpenCV的图像处理手段，有效的提高了光点识别准确率并实现了快速识别提取。
[0026]第四、轨迹识别方面，本专利技术采用的是三层的BP神经网络算法，利用训练集可以实现快速稳定的响应，而且识别的准确率高达95％，系统的鲁棒性和适应性都比较强。
[0027]第五、本专利技术是可以根据不同地区和课程老师的需求，制定出相对应的功能和手势，可以满足所有老师的条件。
附图说明
[0028]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0029]图1为人机交互系统的设计图；
[0030]图2为人机交互系统的流程图；
[0031]图3是Kinect的基本结构图；
[0032]图4为运动光点的识别和检测示意图；
[0033]图5为曲线拟合的流程图；
[0034]图6为BP神经网络的模型图。
具体实施方式
[0035]下面结合附图对本专利技术实施例进行详细描述。
[0036]需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合；并且，基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
[0037]需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
[0038]一方面，本申请实施例提供了一种基于激光笔轨迹识别的人机交互系统，如图1所示，该系统是建立在已有的智能白板和激光笔的基础之上，可以使课堂中老师不再被讲台所束缚，在教室的各个地方都能够通过简单的操作激光笔，从而经过图像采集模块和控制模块的处理识别，最终达到相应功能的实现，响应速度快，准确率高，具有一定的鲁棒性和适应性。该系统包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于激光笔轨迹识别的人机交互系统，其特征在于，该系统包括：图像采集模块，用于采集激光笔的轨迹图像；图像处理模块，用于对所述轨迹图像进行预处理，识别出激光笔滑动轨迹并传输给轨迹匹配模块；轨迹匹配模块存储控制命令数据库，所述数据库包含多组与激光笔滑动轨迹一一对应的控制命令；轨迹匹配模块调取与所接收的激光笔滑动轨迹对应的控制命令并传输给控制模块；控制模块，根据接收的控制命令执行相应的控制动作。2.根据权利要求1所述基于激光笔轨迹识别的人机交互系统，其特征在于，所述图像处理模块内预设的神经网络模型，基于所述神经网络模型实现对激光笔滑动轨迹的识别。3.根据权利要求1所述基于激光笔轨迹识别的人机交互系统，其特征在于，所述图像处理模块对采集的图像进行预处理，所述预处理包括高斯滤波、阈值分割及形态学运算。4.根据权利要求1或2所述基于激光笔轨迹识别的人机交互系统，其特征在于，所述神经网络模型为三层的BP神经网络模型。5.一种基...

【专利技术属性】
技术研发人员：辛斌，李翀，王晴，陈杰，谢璐蕖，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：