一种基于平面手指识别的人机交互系统技术方案

实用新型专利技术公开了一种基于平面手指识别的人机交互系统，采用分离式模块化设计，更便于更换损坏零件，降低成本，延长寿命，并且方便拓展；全封闭，对内部零件有较好的保护效果；内部零件分布紧凑，空间利用率高，壳体较小，便于携带和使用；拓展性较强，基于图像识别，信息分析等基础功能可实现不同情况下的多种功能；多点手势识别丰富了输入方式，相比传统静态的输入方式降低了输入的精确度要求，提高了操控的准确度。

A Human-Computer Interaction System Based on Planar Finger Recognition

The utility model discloses a man-machine interaction system based on plane finger recognition, which adopts separate modular design, makes it easier to replace damaged parts, reduce costs, prolong life and facilitate expansion; fully enclosed, has better protection effect for internal parts; compact distribution of internal parts, high space utilization, small shell, and easy to carry and use; Based on image recognition, information analysis and other basic functions can achieve a variety of functions in different situations; multi-point gesture recognition enriches the input mode, reduces the accuracy requirements of input compared with traditional static input mode, and improves the accuracy of manipulation.

【技术实现步骤摘要】
一种基于平面手指识别的人机交互系统
本技术涉及人机交互
，尤其涉及一种基于平面手指识别的人机交互系统，手指空间感知和多点识别，可实现无屏触控的人机交互模式，并且具有较强拓展性。
技术介绍
图像处理技术是用计算机对图像信息进行处理的技术；图像识别也称模式识别，就是对图像进行特征抽取，然后根据图形的几何及纹理特征对图像进行分类，并对整个图像作结构上的分析。通常在识别之前，要对图像进行预处理，包括滤除噪声和干扰、提高对比度、增强边缘、几何校正等。图像识别的应用范围极其广泛，如工业自动控制系统、指纹识别系统以及目前大火的脸部识别等。人机交互、人机互动，是一门研究系统与用户之间的交互关系的学科。系统可以是各种各样的机器，也可以是计算机化的系统和软件。人机交互界面通常是指用户可见的部分。用户通过人机交互界面与系统交流，并进行操作。小如收音机的播放按键，大至飞机上的仪表板、或是发电厂的控制室。人机交互界面的设计要包含用户对系统的理解，那是为了系统的可用性或者用户友好性。
技术实现思路
有鉴于此，本技术提供了一种基于平面手指识别的人机交互系统，外观便携小巧，成本低廉，操作简单，可通过手势控制电脑，远程操控蓝牙小车，并且提供了基本通用的算法来支持后续功能的拓展，是一种方便的手指识别新交互设备。为了解决上述技术问题，本技术是这样实现的：一种基于平面手指识别的人机交互系统，包括上位机、壳体(1)、红外激光器(5)、投影仪(10)、摄像头(2)、红外滤波片(3)以及反射镜组(6)；所述线性红外激光器(5)和投影仪(10)放置在壳体(1)底部，所述反射镜组放置在壳体(1)内的投影仪(10)上部，用于将投影仪(10)投射的图像反射到壳体(1)外部的投影区域；所述红外激光器(5)放置在壳体(1)内的底部，用于向投影区域上方发射一字线性红外激光；所述摄像头(2)的镜头处安装所述红外滤波片(3)，用于获取投影区域的手部的红外图像；所述上位机用于接收摄像头(2)拍摄的手部红外图像，并对手势进行识别，手势对应的命令，发送给被控对象，实现人机交互。较佳的，所述反射镜组(6)由两块成设定角度的反射镜构成。较佳的，所述被控对象为虚拟钢琴、虚拟鼠标、虚拟计算机键盘或者虚拟操作界面；则投影仪(10)对应投射的图像即为钢琴琴键画面、鼠标画面、键盘画面或者操作界面画面。本技术具有如下有益效果：1、本技术硬件采用分离式模块化设计，包括外观结构模块、信号采集模块，能源模块，显示模块，信号处理模块；模块化的设计更便于更换损坏零件，降低成本，延长寿命，并且方便拓展。2、本技术的外观结构模块完全封闭，对内部零件有较好的保护效果；内部零件分布紧凑，空间利用率高，壳体较小，便于携带和使用。3、本技术设备的拓展性较强，基于图像识别，信息分析等基础功能可实现不同情况下的多种功能。4、基于本技术的多点手势识别丰富了输入方式，相比传统静态的输入方式降低了输入的精确度要求，提高了操控的准确度。5、本技术的红外滤波片和一字线性红外激光器降低了图像处理的复杂度，滤波片保证只接受本设备激光器发光波段附近的电磁波，而一字线性激光器则将输入从三维转换成二维。6、本技术设计的图像处理环节，可以实现图像的校正，可调阈值的二值化，形态学滤波等，提高了图像质量，使后续信息的分析处理和功能实现更加容易。7、本技术的主要输出设备是投影仪和反射镜的组合，反射镜偏转投影仪的光线使得零件的布局更加紧凑，投影仪的显示区域与设备的输入区域重合，使操作更加直观。8、本技术以串口的方式实现数据流的传输，可以采用USB、蓝牙、WIFI等不同传输方式。附图说明图1(a)为本技术的系统结构正面示意图；图1(b)为本技术的系统结构反面示意图；图2为本技术的系统框图。其中，1-壳体；2-摄像头；3-红外滤波片；4-电池盒；5-一字线性激光器；6-反射镜组；7-第二反射镜；8-第一反射镜；9-投影仪发光口；10-投影仪。具体实施方式下面结合附图并举实施例，对本技术进行详细描述。一种基于平面手指识别的人机交互系统，如图1(a)和图1(b)以及图2所示，包括上位机、壳体1以及置于壳体1内部的线性红外激光器5、微型投影仪10、摄像头2、电池盒4、开关、红外滤波片3，反射镜组6。所述外壳1由前半部分和后盖组成，所有零件置于外壳前半部分中，后用后盖于前盖结合固定零件；所述摄像头2相对垂直方向以一定角度倾斜，其中摄像头2镜头前放置所述红外滤波片3，使得所有进入摄像头2的光都会先经过红外滤波片3，摄像头2经过USB线与上位机相连，从而与上位机交互.所述一字线性激光器5置于外壳的最底部，与外壳1底面平行，发射出与操作平面平行的平面红外光，所述电池盒4可放置适当型号的电池用以激光器5的供电；所述反射镜组6置于微型投影仪10的正上方，用以改变微型投影仪10的投影路径；其中，光线经过投影仪出射口9照射到第一面反射镜8，再被反射到第二面反射镜7上，第二次反射过后，光线以相对竖直放置的仪器以一定角度倾斜射出，途中经过两次镜面反射所以最终图像正常显示并未产生镜像变化，仅改变出射光线的角度。所述一字线性激光器5发射出平行的红外面激光，所述摄像头2和滤波片3的组合实时采集一定范围内的图像，一旦有物体出现在激光经过的路径上，激光便照射到物体上形成漫反射，反射的红外光将被摄像头2采集到，并传输给上位机交由后续处理，微型投影仪10经过反射镜组6对出射光线控制并将画面投射在操作区域附近。所述上位机包括四个模块，分别为图像处理模块，信息处理模块，功能应用模块，信息输出模块；其中，所述图像处理模块向程序提供原始图像数据，将处理之后的图像显示在图像处理界面上；处理分为3个步骤：首先将每一帧采集到的图像数据进行畸变矫正；然后对校正后的图像进行高斯滤波，二值化，形态学滤波来去除噪声点提高图像质量；最后对图像上的目标点进行分析处理进而得到各个点的二维重心点坐标、面积，并且通过预设的阈值来过滤掉面积过小或者过大的点，阈值的范围应根据实际手指头大小进行设定。上述信息处理模块进行坐标转换，将图像坐标转换成后续处理的目标坐标，并将坐标超过设定范围的点过滤；之后根据每一帧点的状态变化来对点的行为进行判定，主要分为按下，移动，和离开三种状态；其中加入防抖动功能来忽略掉移动状态下相对位移较小的点，从而提高输入的准确度和可操作性。所述功能应用模块就是利用之前处理过的数据来实现不同的功能；主要有静态区域分析法和动态区域分析法两种基本方法来实现目标功能。静态区域分析法适用于固定不变的输入区域，例如虚拟键盘和模拟钢琴等；在程序初始化的时候就划分了预先设定好的区域，并对各个区域赋予对应的触发事件；在之后的输入过程中，只要根据手指输入的坐标和状态来判断应该响应的事件和时机。这种方法稳定，便于实现，且效率较高；动态区域分析发适用于判定模糊输入，例如多点手势识别等；根据手指输入个数可分为单点识别及多点识别，根据手指的移动行为可分为前移，后移，左移，右移，汇聚和扩散这六种，将手指输入个数和手指移动行为排列组合便可对应多种响应事件；手指移动行为的判定是将手指移动过程中的各个点的坐标记录下来并进行比对识别来实现的。这种方法对输本文档来自技高网...

【技术保护点】
1.一种基于平面手指识别的人机交互系统，其特征在于，包括上位机、壳体(1)、红外激光器(5)、投影仪(10)、摄像头(2)、红外滤波片(3)以及反射镜组(6)；所述红外激光器(5)和投影仪(10)放置在壳体(1)底部，所述反射镜组放置在壳体(1)内的投影仪(10)上部，用于将投影仪(10)投射的图像反射到壳体(1)外部的投影区域；所述红外激光器(5)放置在壳体(1)内的底部，用于向投影区域上方发射一字线性红外激光；所述摄像头(2)的镜头处安装所述红外滤波片(3)，用于获取投影区域的手部的红外图像；所述上位机用于接收摄像头(2)拍摄的手部红外图像，并对手势进行识别，手势对应的命令，发送给被控对象，实现人机交互。

【技术特征摘要】
1.一种基于平面手指识别的人机交互系统，其特征在于，包括上位机、壳体(1)、红外激光器(5)、投影仪(10)、摄像头(2)、红外滤波片(3)以及反射镜组(6)；所述红外激光器(5)和投影仪(10)放置在壳体(1)底部，所述反射镜组放置在壳体(1)内的投影仪(10)上部，用于将投影仪(10)投射的图像反射到壳体(1)外部的投影区域；所述红外激光器(5)放置在壳体(1)内的底部，用于向投影区域上方发射一字线性红外激光；所述摄像头(2)的镜头处安装所述红外滤波片(3)，用于获取...

【专利技术属性】
技术研发人员：曾庆丰，余进春，苏波，何敬锁，张盛博，
申请(专利权)人：首都师范大学，
类型：新型
国别省市：北京,11