一种基于计算机视觉的手势操控系统技术方案

一种基于计算机视觉的手势操控系统，由图像采集装置、图像处理装置和交互操作设备组成，图像处理装置由人手定位模块、热点注册模块和手势识别模块组成，图像采集装置由两个高速摄像机、一个红外探测器、图像处理芯片和支架组成，红外探测器和两个高速摄像机的输出端分别与人手定位模块连接，人手定位模块的输出端分别与热点注册模块和手势识别模块连接，一个高速摄像机的输出端还与手势识别模块连接，手势识别模块和热点注册模块的输出端分别连接至交互操作设备。提供了一种全新的输入方式，能够实现利用手势操作计算机。不依助于标志物即可达到对手势的定位、识别操作，设置方便，操作简易。（*该技术在2021年保护过期，可自由使用*）

【技术实现步骤摘要】

本技术涉及一种基于视觉的计算机输入设备，具体地说是一种基于计算机视觉的手势操控系统。
技术介绍
在输入设备领域，传统的鼠标键盘等输入设备很难满操作沉浸感和趣味性。而人们在平时的人际交流过程中，除了使用语言、文字沟通之外，还常常借助手势来完成交流任务。因为人手不仅包含大量的符合人类认知习惯的交互信息，而且由于人手的连续运动，还存在三维空间位置信息，因此完全可以将人手位置和手势结合起来，作为一个不可分割的整体进行研究，从而发现和发掘一种全新的输入方式即手势操控，也就是系统的核心所在。
技术实现思路
本技术所要解决的技术问题是提供一种基于计算机视觉的手势操控系统，能够通过人的手势操作计算机，设置方便，操作简易。本技术为解决上述技术问题所采用的技术方案是一种基于计算机视觉的手势操控系统，由图像采集装置、图像处理装置和交互操作设备组成，所述的图像处理装置由人手定位模块、热点注册模块和手势识别模块组成，图像采集装置由两个高速摄像机、一个红外探测器、图像处理芯片和支架组成，红外探测器和两个高速摄像机的输出端分别与人手定位模块连接，人手定位模块的输出端分别与热点注册模块和手势识别模块连接，图像采集装置中的一个高速摄像机的输出端还与手势识别模块连接，手势识别模块和热点注册模块的输出端分别连接至交互操作设备。所述的两个高速摄像机和一个红外探测器呈三角形设置在支架上，并且两个高速摄像机平行设置。所述的红外探测器由红外发射器和红外接收器组成。所述的交互操作设备为带有显示器的计算机。本技术的有益效果是本技术方案提供了一种全新的输入方式，能够实现利用手势操作计算机。不依助于标志物即可达到对手势的定位、识别操作，设置方便，操作简易。本系统采用标准的通信协议进行设计，提供灵活的接口，能够灵活调用自有服务，实现系统内部各模块之间的良好对接。附图说明图1是本技术的结构示意图；图2是图像采集装置的结构示意图；图3是图像采集装置中电路连接方式示意图。图中标记1、图像采集装置，2、交互操作设备，3、图像处理装置，4、人手定位模块， 5、热点注册模块，6、手势识别模块，7、高速摄像机，8、红外探测器，9、支架，10、图像处理芯片，11、红外发射器，12、红外接收器。具体实施方式如图所示，一种基于计算机视觉 的手势操控系统，由图像采集装置1、图像处理装置3和交互操作设备2组成，所述的图像处理装置3由人手定位模块4、热点注册模块5和手势识别模块6组成，图像采集装置1由两个高速摄像机7、一个红外探测器8、图像处理芯片10和支架9组成，红外探测器8和两个高速摄像机7的输出端分别与人手定位模块4连接，人手定位模块4的输出端分别与热点注册模块5和手势识别模块6连接，图像采集装置 1中的一个高速摄像机7的输出端还与手势识别模块6连接，手势识别模块6和热点注册模块5的输出端分别连接至交互操作设备2。所述的两个高速摄像机7和一个红外探测器8呈三角形设置在支架9上，并且两个高速摄像机7平行设置。两个高速摄像机7均由图像处理芯片10控制，并将拍摄到的图像信息传送至图像处理芯片10，从而得到左右图像对。所述的红外探测器8由红外发射器11和红外接收器12组成，红外发射器11由图像处理芯片10控制负责发出红外信号。红外接收器12由图像处理芯片10控制负责接收红外信号，并将接收到的信号传送至图像处理芯片10，从而得到红外探测图像。所述的交互操作设备2为带有显示器的计算机。在本技术中，图像采集装置1用于采集操作者手部的图像信息，人手定位模块4根据采集到的图像信息，利用CamShift算法跟踪人手目标，并获得左右图像中的人手质心的像素坐标，然后根据成像模型和红外探测数据计算出质心点的三维坐标。图像采集装置1中的一个高速摄像机采集到的图像信息传送至手势识别模块6后，先将采集到的RGB 图像转换为HSV图像，然后由面积和人手定位模块4计算出的人手质心点位置两个信息，提取人手轮廓，在轮廓点集中查找凸包，通过计算原始轮廓面积与凸包面积的比值识别手势。 热点注册模块5用于实现图像采集装置1坐标系与交互操作设备2的操作系统坐标系的转换，从而根据手势对操作系统的相应位置进行操作。本技术，通过对所要设计的系统功能需求分析，设计出来的系统主要包含六大部分操作者、图像采集装置、人手定位模块、热点注册模块、手势识别模块和交互操作设备。六部分相互作用，构成一个闭合回路。其中(1)操作者真实环境当中的操作者是整个系统的输入端，在系统初始阶段，操作者需要将人手(不需要在手部携带任何标记物的自然手)放入到专用图像采集设备有效成像焦距范围内。根据具体Windows应用的不同，系统在每帧运行中，通过改变专用图像采集设备前方手型和人手的位置来驱动Windows环境当中的热点做相应的变化。由此来达到间接操作Windows环境的作用。(2)图像采集装置主要功能是做为图像采集源，时实捕获摄像头前方的图像。由于在人手定位中要利用到计算机视觉和红外探测的相关原理，所以此模块要提供的不能是一张图片，而应当是同一人手的左右两幅图像对和红外探测深度图。可将两部型号相同的专用图像采集设备和一个红外探测器固定在一个特质的支架上面，并调节好重叠的成像区域。本系统通过接收左右摄像头和红外探测器的图像，进行分析计算，得到左右图像对和红外深度图，为人手定位模块以及手势识别模块提供数据基础。(3)人手定位模块此模块是系统的核心模块之一，主要功能是在每一帧中，都需要分析处理图像采集模块捕捉到的左右图像对和红外探测图像。首先从视频流中跟踪左右图像中的人手目标，然后将左右图像中的人手质心做为目标匹配点运用计算机视觉原理， 以及红外深度探测图，最终计算出人手质心点三维坐标；当然，此阶段还有是个非常重要的任务，那就是要对双目专用图像采集设备进行标定，标定的目的就是要获得每部专用图像采集设备当中的一些必要参数，包括专用图像采集设备的内参数、外参数和镜头的畸变系数等。如果镜头的畸变比较严重，还需要对左右图像对进行立体矫正。标定的精度将直接影响到人手定位的精准度。根据计算机双目视觉原理，结合红外深度探测，通过Camshift算法，精确计算出目标相对于左(右)摄像机镜头光心位置的三维坐标。主要是通过对采集的图片进行处理以恢复原 始图像相应的三维信息。而双目视觉是计算机视觉的一个重要组成部分，它通过固定在不同位置的两台摄像机连续拍摄同一场景，然后计算同一空间点在两幅图像中的视差从而得到该点的三维坐标。最后结合红外探测数据，使用灰度映射自适应增强算法，计算出合适的深度范围，从而减少外界干扰，达到主要有效区域控制。(4)热点注册模块人手定位模块计算出的人手质心点坐标是相对应左(右)专用图像采集设备镜头光心的，要实现与Windows环境的交互，人手质心点三维坐标就需要与 Windows环境当中的某一点有一个对应关系，即需要一个从左(右)专用图像采集设备坐标系到Windows环境坐标系的转化。此步骤为操作者完成真实人手与虚拟世界中的虚拟物体交互提供了坚实的基础。(5)手势识别模块此模块也是系统的核心模块之一，主要功能就是识别镜头前方手势。人手定位模块要用到两部专用图像采集设备，因为需要获取左右图像对中人手质心点信息；而手势本文档来自技高网...

【技术保护点】
１．一种基于计算机视觉的手势操控系统，其特征在于：由图像采集装置（１）、图像处理装置（３）和交互操作设备（２）组成，所述的图像处理装置（３）由人手定位模块（４）、热点注册模块（５）和手势识别模块（６）组成，图像采集装置（１）由两个高速摄像机（７）、一个红外探测器（８）、图像处理芯片（１０）和支架（９）组成，红外探测器（８）和两个高速摄像机（７）的输出端分别与人手定位模块（４）连接，人手定位模块（４）的输出端分别与热点注册模块（５）和手势识别模块（６）连接，图像采集装置（１）中的一个高速摄像机（７）的输出端还与手势识别模块（６）连接，手势识别模块（６）和热点注册模块（５）的输出端分别连接至交互操作设备（２）。

【技术特征摘要】
1.一种基于计算机视觉的手势操控系统，其特征在于由图像采集装置(1)、图像处理装置(3)和交互操作设备(2)组成，所述的图像处理装置(3)由人手定位模块(4)、热点注册模块(5)和手势识别模块(6)组成，图像采集装置(1)由两个高速摄像机(7)、一个红外探测器(8)、图像处理芯片(10)和支架(9)组成，红外探测器(8)和两个高速摄像机(7)的输出端分别与人手定位模块(4)连接，人手定位模块(4)的输出端分别与热点注册模块(5) 和手势识别模块(6)连接，图像采集装置(1)中的一个高速摄像机(7)的输出端还与手势识别...

【专利技术属性】
技术研发人员：郭晓光，
申请(专利权)人：河南安瑞数字科技有限公司，
类型：实用新型
国别省市：41