一种基于摄像头的虚拟触摸屏系统技术方案

本发明专利技术是一种基于摄像头的虚拟触摸屏系统，属于人机交互领域，旨在利用计算机视觉技术使任意一台普通显示器具有触摸屏的功能。该发明专利技术由显示屏、摄像头和计算装置三大部分组成。两个或两个以上摄像头从不同视角指向显示屏，使显示屏完全处于取景范围内。虚拟屏幕是显示屏前面且平行于显示屏的任意一个平面（包括显示屏）。多个摄像头拍摄手指在虚拟屏幕上的移动和点击等动作，计算装置识别这些动作并将其转化为相应的指令加以执行，从而完成人机交互操作。

【技术实现步骤摘要】

本专利技术是一种基于摄像头的虚拟触摸屏系统，属于人机交互领域。
技术介绍
目前，传统的屏幕交互设备是触摸屏，可以用来取代鼠标或键盘。工作时，首先用手指或其它物体来触摸显示在触摸屏上的图标或菜单，然后系统检测手指触摸的位置并根据该位置信息执行预设的交互操作。触摸屏是由触摸检测部件和触摸屏控制器两部分组成。触摸检测部件安装在显示器屏幕前面，用于检测用户触摸的位置，并且将该信息发送到触摸屏控制器；而触摸屏控制器接收来自检测部件的位置信息，将其转换成触点坐标后发送给CPU，同时接收CPU发来的指令并加以执行。触摸屏的价格从千元到几千不等，相对普通用户来说比较昂贵，因此很难得到大规模的普及。2001年美国微软公司的Zhang等设计的Visual Panel系统则是使用单个摄像头实现了虚拟鼠标和键盘的功能。它使用任意的矩形面板作为交互界面，通过手指在纸板上的移动和停留分别实现光标定位和鼠标单击的功能。由于面板可以随意移动，系统的灵活性比较好。然而点击的效果是通过指尖在同一位置停留一定时间来实现，因此交互的效率比较低。2004年日本东京大学的Malik等设计的Visual Touchpad系统使用两个摄像头获取现场视频，通过人手在一块矩形纸板上的动作完成与计算机的交互。它利用射影几何知识判断指尖点是否接触纸板表面，可以使用指尖点击纸板表面来实现模拟鼠标点击的功能。矩形的黑色纸板被用来提供人机交互的界面，使得系统的应用有一定的局限性。相关的公开专利信息CN1294336A号专利技术专利公告公布了一种计算机笔书写和输入系统，该电子书写装置实现了在普通显示屏上直接书写输入和笔控制的功能。它虽然不需要特制的书写板，但需要特制的光笔来产生控制信号。CN1378171A号专利技术专利公告公布了一种大屏幕非接触式控制方式，使大屏幕显示系统的人机交互变得简单有效，但它也需要带无线鼠标左右键的红色激光笔来产生特殊信号。CN1534544A号专利技术专利公告公布了一种计算机输入系统，其中介绍了一种触摸屏的实现方法，但它需要特殊的图像感应装置，进行交互操作时手指的滑动和点击都是在该感应装置表面进行。本专利技术仅使用多个摄像头即可使普通显示屏具备触摸屏的功能。手指在虚拟屏幕上移动和点击，可以对显示屏上显示的图标、菜单等进行直接操作。虚拟屏幕是显示屏前面且平行于显示屏的任意一个平面(包括显示屏)。
技术实现思路
本专利技术的目的是提供一种基于摄像头的虚拟触摸屏系统，采用视觉技术使任意一台普通显示器具备触摸屏的功能。本专利技术的技术方案如下本专利技术由两个或两个以上摄像头，显示屏和计算装置三大部分组成，采用计算机视觉技术使任意一台普通显示屏具备触摸屏的功能。两个或两个以上摄像头获取手指的三维运动信息，从不同视角指向显示屏拍摄，使显示屏完全处于取景范围内。虚拟屏幕是显示屏前面且平行于显示屏的任意一个平面(包括显示屏)，手指的移动和点击等动作在虚拟屏幕上进行。计算装置识别这些动作并转化为相应的指令加以执行，从而完成人机交互操作。视觉处理算法由系统标定、手指跟踪、指尖定位、点击检测等部分组成。系统标定的目的是获得两个摄像头的成像平面与显示屏平面之间的映射关系。利用该映射关系，可以计算出图像中任一象素点在虚拟屏平面中的对应位置。手指跟踪算法完成对手指的实时鲁棒跟踪，本专利技术采用的粒子滤波器算法可以在复杂的背景下获得可靠的跟踪结果。指尖定位算法对跟踪结果进行处理，实时并且准确地计算出指尖的位置。点击检测算法根据指尖位置和摄像机参数来判断是否产生指尖点击动作。如果检测到点击动作，则完成预设的交互操作。本专利技术具有如下优点1.本专利技术利用计算机视觉技术使普通显示器具备触摸屏的功能，通过多个摄像头拍摄手指或其它工具在屏幕前方的移动和点击等动作来完成人机交互。2.本专利技术提供一种灵活的虚拟触摸屏实现技术，手指的操作只要处于屏幕前方一定距离之内即可。这样，不接触屏幕也可以实现触摸屏功能。3.本专利技术可以扩展到任何屏幕来进行交互，如投影屏幕等。4.本专利技术只需要用户配置两个摄像头即可实现，价格便宜，配置简单。附图说明图1是本专利技术的系统框图；图2是本专利技术的手指轮廓模型；图3是本专利技术指尖接触屏幕的示意图； 图4是本专利技术指尖远离屏幕的示意图。下面结合附图和实施例对本专利技术作进一步说明。本专利技术的视觉处理算法主要由系统标定、手指跟踪、指尖定位和点击检测等部分组成。系统标定的目的是分别确定两个摄像头的成像平面与显示屏平面之间的映射关系。假设图像平面内一点(X，Y)，其在显示屏上的对应点为(x，y)，其映射关系可以用射影变换公式表达如下λxy1=h1h2h3h4h5h6h7h8h9XY1...(1)]]>其中，3×3矩阵H的独立参数只有八个，最少需要四组对应点即可确定该矩阵。对应点一般使用图像中特征明显的点，本专利技术在显示屏上显示棋盘格图像，利用角点检测算法提取棋盘格的内角点作为对应点。这样可以获取多组对应点，从而得到更精确的标定结果。得到上述映射关系，即可以计算出屏幕四个顶点在图像中的位置。定屏幕的左下顶点为原点，并由当前显示器分辨率得到其它三个顶点的坐标，然后根据式(1)可以反推出它们在图像中的坐标。依次连接四个顶点可得到图像中屏幕的形状。为了有效地跟踪手指，首先进行手部检测。本专利技术通过图像差分得到粗略的人手区域，然后建立肤色模型。在HSV空间使用高斯分布来描述肤色的色调H及饱和度S的分布规律。该方法将输入的彩色图像转换为灰度图像，越接近肤色的象素其灰度值越大，设置一个阈值即可将人手区域分割出来。由于背景中可能存在颜色接近肤色的物体，检测结果中会存在多个较小的噪声区域。本专利技术利用连通区检测技术来确定图像中最大的肤色区域作为人手区域。根据手部检测的结果，来确定指尖的粗略位置。人手区域的中心点与该区域下边界中心点的连线为主轴，将沿该方向距中心点最远的边缘点定为粗略指尖点。上述得到的灰度图像和粗略指尖位置在后续粒子滤波器跟踪算法中将分别用于提取手指的边缘轮廓和指导粒子的重要采样。手指跟踪实现对手指的实时鲁棒跟踪，为后续的处理提供手指的位置、形状等信息。本专利技术使用重要采样的粒子滤波器来实现对单个手指的跟踪。因为单个手指的轮廓形状比较简单且相对固定，该方法可以在保证实时性的基础上提供准确的跟踪结果。手部肤色信息被用于指导粒子的重要采样，可以有效的提高采样的准确性。手指轮廓模型使用7个控制点的B样条曲线来表示，如图3所示。由于手指运动过程中轮廓的形状相对固定，手指轮廓跟踪过程即为确定如下状态向量的过程，x＝[Px，Py，αx(cosθ-1)，αy(cosθ-1)，-αysinθ，αxsinθ]T，其中Px，Py分别表示手指模板的水平和垂直位移，αx，αy表示模板在水平和垂直方向的尺度变化，θ表示模板旋转的角度。本专利技术采用观测模型来计算粒子的置信度。观测的具体步骤是(1)对手部检测获取的灰度图像进行Canny滤波；(2)沿预测的样条曲线控制点的法线方向寻找边缘点，选择距离控制点最近的边缘点作为实际轮廓上的点；(3)根据确定的边缘点与控制点之间的最短距离di，由公式2计算第n个粒子的置信度，其中σ为密度函数的方差，N为控制点的个数。πt(n)=exp(-Σi=本文档来自技高网...

【技术保护点】
一种基于摄像头的虚拟触摸屏系统，由两个或两个以上摄像头、显示器屏幕和计算装置三大部分组成，其特征是：虚拟屏幕是显示屏前面且平行于显示屏的任意一个平面（包括显示屏），多个摄像头拍摄手指在虚拟屏幕上的移动和点击等动作，计算装置识别这些动作并将其转化为相应的指令加以执行，从而完成人机交互操作。

【技术特征摘要】
1.一种基于摄像头的虚拟触摸屏系统，由两个或两个以上摄像头、显示器屏幕和计算装置三大部分组成，其特征是虚拟屏幕是显示屏前面且平行于显示屏的任意一个平面(包括显示屏)，多个摄像头拍摄手指在虚拟屏幕上的移动和点...

【专利技术属性】
技术研发人员：贾云得，徐一华，李善青，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：11[中国|北京]