一种基于图像识别的虚拟触摸屏系统技术方案

一种基于图像识别的虚拟触摸屏系统，其特征是由至少两个一维图像采集装置、显示屏和计算装置组成，一维图像采集装置设置在虚拟触摸屏的四周，每个一维图像采集装置获取的一维图像所在面与虚拟触摸屏处于同一平面；多个一维图像采集装置将手指在虚拟触摸屏上的位置和点击动作转换成多个一维图像中的点及点的有无，计算装置根据所述一维图像中点的信息识别手指在虚拟触摸屏中的两维直角坐标，并执行相应的操作，完成人机交互功能。本实用新型专利技术解决了使用图像技术实现的触摸屏存在的人体遮挡手指的问题，特别适用于大屏幕触摸系统。（*该技术在2018年保护过期，可自由使用*）

【技术实现步骤摘要】

本技术是基于图像识别的虚拟触摸屏系统，属于人机交互领域。
技术介绍
触摸屏是继键盘、鼠标之后最为普遍接受、极有发展前途的交互式输入方式，应用领域 广泛，目前，普通触摸屏主要有红外线式、电阻式、表面声波式、电容式等类型。这些类型 的大屏幕尤其是超大屏幕触摸屏产品，均存在价格昂贵、通用性差、稳定性差、准确性差的问题。另一方面，触摸屏技术方便了人们对计算机的操作使用，用户只要用手指轻轻地触碰 计算机显示屏上的图符或文字就能实现对主机操作，从而使人机交互更为直截了当，非常适 合多媒体信息查询，是一种极有发展前途的交互式输入设备，大屏幕尤其是超大屏幕更具有 巨大的应用前景。CN1912816A号专利技术专利公告公布了一种基于摄像头的虚拟触摸屏系统，由多个摄像头 拍摄手指在虚拟触摸屏上的移动和点击操作，从拍摄的图像中将人手区域分割出来，进而提 取手指的边缘轮廓，将手指轮廓的B样条曲线的第4个控制点定义为手指位置，由二维坐标 射影变换公式转换进而获得手指在显示屏幕的位置。这一技术方案本质是用多个摄像头将手 指及触摸屏的三维图像转换成多个二维图像，进而从这些二维图像中识别出手指及手指的移 动、点击等动作。由于拍摄的图像必须包含显示屏幕，所以摄像头必须放置在显示屏幕的前 方，这必然存在人体遮挡无法识别手指的问题。
技术实现思路
本技术是为避免上述现有技术所存在的不足之处，提供一种基于图像识别的虚拟触 摸屏系统，其结构简单，实现方便，造价低廉，尤其可以解决人体遮挡无法识别手指的问题； 使用一维图像采集装置实现普通触摸屏具有的触摸功能，使任意一个普通显示屏幕具备触摸 屏的功能。本技术解决技术问题采用如下技术方案本技术基于图像识别的虚拟触摸屏系统的特点是由至少两个一维图像采集装置、显 示屏和计算装置组成，所述一维图像采集装置设置在虚拟触摸屏的四周，每个一维图像采集 装置获取的一维图像所在面与所述虚拟触摸屏处于同一平面；所述虚拟触摸屏与显示屏幕的 形状和尺寸完全相同，虚拟触摸屏与显示屏幕处在同一平面内，或虚拟触摸屏处于显示屏幕 的正前方且平行于显示屏幕；多个一维图像采集装置将手指在虚拟触摸屏上的位置和点击动 作转换成多个一维图像中的点及点的有无，计算装置根据所述一维图像中点的信息识别手指在虚拟触摸屏中的两维直角坐标，并执行相应的操作，完成人机交互功能。本技术的结构特点也在于所述一维图像采集装置采用一维线性传感器；或采用两维 图像摄像头，以所述两维图像摄像头中的一行或一列的图像数据为所需的一维图像数据。本技术采用图像识别和几何投影技术实现计算机显示屏虚拟触摸功能，使任意一个 普通显示屏幕具备触摸屏的功能。本技术计算装置综合应用的识别算法包括初始定位算法、手指识别算法、手指定 位算法、点击判定算法等。初始定位算法的目的是确定手指在触摸时虚拟触摸屏中若干棋盘格投影到一维图像坐 标上的范围、 一维图像采集装置拍摄方向的斜率；指尖识别算法完成指尖识别，且给出指尖 是否在虚拟触摸屏上的判断；手指定位算法实时并且准确地计算出手指触摸在显示屏上的位 置；点击判定算法根据不同时间的手指位置检测是否产生点击操作。与已有技术相比，本技术有益效果体现在1、 本技术的图像采集装置设置在虚拟触摸屏的四周，其拍摄方向与虚拟触摸屏平 行，从根本上解决了人体遮挡引起手指无法识别的问题，尤其是因其避免了人体遮挡的问题， 因而可以扩展到投影屏幕、普通墙面等任何大屏幕，通用性好。2、 本技术为一维图像数据的处理，相比于二维图像的数据处理，其过程大为简化、算法简单。3、 本技术采用一维图像传感器，配合设置镜头、信号转换和接口电路，其配置简 单，价格便宜。4、 本技术也可以采用两维图像摄像头，以所述两维图像摄像头中的一行或一列的 图像数据为所需的一维图像数据，易于实施。5、 本技术一般情况下只要使用两个图像采集装置。使用两个以上图像采集装置可 以减小图像采集装置与显示屏之间的距离，对于较大屏幕来说，可以使整个系统更加紧凑。附图说明图1为本技术系统结构主视示意图。图2a为本技术中虚拟触摸屏与显示屏幕处于同一平面内。 图2b为本技术中虚拟触摸屏处于显示屏幕的正前方。 图3为本技术原理示意图。 图4为本技术坐标设置示意图。图5为本技术虚拟触摸屏划分为棋盘格及棋盘格内平行投影示意图。图6为本技术中斜率计算示意图。 图7为本技术截距计算示意图。图中标号1显示屏幕、2图像采集装置、3虚拟触摸屏。以下通过实施例，并结合附图对本技术作进一步说明。具体实施方式实施例l:本实施例采用一维图像采集装置。参见图l，在虚拟触摸屏3的上方设置两个图像采集装置2，本实施例中的图像采集装 置2是采用一维图像采集装置， 一维图像采集装置获取的一维图像所在面与虚拟触摸屏在同 一平面，每个一维图像采集装置的轴线与水平方向成0°到908之间的夹角，两条轴线夹角在 0°到180°之间,取接近90°为佳。参见图2a，虛拟触摸屏3可以与显示屏幕1处于同一平面，此时，图像采集装置获取 的一维图像所在面与显示屏幕在同一平面。参见图2b，虚拟触摸屏3也可以处于显示屏幕1的正前方，此时，图像采集装置获取 的一维图像所在面与显示屏幕平行且在其正前方。实施例2:本实施例以摄像头代替一维图像采集装置。本实施例中，在虚拟触摸屏3的上方设置的图像采集装置2是两个摄像头，摄像头的镜 片与显示屏垂直，每个摄像头的轴线与水平方向成0°到90°之间的夹角，两条轴线夹角在(f 到180°之间，取接近90"为佳。摄像头的轴线处于虚拟触摸屏的平面内。由于摄像头镜片与 虚拟触摸屏垂直，当用户进行手指触摸操作时，手指的运动平面与镜片垂直，因此手指在虚 拟触摸屏上的运动轨迹一直显示在摄像头所拍摄图像的某条确定直线上。于是手指在二维显 示屏幕平面上的运动，转换为手指点在摄像头拍摄的两幅图像的某条确定直线上的移动。左 右摄像头拍摄的两幅图像中直线上的点和二维显示屏平面中的某点存在一一对应的关系。如 图3所示，问题即转换为根据两幅图像中手指移动直线上的点的位置来唯一确定用户手指触 摸的二维平面上的点坐标。其实质为由两个一维坐标点和一些初始角度值来唯一确定二维平 面内的一点坐标。解决该问题的方法很多，本实施例是其中一种方法。当用户在虚拟触摸屏上某个位置进行触摸时，左右两个摄像头分别拍摄出两幅图像。手 指在虚拟触摸屏上任意一点的触摸均表现为图像的一条确定直线上的点。根据手指在两幅图 像中的直线上的位置，确定其在虚拟触摸屏中的两维坐标位置。以两幅图像中直线上的两点 来建立虚拟触摸屏平面上的两条直线方程，两条直线相交即获得手指在虚拟触摸屏平面内的 点坐标。直线方程少=^*乂 + 6 (式l)，其中A表示斜率，6表示截距。下面以左边摄像头为例来说明转换过程，右边摄像头类似。假设虚拟触摸屏是如图4所示的矩形区域，以左下角为原点，建立二维坐标平面JC、 y。左边摄像头。位于虚拟触摸屏左上角某处。其视角范围应包含整个矩形区域，将^与矩形的四个顶点连接构成摄像头拍摄各点的光线方向，以经过左下角和右上角顶点的光线方向为 腰，c,为顶点作一个等腰三角形，底为虚线所示的(^，&本文档来自技高网...

【技术保护点】
一种基于图像识别的虚拟触摸屏系统，其特征是由至少两个一维图像采集装置、显示屏和计算装置组成，所述一维图像采集装置设置在虚拟触摸屏的四周，每个一维图像采集装置获取的一维图像所在面与所述虚拟触摸屏处于同一平面；所述虚拟触摸屏与显示屏幕的形状和尺寸完全相同，虚拟触摸屏与显示屏幕处在同一平面内，或虚拟触摸屏处于显示屏幕的正前方且平行于显示屏幕；多个一维图像采集装置将手指在虚拟触摸屏上的位置和点击动作转换成多个一维图像中的点及点的有无，计算装置根据所述一维图像中点的信息识别手指在虚拟触摸屏中的两维直角坐标，并执行相应的操作，完成人机交互功能。

【技术特征摘要】

【专利技术属性】
技术研发人员：吴建国，周健强，李炜，刘政怡，吴海辉，刘苏南，郭星，赵照，
申请(专利权)人：合肥吉天电子科技有限公司，安徽大学，
类型：实用新型
国别省市：34[中国|安徽]