基于计算机视觉技术的多点触摸屏系统装置制造方法及图纸

本实用新型专利技术公开一种基于计算机视觉技术的多点触摸屏系统装置，系统装置由3组摄像机、1个图像处理装置和1个普通显示屏组成。3组摄像机的输出端都接在图像处理装置上。在显示屏的左右两端各放置一组指向显示屏边框的水平摄像机，当手指进入摄像机取景范围时，可根据手指指尖与显示屏距离判断是否产生触摸。显示屏前方放置一组指向显示屏且整个显示屏处于其取景范围内的垂直摄像机，当产生触摸时，可根据该摄像机拍摄的图像获取指尖点位置，同时对手指进行跟踪。图像处理装置通过对摄像机采集的图像进行处理，得到指尖触摸点的位置和手指动作信息，转换为相应的指令完成触摸操作。（*该技术在2022年保护过期，可自由使用*）

【技术实现步骤摘要】

本技术涉及触摸屏
，具体涉及一种基于计算机视觉技术的多点触摸屏系统装置。
技术介绍
触摸屏作为一种最新的计算机输入设备，是目前最简单、方便、自然的一种人机交互方式。它赋予了多媒体以崭新的面貌，是极富吸引力的全新多媒体交互设备。在目前的市场应用中，触摸屏主要有电阻式、电容式、表面声波式、红外线式触摸屏四大类型。电阻式、电容式触摸屏由于成本原因，只能应用在中小尺寸触摸屏中。红外线式触摸屏虽然价格低廉，响应快，但是分辨率低，易受到外界强光干扰。表面声波式触摸屏解决了红外线式触摸屏的问题，但容易受灰尘和水滴、油污等影响。随着图像显示技术的发展以及人类对信息交换的方便性及舒适性的要求越来越高，市场对大尺寸、价格不高且交互自然的触摸屏需求越来越强烈。基于计算机视觉技术的触摸屏有着价格低廉、分辨率高、可以利用任何平面作为触摸平面、不易受外界环境的干扰、应用范围广等优势，因此是触摸屏未来发展的方向。但是目前市场出现的相关技术的触摸屏都对背景界面要求较高，只能是一些简单的黑白界面，或者要求有配套的触摸笔或触摸手套，不能自然友好地实现人机交互，使用场合非常有限。同时，现有的相关技术触摸屏在同一时间仅能够识别一个触点，实现的动作信息比较单调。随着触摸技术的广泛应用，多点触控逐渐受到关注。多点触控能够同时接收来自屏幕上多个点的输入信息，使得动作信息大大增加，令触摸操作更加简洁方便。但是当前的触摸屏技术大多都不能识别多个触点，因此限制了多点触控技术的发展。公告号为CN1912816A的中国技术专利公开了“一种基于摄像头的虚拟触摸屏系统”，该系统首先通过两个或两个以上摄像头从不同视角指向显示屏，并确定两个摄像头的成像平面与显示屏之间的映射关系；然后通过图像差分得到粗略的人手区域并建立肤色模型，以获得灰度图像和粗略指尖位置；之后再使用重要的采样粒子滤波器对单个手指进行跟踪以获得手指轮廓曲线，并根据指尖所在控制点得到指尖的位置；最后根据两帧图像中的指尖点在显示屏上的对应位置确定指尖点击动作。然而上述系统由于上述系统是通过粒子滤波器算法来计算指尖的位置及对指尖点进行跟踪，以实现在普通显示屏的触摸功能，因此只能对单个手指进行跟踪和指尖提取，不能实现多点触摸功能。
技术实现思路
本技术所要解决的技术问题是提供一种基于计算机视觉技术的多点触摸屏系统装置，其能够使任意显示屏具有多点触摸的功能，同时具有成本低、性能稳定、可用于大尺寸屏幕等优点。为解决上述问题，本技术是通过以下方案实现的基于计算机视觉技术的多点触摸屏系统装置，主要由显示屏、2个水平摄像机、I个垂直摄像机和图像处理装置组成；其中2个水平摄像机分别放置在显示屏的左右两端、并同时指向显示屏边框；垂直摄像机则放置在显示屏的前方、并指向显示屏且整个显示屏处于垂直摄像机的取景范围内；2个水平摄像机和I个垂直摄像机的输出端均与图像处理装置的输入端相连。上述图像处理装置为具有，采用系统标定算法对垂直摄像机进行系统标定，获得摄像机成像平面坐标与显示屏坐标的映射关系；通过内部算法处理2个水平摄像机获取的图片，根据手指指尖与显示屏边框的距离判断是否产生触摸；通过内部算法处理垂直摄像机获取的图片，得到手指指尖的位置坐标作为触摸的控制点；根据成像平面坐标与显示屏平面坐标的映射关系，将指尖的位置坐标转换为显示屏对应的坐标；根据指尖坐标和指尖停留时间进行点击检测，若符合点击条件，则转换为相应的指令完成触摸操作；以及采用卡尔曼滤波器对手指指尖点进行跟踪，预测下一帧图像指尖点的位置；等功能的 图像处理装置。与现有技术相比，本技术具有如下特点I、利用计算机视觉技术解决了传统触摸屏存在的不足。由于摄像机的位置可随意调整，因此屏幕的尺寸易不受限制，只要显示屏在摄像头的视界范围内，都能够准确定位到指尖，可以应用在大尺寸显示屏上；2、图像处理装置可以是PC机或嵌入式装置，系统只需在现有设备基础上外加三组摄像机即可使普通显示屏具备触摸屏的功能，设计成本低；3、系统还可以用于投影屏幕等其他屏幕或者投影墙上，使用场合易于扩展，不受背景界面或环境的限制；4、系统通过算法改进可识别多个触点，适用于多点触控系统环境。附图说明图I为一种基于计算机视觉技术的多点触摸屏系统装置连线图；图2为一种基于计算机视觉技术的多点触摸屏系统装置内部模块结构示意图；图3为一种基于计算机视觉技术的多点触摸屏系统实现方法流程图；图4为指尖定位的轮廓模型。具体实施方式合点击条件，则转换为相应的指令完成触摸操作。所述卡尔曼跟踪模块采用卡尔曼滤波器对手指指尖点进行跟踪，预测下一帧图像指尖点的位置。采用上述装置所实现的一种基于计算机视觉技术的多点触摸屏系统实现方法流程图如图3所示，包括以下几个步骤(I)对置于显示屏前方的垂直摄像机进行系统标定，获得摄像机成像平面坐标与显示屏平面坐标的映射关系。(2)启动2个水平摄像机，当手指进入摄像机取景范围后，采用背景差分法和肤色分割算法获取手指的轮廓，根据手指指尖与显示屏边框的距离判断是否产生触摸。(3)当产生触摸时，启动垂直摄像机，采用改进的背景差分法和肤色分割法获取手指的轮廓，并通过指尖定位算法实时准确地获取指尖的像素点。根据成像平面坐标与显示屏平面坐标的映射关系，将指尖的像素点转换为显示屏对应的坐标。(4)根据指尖坐标和指尖停留时间进行点击检测，若符合点击条件，则转换为相应的指令完成触摸操作。若不符合，则触摸操作未完成，采用卡尔曼滤波器对指尖点进行跟踪，预测下一帧图像指尖点位置。(5)在下一帧图像中以预测的指尖点为中心点划出ROI区域进行步骤(3)肤色分割和指尖定位，不断循环直至触摸操作结束。在系统中，图像处理算法包括系统标定、手指轮廓分割、指尖定位、手指跟踪等部分组成，下面将对系统涉及的图像处理算法进行描述。计算机视觉中，空间上某点的几何位置与其在摄像头采集到的图像上对应点的几何关系是由摄像头的成像模型决定的，对于成像模型参数的计算称为系统标定。通过系统标定，即可获得摄像机的成像平面与显示屏平面之间的映射关系。假设显示屏在世界坐标系Z=O的平面内，显示屏左上角为原点。图像平面内的一个像素点(U，V)，对应显示屏的坐标点为(xw，yw)，两个点有如下映射关系 V 厂 w厂 I UXwZc V =A[r T2 T3 t] J' =A[r, r2 t] yw II IL JLU(I)其中，矩阵A为摄像机的内参数矩阵，可通过在3个不同位置获取的棋盘格标定板 _ i τ I图像计算出来。[A，r2, t]为摄像机外参数矩阵# T j的简化矩阵。本技术通过在显示屏上显示棋盘格图像，利用角点检测算法提取棋盘格的内角点作为对应点。这样，可以根据式⑴建立多组图像像素点与显示屏坐标点的方程，求出矩阵[r1; r2, t]。矩阵A[r1;r2, t]的逆矩下面结合具体图示，进一步阐述本技术参照图1，本技术一种基于计算机视觉技术的多点触摸屏系统装置由3组摄像机、I个图像处理装置和I个普通显示屏组成。图中的3组摄像机的输出端都接在图像处理装置上。在显示屏的左右两端各放置一组指向显示屏边框的水平摄像机，当手指进入摄像机取景范围时，可根据手指指尖与显示屏距离判断是否产生触摸。显示屏前方放本文档来自技高网...

【技术保护点】
基于计算机视觉技术的多点触摸屏系统装置，其特征在于：主要由显示屏、2个水平摄像机、1个垂直摄像机和图像处理装置组成；2个水平摄像机分别放置在显示屏的左右两端、并同时指向显示屏边框；垂直摄像机则放置在显示屏的前方、并指向显示屏且整个显示屏处于其取景范围内；2个水平摄像机和1个垂直摄像机的输出端均与图像处理装置的输入端相连。

【技术特征摘要】
1.基于计算机视觉技术的多点触摸屏系统装置，其特征在于主要由显示屏、2个水平摄像机、I个垂直摄像机和图像处理装置组成；2个水平摄像机分别放置在显示屏的左右两端、并...

【专利技术属性】
技术研发人员：张红梅，陈俊彦，叶进，张向利，张全君，吴阿沛，
申请(专利权)人：桂林电子科技大学，
类型：实用新型
国别省市：