本发明专利技术公开一种多指触摸方法和装置、便携式终端设备，该方法包括：响应于用户伸出至少一个手指指向计算机屏幕，识别摄像机采集的图像帧中的人眼和至少一个手指；将识别的手指在所述图像帧中的第一坐标映射为所述手指在计算机屏幕的第二坐标；将识别的人眼在所述图像帧中的第三坐标映射为所述人眼在计算机屏幕的第四坐标；判断所述第四坐标是否在所述第二坐标附近；响应于判断结果为是，确定所述第二坐标为多指触摸点。
【技术实现步骤摘要】
本专利技术涉及多指触摸，特别涉及通用计算机的多指触摸方法和装置、便携式终端设备。
技术介绍
多指触摸(Mult1-Touch)技术是指允许计算机用户同时通过多个手指来控制图形界面的一种技术。随着应用多指触模控制技术的智能手机的流行，基于多指触摸控制的手势识别技术逐渐成为人们普遍接受的人机交互技术。多指触摸输入必须依赖多点触控设备，通常是多指触摸板，或者支持多指触摸输入的触摸屏。这类设备目前还不普及，通常只在高端的电子设备如苹果笔记本上才具备，或者需要单独采购。多数家用或商用的台式计算机和笔记本在硬件上不支持多指触摸，因此限制了多指触摸技术在通用计算机上的应用。为了在没有多指触摸设备的情况下可以开发和使用支持多指触摸输入的软件系统，人们开发了多种模拟多指触摸输入的技术。例如，有一种模拟多指触摸输入的软件，将此软件的窗口覆盖在支持多指触摸输入的目标软件界面上，先用鼠标在目标软件上点击一个或者几个点，作为固定的输入点，然后用鼠标模拟可以活动的输入点。还有人用两个鼠标来模拟两个输入点。这类方法可以模拟的触摸点数量非常有限，且输入方式与多指触摸的操作差别很大，效果并不理想。近年来，出现了基于机器视觉的手势识别技术，基于机器视觉的手势识别技术利用摄像机捕捉手势，并且通过计算手势运动轨迹与预定模板之间的相关系数(correlationcoefficient)确定手势的交互语义(interaction semantics)。现有的通过摄像头来识别手指并模拟多点接触的方法，需要通过一个画好棋盘格的物理表面作为模拟的触摸板，通过支持无线通信的摄像头对手指运动进行拍摄，然后通过无线通信将捕捉的图像发送到计算机上进行分析，通过自动摄像头校正和使用前的姿态学习、使用中的图像识别等方法来获得用户的多指触摸输入。但是这种基于摄像机的手势识别技术需要额外的辅助设备，如画好棋盘格的物理平面，为了能够拍摄到手指的运动而增加的无线摄像头、嵌入式传输设备，并通过USB无线接收器连接计算机，这些要求显然限制了此种技术的使用，另外，这类方法也没有很好解决输入的开始和结束的问题。图像中刚出现手指的时候，用户可能还没有准备好，或者是操作完毕准备撤回手指，如果不能很好的区分操作的开始和结束，会给用户的操作造成很大的不便，甚至导致操作混乱，使技术失去实用价值。因此需要一种应用于通用计算机的多指触摸技术，能够克服现有技术的缺陷，在常见的个人计算机上，在不增加额外硬件设备的前提下，支持用户进行多指触摸输入，且操作方式简便自然，尽可能接近实际多指触摸设备的操作方式
技术实现思路
基于上述问题，本专利技术提供一种多指触摸方法和装置。根据本专利技术的第一方面，提供一种多指触摸方法，包括:响应于用户伸出至少一个手指指向计算机屏幕，识别摄像机采集的图像帧中的人眼和至少一个手指；将识别的手指在所述图像帧中的第一坐标映射为所述手指在计算机屏幕的第二坐标；将识别的人眼在所述图像帧中的第三坐标映射为所述人眼在计算机屏幕的第四坐标；判断所述第四坐标是否在所述第二坐标附近；响应于判断结果为是，确定所述第二坐标为多指触摸点。根据本专利技术的第二方面，提供一种多指触摸装置，包括:识别模块，被配置为响应于用户伸出至少一个手指指向计算机屏幕识别摄像机采集的图像帧中的人眼和至少一个手指；坐标映射模块，被配置为将识别的手指在所述图像帧中的第一坐标映射为所述手指在计算机屏幕的第二坐标，以及将识别的人眼在所述图像帧中的第三坐标映射为所述人眼在计算机屏幕的第四坐标；判断模块，被配置为判断所述第四坐标是否在所述第二坐标附近；多指触摸点确定模块，被配置为响应于判断结果为是确定所述第二坐标为多指触摸点。根据本专利技术的第三方面，提供了 一种包括上述多指触摸装置的便携式终端设备。根据本专利技术实施例的多指触摸方法和装置，在不增加额外硬件设备的前提下，支持用户进行多指触摸输入，且操作方式简便自然，尽可能接近实际多指触摸设备的操作方式。附图说明结合附图，通过参考下列的实施例详细描述方法和装置，将会更好地理解本专利技术本身、优选的实施方式以及本专利技术的目的和优点，其中:图1示出根据本专利技术实施例的多指触摸方法；图2示出人眼在图像帧中的坐标示意图；图3示出手指的图像示意图；图4示出手指在以计算机屏幕为X-Y平面的三维坐标系统中的示意图；图5示出人眼在以计算机屏幕为X-Y平面的三维坐标系统中的示意图；图6示出根据本专利技术实施例的一种多指触摸装置；以及图7示意性示出了可以实现根据本专利技术的实施例的计算设备的结构方框图。具体实施例方式以下结合附图描述根据本专利技术实施例的一种多指触摸方法和装置，将会更好地理解本专利技术的目的和优点。图1示出根据本专利技术实施例的多指触摸方法，在步骤S101，响应于用户伸出至少一个手指指向计算机屏幕，识别摄像机采集的图像帧中的人眼和至少一个手指；在步骤S102，将识别的手指在所述图像帧中的第一坐标映射为所述手指在计算机屏幕的第二坐标；在步骤S103，将识别的人眼在所述图像帧中的第三坐标映射为所述人眼在计算机屏幕的第四坐标；在步骤S104，判断所述第四坐标是否在所述第二坐标附近；在步骤S105，响应于判断结果为是，确定识别的手指为多指触摸点。具体地，在步骤S101，响应于用户伸出至少一个手指指向计算机屏幕，识别摄像机采集的图像帧中的人眼和至少一个手指。摄像头已成为通用计算机或笔记本的标准配置，负责实时采集在摄像头视野范围内的用户图像。当用户伸出至少一个手指指向计算机屏幕时，摄像机实时采集摄制范围内的图像，系统识别摄像机采集的图像帧中的人眼和至少一个手指。为了更有效的对图像中手指和人眼进行识别，需要对大量的手指和人眼图像特征进行学习。考虑到不同人的手指和人眼比较类似，系统采用离线的方法对手指和人眼特征进行学习，选取手指和人眼的样本图像作为正样本，选取任意图像作为负样本，利用所述正样本和负样本训练分类器。具体步骤如下:(I)找到代表用户群手指和人眼图像特点的若干用户(如50个)。(2)对每个用户，对他每个指头和人眼，以不同的摄像机距离，不同的姿态进行一组摄像。(3)对摄像中的指头和人眼采用人工的方法进行矩形框标定。(4)对这些矩形框图像按尺寸归一化到一个选定的典型尺寸上，将这些图像作为正样本。(5)随机选取各类影像，考虑到本系统的使用场景主要在室内，可重点选取室内影像，从这些影像中任意抽取正方形图像块，尺寸归一后作为负样本。(6)利用正样本及负样本训练一个分类器(如SVM分类器，或ANN分类器)。由于手指和人眼影像具有比较显著的特征以及较强的一致性，按目前技术水平，分类器经过训练后能较好的分辨任意一个矩形图像是否是一个手指或者人眼。在后续的步骤中，该分类器将用于(分析和定位)判断图像中的手指或人眼区域。识别摄像机采集的图像帧中的手指和人眼，需要进行如下三个步骤:1.图像预处理对采集的图像帧的像素进行运算，主要是进行图像灰度化，目的是为了图像分割以及特征提取和选择提供基础。2.图像分割首先将采集的图像帧按照分类器的矩形图像块的大小划分成多个图像子块，利用分类器来识别所有图像子块中的手指和人眼，由分类器对多个图像子块内的几何形状和像素分布情况进行分析，将采集图像帧中的多个图像子块与分类器训练的手指和人眼的图像样本逐个进行比较，根据本文档来自技高网...
【技术保护点】
一种多指触摸方法，包括：响应于用户伸出至少一个手指指向计算机屏幕，识别摄像机采集的图像帧中的人眼和至少一个手指；将识别的所述手指在所述图像帧中的第一坐标映射为所述手指在计算机屏幕的第二坐标；将识别的人眼在所述图像帧中的第三坐标映射为所述人眼在计算机屏幕的第四坐标；判断所述第四坐标是否在所述第二坐标附近；响应于判断结果为是，确定所述第二坐标为多指触摸点。
【技术特征摘要】
1.一种多指触摸方法，包括: 响应于用户伸出至少一个手指指向计算机屏幕，识别摄像机采集的图像帧中的人眼和至少一个手指； 将识别的所述手指在所述图像帧中的第一坐标映射为所述手指在计算机屏幕的第二坐标； 将识别的人眼在所述图像帧中的第三坐标映射为所述人眼在计算机屏幕的第四坐标； 判断所述第四坐标是否在所述第二坐标附近； 响应于判断结果为是，确定所述第二坐标为多指触摸点。2.根据权利要求1所述的方法，还包括: 为对应于所述第二坐标的多指触摸点分配唯一标识ID ； 将所述标识ID和所述第二坐标作为多指触摸事件的参数发送至操作系统。3.根据权利要求2所述的方法，还包括: 响应于识别出所述图像帧的相邻图像帧包含多指触摸点，则判断相邻图像帧中包含多指触摸点的图像子块是否与所述图像帧中包含多指触摸点的图像子块匹配； 响应于判断结果为是，则用所述标识ID标识相邻图像帧中包含的多指触摸点。4.根据权利要求1-3任一项所述的方法，其中所述人眼在计算机屏幕的第四坐标基于以下参数计算:人眼在所述图像帧中的第三坐标、人眼大小a、人眼大小a和人眼与计算机屏幕的距离d的关系系数η、人眼的瞳孔在空间坐标系中的朝向。5.根据权利要求4所述的方法，还包括: 选取手指和人眼的样本图像作为正样本； 选取任意图像作为负样本； 利用所述正样本和负样本训练分类器。6.根据权利要求5所述的方法，其中识别摄像机采集的图像中的人眼和至少一个手指包括: 将采集的图像帧划分为多个图像子块； 利用所述分类器识别所述多个图像子块中的人眼和至少一个手指。7.根据权利要求6所述的方法，还包括: 通过图像边缘检测提取算法提取识别的手指的边界和人眼的眼球边界； 根据手指边界像素点的数目和坐标计算所述第一坐标； 根据眼球边界像素点的数目和坐标计算所述第三坐标。8.一种多指触摸装置，包括: 识别模块，被配置为响应于用户伸出至少一个手指指向计算机屏幕识别摄像机采集的图像帧中的人眼和至少一个手指； ...
【专利技术属性】
技术研发人员：傅宇辉，谢明，田启明，赵惟，董进，尹文君，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。