摄像机‑投影交互触控方法、装置及计算机可读存储介质制造方法及图纸

本发明专利技术涉及模式识别领域，提供了一种摄像机‑投影交互触控方法、装置及计算机可读存储介质，以低廉的成本实现摄像机‑投影交互触控时高精度的手势识别。所述方法包括：采用背景差分法和帧间差法从摄像机捕获的图像中提取用户的手部和手部阴影图像；通过判断手部和手部阴影图像中指尖和指尖阴影是否融合，判断用户的手指是否与投影屏幕接触；若用户的手指与投影屏幕接触，则确定用户的手指与所述投影屏幕接触时的触控位置。本发明专利技术提供的技术方案一方面只需要单个摄像机即可实现用于交互的手部动作提取与触控判定，在复杂的光照环境下亦能保证较高的手势识别精度；另一方面，不需要昂贵的摄像设备，从而降低了摄像机‑投影交互触控的实现成本。

The camera touch projection interaction method and device and computer readable storage medium

The present invention relates to the field of pattern recognition, a camera projection method, interaction touch device and computer readable storage medium is provided with low cost to achieve the camera projection interactive touch gesture recognition with high accuracy when. The method includes: using the background subtraction of hand and hand shadow image to extract the user image method and frame difference method from the camera capture; judging by hand and hand finger and fingertip shadows shadow image fusion, to determine whether the user's finger contact with the projection screen; if the user's fingers contact with the projection screen, determine the touch position of the user's finger and the projection screen contact. In terms of the technical scheme of the invention only needs a single camera can be used for hand gesture extraction and touch interactive decision, can also ensure the accuracy of gesture recognition under complex illumination environment; on the other hand, does not require expensive camera equipment, thereby reducing the cost of camera projection interactive touch.

【技术实现步骤摘要】
摄像机-投影交互触控方法、装置及计算机可读存储介质
本专利技术属于人机交互领域，尤其涉及一种摄像机-投影交互触控方法、装置及计算机可读存储介质。
技术介绍
摄像机—投影交互触控系统可计算机显示画面投射到任意平面并允许用户通过徒手来操控计算机，它为用户提供了一种使用手指与计算机可以生动自然的交互方式，例如，点击虚拟的键盘、拖动对象、打开文件、翻动网页等。目前，摄像机—投影交互触控方法有很多种。现有的一种摄像机—投影交互触控方法是利用一个深度相机从周围场景中提取手部区域用于识别手势。然而，由于深度相机价格昂贵，并且由于周围照明的干扰，因此，上述现有的摄像机—投影交互触控方法，其所用在的摄像机—投影交互触控系统不仅成本高昂，而且精度不高。上述技术问题亟待业界解决。
技术实现思路
本专利技术提供一种摄像机-投影交互触控方法、装置及计算机可读存储介质，以低廉的成本实现摄像机-投影交互触控时高精度的手势识别。本专利技术第一方面提供了一种摄像机-投影交互触控方法，应用于电脑、投影机、摄像机和投影屏幕组成的摄像机-投影交互触控系统，所述方法包括：采用背景差分法和帧间差法从摄像机捕获的图像中提取用户的手部和手部阴影图像；通过判断所述手部和手部阴影图像中指尖和指尖阴影是否融合，判断所述用户的手指是否与投影屏幕接触；若所述用户的手指与所述投影屏幕接触，则确定所述用户的手指与所述投影屏幕接触时的触控位置。本专利技术第二方面提供了一种摄像机-投影交互触控装置，应用于电脑、投影机、摄像机和投影屏幕组成的摄像机-投影交互触控系统，所述装置包括：提取模块，用于采用背景差分法和帧间差法从摄像机捕获的图像中提取用户的手部和手部阴影图像；判断模块，用于通过判断所述手部和手部阴影图像中指尖和指尖阴影是否融合，判断所述用户的手指是否与投影屏幕接触；确定模块，用于若所述用户的手指与所述投影屏幕接触，则确定所述用户的手指与所述投影屏幕接触时的触控位置。本专利技术第三方面提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：采用背景差分法和帧间差法从摄像机捕获的图像中提取用户的手部和手部阴影图像；通过判断所述手部和手部阴影图像中指尖和指尖阴影是否融合，判断所述用户的手指是否与投影屏幕接触；若所述用户的手指与所述投影屏幕接触，则确定所述用户的手指与所述投影屏幕接触时的触控位置。本专利技术实施例的第四方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现以下步骤：采用背景差分法和帧间差法从摄像机捕获的图像中提取用户的手部和手部阴影图像；通过判断所述手部和手部阴影图像中指尖和指尖阴影是否融合，判断所述用户的手指是否与投影屏幕接触；若所述用户的手指与所述投影屏幕接触，则确定所述用户的手指与所述投影屏幕接触时的触控位置。从上述本专利技术提供的技术方案可知，一方面，只需要单个摄像机而不需要多个摄像机即可实现用于交互的手部动作提取与触控判定，通过改进的多帧间差法，在复杂的光照环境下亦能保证较高的手势识别精度；另一方面，不需要昂贵的深度摄像机或高分辨率CCD摄像头，从而降低了摄像机-投影交互触控的实现成本。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的摄像机-投影交互触控方法的实现流程示意图；图2是本专利技术实施例提供的摄像机-投影交互触控装置的结构示意图；图3是本专利技术另一实施例提供的摄像机-投影交互触控装置的结构示意图；图4是本专利技术另一实施例提供的摄像机-投影交互触控装置的结构示意图；图5是本专利技术实施例提供的终端设备的结构示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。为了说明本专利技术的技术方案，下面通过具体实施例来进行说明。附图1是本专利技术实施例提供的摄像机-投影交互触控方法的实现流程示意图，可应用于电脑、投影机、摄像机和投影屏幕组成的摄像机-投影交互触控系统，主要包括以下步骤S101至S103，以下详细说明：S101，采用背景差分法和帧间差法从摄像机捕获的图像中提取用户的手部和手部阴影图像。与现有技术不同，本专利技术是实现时只需要一个摄像机而不是至少两个摄像机来捕获图像。需要说明的是，本专利技术实施例中的“用户”指的是摄像机-投影交互触控方法中用手指去触控投影屏幕、从而去与投影内容交互的人。作为本专利技术一个实施例，采用背景差分法和帧间差法从摄像机捕获图像中提取用户的手部和手部阴影图像可通过如下步骤S1011至S1014来实现：S1011，采用帧间差法从摄像机捕获的图像中提取用户的手部和手部阴影图像，得到帧间差法的n个图像提取结果，其中，n为大于1的整数。首先，通过几何校正方法将相机捕获的图像与投影图像对应起来，几何校正的步骤如下：1、从电脑中加载一幅棋盘格图像并传送到投影机；2、投影机将棋盘格画面投射到投影屏幕；3、利用一台固定的摄像机获取投影屏幕画面；4、探测摄像机捕获画面上棋盘格的角点；5、利用探测到的角点与对应的投影图像上棋盘格角点的位置来计算两者图像的3×3单应性矩阵H；6、采用3×3单应性矩阵H对摄像机捕获的图像进行几何校正。在上述几何校正的第4步中，棋盘格角点探测方法如下：1、将RGB图像转换为灰度图像；2、寻找到灰度图像的边缘、3、利用Hough转换探测边缘图像的直线；4、利用上述直线拟合出四边形；5、找到四边形的角点。其次，判断属于手部和手部阴影的像素点。若图像被直接投射在屏幕上，则摄像机捕获的当前帧图像应当与摄像机捕获的前帧图像相同；若在投影屏幕前有一只手，则投影屏幕的投射画面反射率会发生改变，像素[x，y]的反射率变化可以通过反射比a[x,y]计算得到：其中，Ik是摄像机捕获的图像的灰度图，Ik-1是摄像机捕获的、Ik前一帧图像的灰度图，Ik[x,y]是像素[x，y]在灰度图Ik中的灰度值，通常也表示第k帧图像本身，Ik-1[x,y]是像素[x，y]在灰度图Ik-1中的灰度值，通常也表示第k帧图像的前一帧图像即第k-1帧图像本身。若像素[x，y]满足条件a[x,y]<1-s，或者a[x,y]>1+s则像素[x，y]属于手部和手部阴影的像素点，上式中，s是反射率容错率，s的通常取值范围为[0.5，0.8]。最后，采用相邻两帧图像的帧间差来提取手部和手部阴影图像。本专利技术实施例中采用多帧图像Ik[x,y]、Ik-5[x,y]、Ik-10[x,y]和Ik-15[x,y]用于做帧间差，帧间差法提取的手部和手部阴影图像，假设n＝3，则得到帧间差法的3个图像提取结果如下：其中，al是当前帧图像Ik[x,y]与前帧图像Ik-1[x,y]之间的反射比。S1012，采用背景差分法从摄像机捕本文档来自技高网...

【技术保护点】
一种摄像机‑投影交互触控方法，应用于电脑、投影机、摄像机和投影屏幕组成的摄像机‑投影交互触控系统，其特征在于，所述方法包括：采用背景差分法和帧间差法从摄像机捕获的图像中提取用户的手部和手部阴影图像；通过判断所述手部和手部阴影图像中指尖和指尖阴影是否融合，判断所述用户的手指是否与投影屏幕接触；若所述用户的手指与所述投影屏幕接触，则确定所述用户的手指与所述投影屏幕接触时的触控位置。

【技术特征摘要】
1.一种摄像机-投影交互触控方法，应用于电脑、投影机、摄像机和投影屏幕组成的摄像机-投影交互触控系统，其特征在于，所述方法包括：采用背景差分法和帧间差法从摄像机捕获的图像中提取用户的手部和手部阴影图像；通过判断所述手部和手部阴影图像中指尖和指尖阴影是否融合，判断所述用户的手指是否与投影屏幕接触；若所述用户的手指与所述投影屏幕接触，则确定所述用户的手指与所述投影屏幕接触时的触控位置。2.如权利要求1所述摄像机-投影交互触控方法，其特征在于，所述采用背景差分法和帧间差法从摄像机捕获的图像中提取用户的手部和手部阴影图像，包括：采用所述帧间差法从所述摄像机捕获的图像中提取用户的手部和手部阴影图像，得到所述帧间差法的n个图像提取结果，所述n为大于1的整数；采用所述背景差分法从所述摄像机捕获图像的中提取用户的手部和手部阴影图像，得到所述背景差分法的n个图像提取结果；将所述帧间差法的n个图像提取结果分别与所述背景差分法的n个图像提取结果进行逻辑“与”运算得到手部和手部阴影的n个中间提取图像；将所述手部和手部阴影的n个中间提取图像进行逻辑“或”运算，所述逻辑“或”运算的结果D作为所述手部和手部阴影图像的提取结果。3.如权利要求2所述摄像机-投影交互触控方法，其特征在于，所述方法还包括：将所述D进行二值化、形态学腐蚀和膨胀处理，所述二值化、形态学腐蚀和膨胀处理的结果作为所述手部和手部阴影图像的最终提取结果。4.如权利要求1所述摄像机-投影交互触控方法，其特征在于，所述通过判断所述手部和手部阴影图像中指尖和指尖阴影是否融合，判断所述用户的手指是否与投影屏幕接触，包括：构建竖直线性模型；采用所述竖直线性模型扫描所述手部和手部阴影图像；若扫描过程的自始至终，所述竖直线性模型存在中部有限的0像素部分，且所述中部有限的0像素部分的两端像素的灰度值均为255，则确定所述用户的手指与投影屏幕接触，否则，确定所述用户的手指没有与投影屏幕接触。5.如权利要求1所述摄像机-投影交互触控方法，其特征在于，所述若所述用户的手指与所述投影屏幕接触，则确定所述用户的手指与所述投影屏幕接触时的触控位置，包括：若所述用户位于所述投影屏幕的右侧，则所述提取的手部和手部阴影图像中最左列的前景像素确定为指...

【专利技术属性】
技术研发人员：宋呈群，程俊，方璡，
申请(专利权)人：深圳先进技术研究院，深圳市腾讯计算机系统有限公司，
类型：发明
国别省市：广东,44