一种投影交互系统中触摸模式下的干扰滤除方法技术方案

本发明专利技术公开了一种投影交互系统中触摸模式下的干扰滤除方法，包括实时采集含有手指触摸投影屏幕时刻的红外图像；对该红外图像进行预处理，得到多个连通域；根据连通域的形状和尺寸，对多个连通域进行筛选，得到n个合格的连通域；对n个合格的连通域进行逐像素点遍历，得到各连通域的中心位置和长轴方向；根据各连通域的中心位置和长轴方向，对各连通域进行归一化处理；对归一化处理后的各连通域分别提取其亮度直方图，并逐一计算各亮度直方图与数据库中预存的m个手指区域亮度直方图的相似度值；将得到的亮度相似度值分别与设定的亮度相似度阈值进行比较；从n个合格的连通域中筛选出属于手指区域的连通域。本方案可准确的识别出手指区域。

A method of interference filtering in touch interaction mode in projection interaction system

The invention discloses an interference filtering method in the touch mode of the projection interaction system, including the real-time acquisition of an infrared image containing the finger touch screen time, preprocessing the infrared image and obtaining a plurality of connected domains. According to the shape and size of the connected domain, a plurality of connected domains are screened, and n combinations are obtained. The connected domain of a lattice; traversing the N qualified connected domains by pixel point by pixel to get the center position and long axis direction of the connected domain. According to the central position and the long axis of the connected domains, the connected domains are normalized. The brightness histogram is extracted from each connected domain after the normalization, and each of the connected domains is calculated, and each one is calculated one by one. The brightness histogram is similar to the histogram of the M finger region, which is stored in the database; the brightness similarity values are compared with the set luminance similarity threshold, and the connected domain which belongs to the finger region is selected from the N qualified connected domains. This scheme can accurately identify the area of the finger.

【技术实现步骤摘要】
一种投影交互系统中触摸模式下的干扰滤除方法
本专利技术涉及数据处理
，特别涉及一种投影交互系统中触摸模式下的干扰滤除方法。
技术介绍
目前，投影交互系统在实际使用时，手触模式是一种很便捷的交互方式。用户只需用手指在投影屏幕上进行点击，就能实现对计算机的控制。但是，由于很多人的使用习惯不好，或者是站立的姿势不对，很容易导致小拇指的侧面，或者是手掌的侧面，与投影屏幕发生接触。此时很容易导致投影交互系统发生误触发，从而降低用户体验。有时，用户会穿着很厚的衣服。此时衣袖很容易与投影屏幕发生接触。这种情形也必须加以注意，否则导致对计算机的操作出现问题。因此，手指模式很容易受到如下一些情况的干扰：手部其他区域的影响或者衣袖的干扰等。
技术实现思路
本专利技术的目的在于提供一种投影交互系统中触摸模式下的干扰滤除方法，以提高投影交互系统中手触模式的抗干扰性。为实现以上目的，本专利技术采用的技术方案为：采用一种投影交互系统中触摸模式下的干扰滤除方法，包括如下步骤：实时采集投影屏幕区域的画面，并提取出含有手指触摸投影屏幕时刻的红外图像；对该红外图像进行预处理，得到多个连通域；根据连通域的形状和尺寸，对多个连通域进行筛选，得到n个合格的连通域；对所述n个合格的连通域进行逐像素点遍历，得到各连通域的中心位置和长轴方向；根据各连通域的中心位置和长轴方向，对各连通域进行归一化处理，使得各连通域具有相同的尺寸和旋转角度；对具有相同尺寸和旋转角度的各连通域分别提取其亮度直方图，并逐一计算各亮度直方图与数据库中预存的m个手指区域亮度直方图的相似度，得到m×n个亮度相似度值；将得到的m×n个亮度相似度值分别与设定的亮度相似度阈值进行比较；根据比较结果，从n个合格的连通域中筛选出属于手指区域的连通域。优选地，还包括将从n个合格的连通域中筛选出的不属于手指区域的连通域作为初步筛选连通域，并对该初步筛选连通域进行轮廓特征比较处理，其具体包括：对所述不属于手指区域的连通域进行轮廓特征提取，得到该连通域的多维轮廓特征向量；逐一计算所述多维轮廓特征向量与所述数据库中预存的多个多维轮廓特征向量的相似度，得到多个特征向量相似度值；将多个特征向量相似度值与设定的特征向量相似度阈值进行比较，得到特征向量相似度比较结果；根据特征向量相似度比较结果，判断所述初步筛选连通域是否为手指区域。优选地，在所述根据特征向量相似度比较结果，判断初步筛选连通域不为手指区域时，还包括：将该初步筛选连通域作为二次筛选连通域，并采用事先训练好的卷积神经网络判断其是否属于手指区域。优选地，所述卷积神经网络的训练过程包括：构建样本数据库，该样本数据库包括手指区域的灰度图像和非手指区域的灰度图像；将样本数据库作为待训练卷积神经网络的样本输入，并采用BP算法，对待训练卷积神经网络进行训练，得到训练好的卷积神经网络。优选地，所述采用事先训练好的卷积神经网络判断其是否属于手指区域，具体包括：将所述二次筛选连通域的图像作为所述训练好的卷积神经网络的输入；训练好的卷积神经网络输出一个二维向量，得到所述二次筛选连通域图像属于手指区域的概率和属于非手指区域的概率。在属于手指区域的概率和属于非手指区域的概率中，选择概率值最大的作为判断结果。优选地，所述根据连通域的形状和尺寸，对多个连通域进行筛选，得到n个合格的连通域，具体包括：(i)求取每个连通域的外接矩形，并判断外接矩形的长度、宽度是否均小于经验阈值，若是则执行步骤(ii)，若否则执行步骤(iiii)；(ii)判断该连通域外接矩形的长宽比是否小于设定比例，若是则执行步骤(iii)，若否则执行步骤(iiii)；(iii)将该连通域确定为合格的连通域；(iiii)将该连通域过滤掉。优选地，所述对所述n个合格的连通域进行逐像素点遍历，得到各连通域的中心位置和长轴方向，具体包括：将N个连通域分别记为Si，其中1≤i≤N；对每个Si进行逐像素点遍历，以任一像素点位置(x,y)为中心，依次绘制360条直线；以第j条直线恰好将连通域分成两部分，其中，第j条直线与水平方向的夹角为dj度，1≤dj≤360；将两部分连通域中的像素点两两组成组点，并计算得到的组点中两点为对称点的组数；在连通域Si中，将得到对称点组数最多的像素点位置(x,y)作为该连通域的中心位置，直线倾角dj为该连通域对应的长轴方向。优选地，所述根据各连通域的中心位置和长轴方向，对各连通域进行归一化处理，使得各连通域具有相同的尺寸和旋转角度，具体包括：以连通域Si的中心位置为旋转中心，将连通域Si进行旋转，使得长轴对应的直线与水平方向呈90度；对于每一个连通域Si，将其尺寸进行归一化操作处理，使得各连通域Si归一化后的尺寸相同。优选地，所述对具有相同尺寸和旋转角度的各连通域分别提取其亮度直方图，并逐一计算各亮度直方图与数据库中预存的m个手指区域亮度直方图的相似度，得到m×n个亮度相似度值，具体包括：从所述含有手指触摸投影屏幕时刻的红外图像中，提取出与具有相同尺寸和旋转角度的连通域对应的区域，记为G；计算图像G的亮度直方图；别计算当前直方图与样本库中每一个亮度直方图的相似度，其中，H1t和H2t分别代表两个待比较的亮度直方图，第t个bin对应的纵坐标的值，1≤v≤5000。优选地，所述采用BP算法，对待训练卷积神经网络进行训练，具体包括：1)随机初始化每条连接线权重w1、w2、和偏置b；2)输入样本数据x1，x2，执行前向传输得到预测值a；4)对E分别求w1、w2、b的偏导w1'、w'2、b'；5)重复执行步骤1)-4)，直到E的值最小或者基本保持不变，则待训练卷积神经网络训练完毕。与现有技术相比，本专利技术存在以下技术效果：本方案中一方面，通过采集含有手指触摸投影屏幕时刻的红外图像，对图像进行二值化操作并提取二值化图像中所有的连通域。对于手指区域来说，其一般呈现椭圆形，尺寸也比较固定。但是手部的其他与投影界面接触的区域，在尺寸和形状上差异较大，本实施例中通过连通域的形状和尺寸大小来筛选合格的连通域，过滤掉干扰区域。另一方面，对于手指区域和非手指来说，其在亮度的分布上是有差异的，因此，本方案中通过亮度的分布来判断该连通域是不是属于手指区域，提高了手指区域识别的准确性。附图说明下面结合附图，对本专利技术的具体实施方式进行详细描述：图1是一种投影交互系统中触摸模式下的干扰滤除方法的流程示意图；图2是相邻像素定义示意图；图3是另一种投影交互系统中触摸模式下的干扰滤除方法的流程示意图；图4是单个神经元结构的示意图。具体实施方式为了更进一步说明本专利技术的特征，请参阅以下有关本专利技术的详细说明与附图。所附图仅供参考与说明之用，并非用来对本专利技术的保护范围加以限制。如图1所示，本实施例公开了一种投影交互系统中触摸模式下的干扰滤除方法，包括如下步骤S101至S108：S101、实时采集投影屏幕区域的画面，并提取出含有手指触摸投影屏幕时刻的红外图像；需要说明的是，在投影屏幕的正前方设置红外摄像机，实时采集投影屏幕区域的画面。当手指区域触摸投影屏幕的时候，摄像机将此刻的画面采集下来，然后从中提取出含有手指触摸投影屏幕时刻的红外图像，记为P。S102、对该红外图像进行预处理，得到多个连通域；需要说明的是，预处理的过程包括对红外图像P进本文档来自技高网...

【技术保护点】
1.一种投影交互系统中触摸模式下的干扰滤除方法，其特征在于，包括：实时采集投影屏幕区域的画面，并提取出含有手指触摸投影屏幕时刻的红外图像；对该红外图像进行预处理，得到多个连通域；根据连通域的形状和尺寸，对多个连通域进行筛选，得到n个合格的连通域；对所述n个合格的连通域进行逐像素点遍历，得到各连通域的中心位置和长轴方向；根据各连通域的中心位置和长轴方向，对各连通域进行归一化处理，使得各连通域具有相同的尺寸和旋转角度；对具有相同尺寸和旋转角度的各连通域分别提取其亮度直方图，并逐一计算各亮度直方图与数据库中预存的m个手指区域亮度直方图的相似度，得到m×n个亮度相似度值；将得到的m×n个亮度相似度值分别与设定的亮度相似度阈值进行比较；根据比较结果，从n个合格的连通域中筛选出属于手指区域的连通域。

【技术特征摘要】
1.一种投影交互系统中触摸模式下的干扰滤除方法，其特征在于，包括：实时采集投影屏幕区域的画面，并提取出含有手指触摸投影屏幕时刻的红外图像；对该红外图像进行预处理，得到多个连通域；根据连通域的形状和尺寸，对多个连通域进行筛选，得到n个合格的连通域；对所述n个合格的连通域进行逐像素点遍历，得到各连通域的中心位置和长轴方向；根据各连通域的中心位置和长轴方向，对各连通域进行归一化处理，使得各连通域具有相同的尺寸和旋转角度；对具有相同尺寸和旋转角度的各连通域分别提取其亮度直方图，并逐一计算各亮度直方图与数据库中预存的m个手指区域亮度直方图的相似度，得到m×n个亮度相似度值；将得到的m×n个亮度相似度值分别与设定的亮度相似度阈值进行比较；根据比较结果，从n个合格的连通域中筛选出属于手指区域的连通域。2.如权利要求1所述的投影交互系统中触摸模式下的干扰滤除方法，其特征在于，还包括将从n个合格的连通域中筛选出的不属于手指区域的连通域作为初步筛选连通域，并对该初步筛选连通域进行轮廓特征比较处理，其具体包括：对所述不属于手指区域的连通域进行轮廓特征提取，得到该连通域的多维轮廓特征向量；逐一计算所述多维轮廓特征向量与所述数据库中预存的多个多维轮廓特征向量的相似度，得到多个特征向量相似度值；将多个特征向量相似度值与设定的特征向量相似度阈值进行比较，得到特征向量相似度比较结果；根据特征向量相似度比较结果，判断所述初步筛选连通域是否为手指区域。3.如权利要求2所述的投影交互系统中触摸模式下的干扰滤除方法，其特征在于，在所述根据特征向量相似度比较结果，判断初步筛选连通域不为手指区域时，还包括：将该初步筛选连通域作为二次筛选连通域，并采用事先训练好的卷积神经网络判断其是否属于手指区域。4.如权利要求3所述的投影交互系统中触摸模式下的干扰滤除方法，其特征在于，所述卷积神经网络的训练过程包括：构建样本数据库，该样本数据库包括手指区域的灰度图像和非手指区域的灰度图像；将样本数据库作为待训练卷积神经网络的样本输入，并采用BP算法，对待训练卷积神经网络进行训练，得到训练好的卷积神经网络。5.如权利要求3所述的投影交互系统中触摸模式下的干扰滤除方法，其特征在于，所述采用事先训练好的卷积神经网络判断其是否属于手指区域，具体包括：将所述二次筛选连通域的图像作为所述训练好的卷积神经网络的输入；训练好的卷积神经网络输出一个二维向量，得到所述二次筛选连通域图像属于手指区域的概率和属于非手指区域的概率。在属于手指区域的概率和属于非手指区域的概率中，选择概率值最大的作为判断结果。6.如权利要求1所述的投影交互系统中触摸模式下的干扰滤除方法，其特征在于，所述根据连通域的形状和尺寸，对...

【专利技术属性】
技术研发人员：汪俊锋，邓宏平，叶鸿，潘扬，
申请(专利权)人：安徽慧视金瞳科技有限公司，
类型：发明
国别省市：安徽,34