一种投影交互系统中多点触摸实现方法及系统技术方案

本发明专利技术公开了一种投影交互系统中多点触摸实现方法及系统，属于数据处理技术领域，包括基于背景图像，对采集的每帧图像进行检测，得到投影屏幕图像中的触摸点，其中帧图像为包含手指区域的投影屏幕图像；将当前帧图像中检测出的所有触摸点与上一帧图像中的所有触摸点进行匹配；在触摸点匹配时，将当前帧图像中的触摸点更新到上一帧图像中与其匹配的触摸点位置对应的轨迹序列中；对得到的轨迹序列进行平滑性处理，得到满足平滑性的轨迹序列；根据所述满足平滑性的轨迹序列，进行多触摸点识别。通过平均建模的方法，实现更新当前背景图，准确的检测出触摸点，并对触摸点的轨迹进行更新、平滑性处理，最终提高了多触摸点识别的准确率。

【技术实现步骤摘要】
一种投影交互系统中多点触摸实现方法及系统
本专利技术涉及数据处理
，特别涉及一种投影交互系统中多点触摸实现方法及系统。
技术介绍
人机交互技术是计算机科学中至关重要的一个领域，其发展历史基本上代表了计算机的发展历史。从最早的大型机上笨拙的开关系统，到早期键盘和鼠标的出现，以及当下非常流行的触摸屏，人机交互技术的发展速度日新月异。投影交互系统是一种便捷的人机交互方式，利用投影交互系统实现多点触摸，实现在大尺寸投影画面下的触摸交互功能，如多人互动游戏，幼儿教学中多人互动操作等。这种方式比传统的触摸型手机/pad/具有更大的触控尺寸，可以进一步提高用户体验。目前，多点触摸的过程一般为是根据前后帧，同一个触摸轨迹的触摸点连通域是否有交叠，来实现对多点触摸轨迹的跟踪。其存在的缺陷在于：仅仅根据位置上的交叠来判断，容易受到某一帧触摸点检测失败的影响，导致跟踪轨迹的断裂，影响交互效果。
技术实现思路
本专利技术的目的在于提供一种投影交互系统中多点触摸实现方法及系统，以提高多点触摸的准确率。为实现以上目的，本专利技术采用的技术方案为：采用一种投影交互系统中多点触摸实现方法，包括如下步骤：基于背景图像，对采集的每帧图像进行检测，得到投影屏幕图像中的触摸点，其中帧图像为包含手指区域的投影屏幕图像；将当前帧图像中检测出的所有触摸点与上一帧图像中的所有触摸点进行匹配；在触摸点匹配时，将当前帧图像中的触摸点更新到上一帧图像中与其匹配的触摸点位置对应的轨迹序列中；对得到的轨迹序列进行平滑性处理，得到满足平滑性的轨迹序列；根据所述满足平滑性的轨迹序列，进行多触摸点识别。优选地，所述背景图像为实时采集的投影屏幕，并对所述背景图像进行更新，包括：获取当前帧背景图像与上一帧背景图像；在当前帧背景图像与上一帧背景图像的变化幅度满足给定条件时，逐像素点将当前帧背景图像加入上一帧背景图像中，以实现背景图像的更新。优选地，所述对采集的每帧图像进行检测，得到投影屏幕图像中的触摸点，具体包括：对当前帧图像进行二值化处理，得到二值化图像；逐像素点遍历二值化图像，得到二值化图像中所有的连通域；对二值化图像中所有连通区域进行噪声点过滤处理，将噪声点过滤处理后保留下的连通域作为当前帧图像中的触摸点。优选地，所述对二值化图像中所有连通区域进行噪声点过滤处理，将噪声点过滤处理后保留下的连通域作为当前帧图像中的触摸点，具体包括：遍历二值化图像中所有的连通域，得到每个连通域的外接矩形；将每个连通区域的外接矩形尺寸与设定的尺寸阈值进行比较；将符合设定尺寸阈值的连通区域作为初步触摸点，不符合设定尺寸阈值的连通区域过滤掉；将初步触摸点外接矩形的长宽比与设定比例进行比较；将符合设定比例的初步触摸点作为最终检测到的触摸点，将不符合设定比例的初步触摸点过滤掉。优选地，所述将当前帧图像中检测出的所有触摸点与上一帧图像中的所有触摸点进行匹配，具体包括：(a)逐一遍历当前帧中的所有触摸点；(b)逐一判断当前帧中某个触摸点与上一帧图像中的所有触摸点的重合系数是否大于0.05，若是则执行步骤(c)，若否则执行步骤(e)；(c)在所有重合系数大于0.05的连通区域中，选择重合系数最大的连通区域作为与当前帧图像中该触摸点重合的触摸点；(d)将当前帧中该触摸点更新到上一帧图像中重合触摸点位置对应的轨迹序列中；(e)判断当前帧图像的该触摸点与上一帧图像中的所有未匹配的触摸点之间的距离是否小于10个像素；(f)若是则将距离小于10个像素的相邻两帧图像的触摸点作为候选匹配触摸点对，并检测匹配触摸点的信息相似程度；(g)若否则将当前帧中该触摸点忽略掉；(h)对信息相似度程度符合条件的匹配触摸点对，执行步骤(d)。优选地，所述检测匹配触摸点的信息相似程度，具体包括：针对每一个候选匹配触摸点对，分别从触摸点对应的帧图像中，提取到背景图像中对应的区域部分图像，分别记当前帧图像中的区域部分图像为ki、上一帧图像中的区域部分图像为li，其中i表示第几组候选匹配对；将图像ki和li进行归一化，得到归一化后的图像，分别记为kci和lci；分别对kci和lci提取分块HOG特征，得到两个特征向量kti与lti；计算两个特征向量kti与lti之间的欧式距离di，并判断该欧式距离di是否小于20；若是则执行步骤(h)，若否则将当前帧中该触摸点忽略掉。优选地，所述对得到的轨迹序列进行平滑性处理，得到满足平滑性的轨迹序列，具体包括：在得到的轨迹序列中，将某一触摸点与前后两个触摸点连线构成的夹角与设定夹角阈值比较，并判断比较结果是否满足平滑性条件；若是，则将该触摸点保留；若否，则该触摸点对应的轨迹区间不满足平滑性，滤除该触摸点。优选地，在进行所述触摸点匹配时，出现某个触摸点消失的现象时，还包括：针对当前帧图像中某一触摸点，未检测到与上一帧图像中任一触摸点相匹配时，将当前帧图像中该触摸点的轨迹临时清除掉；对当前帧之后的帧图像中的触摸点进行匹配检测，判断在连续5帧图像的检测中，是否存在新的触摸点来更新轨迹序列；若是，则根据该新的触摸点来更新所述临时清除掉的轨迹；若否，则将所述临时清除掉的轨迹彻底清楚。优选地，在进行所述触摸点匹配时，出现某个新增触摸点时，还包括：以新增的触摸点作为轨迹的起点，建立新的轨迹队列；判断该新的轨迹队列后面连续的5帧图像内，是否有新的触摸点更新进来；若是，则将该新的轨迹队列加入当前投影交互系统中；若否，则确定该新增触摸点是噪声点导致的，直接将该新增触摸点删除。另外，采用一种投影交互系统中多点触摸实现系统，包括：触摸点检测模块，用于基于背景图像，对采集的每帧图像进行检测，得到投影屏幕图像中的触摸点，其中帧图像为包含手指区域的投影屏幕图像；匹配模块，用于将当前帧图像中检测出的所有触摸点与上一帧图像中的所有触摸点进行匹配；轨迹序列更新模块，用于在触摸点匹配时，将当前帧图像中的触摸点更新到上一帧图像中与其匹配的触摸点位置对应的轨迹序列中；平滑性处理模块，用于对得到的轨迹序列进行平滑性处理，得到满足平滑性的轨迹序列；触摸点识别模块，用于根据所述满足平滑性的轨迹序列，进行多触摸点识别与现有技术相比，本专利技术存在以下技术效果：由于光照等影响，背景图中会存在一些噪声，从而影响后期的投影区域检测，对手指触摸点识别存在影响。本方案中通过平均建模的方法，实现更新当前背景图，获取一个稳定的噪声较少的背景图，从而准确的检测出触摸点，并对触摸点的轨迹进行更新、平滑性处理，最终提高了多触摸点识别的准确率。附图说明下面结合附图，对本专利技术的具体实施方式进行详细描述：图1是一种投影交互系统中多点触摸实现方法的流程示意图；图2是相邻像素定义示意图；图3是基于内容触摸点匹配流程示意图；图4是轨迹夹角模型示意图；图5是另一种投影交互系统中多点触摸实现方法的流程示意图；图6是一种投影交互系统中多点触摸实现系统的结构示意图。具体实施方式为了更进一步说明本专利技术的特征，请参阅以下有关本专利技术的详细说明与附图。所附图仅供参考与说明之用，并非用来对本专利技术的保护范围加以限制。如图1所示，本实施例公开了一种投影交互系统中多点触摸实现方法，包括如下步骤S101至S105：S101、基于背景图像，对采集的每帧图像进行检测，得到投影屏幕图像中的触摸点，其中帧图像为包含本文档来自技高网...

【技术保护点】
1.一种投影交互系统中多点触摸实现方法，其特征在于，包括：基于背景图像，对采集的每帧图像进行检测，得到投影屏幕图像中的触摸点，其中帧图像为包含手指区域的投影屏幕图像；将当前帧图像中检测出的所有触摸点与上一帧图像中的所有触摸点进行匹配；在触摸点匹配时，将当前帧图像中的触摸点更新到上一帧图像中与其匹配的触摸点位置对应的轨迹序列中；对得到的轨迹序列进行平滑性处理，得到满足平滑性的轨迹序列；根据所述满足平滑性的轨迹序列，进行多触摸点识别。

【技术特征摘要】
1.一种投影交互系统中多点触摸实现方法，其特征在于，包括：基于背景图像，对采集的每帧图像进行检测，得到投影屏幕图像中的触摸点，其中帧图像为包含手指区域的投影屏幕图像；将当前帧图像中检测出的所有触摸点与上一帧图像中的所有触摸点进行匹配；在触摸点匹配时，将当前帧图像中的触摸点更新到上一帧图像中与其匹配的触摸点位置对应的轨迹序列中；对得到的轨迹序列进行平滑性处理，得到满足平滑性的轨迹序列；根据所述满足平滑性的轨迹序列，进行多触摸点识别。2.如权利要求1所述的投影交互系统中多点触摸实现方法，其特征在于，所述背景图像为实时采集的投影屏幕，并对所述背景图像进行更新，包括：获取当前帧背景图像与上一帧背景图像；在当前帧背景图像与上一帧背景图像的变化幅度满足给定条件时，逐像素点将当前帧背景图像加入上一帧背景图像中，以实现背景图像的更新。3.如权利要求1所述的投影交互系统中多点触摸实现方法，其特征在于，所述对采集的每帧图像进行检测，得到投影屏幕图像中的触摸点，具体包括：对当前帧图像进行二值化处理，得到二值化图像；逐像素点遍历二值化图像，得到二值化图像中所有的连通域；对二值化图像中所有连通区域进行噪声点过滤处理，将噪声点过滤处理后保留下的连通域作为当前帧图像中的触摸点。4.如权利要求3所述的投影交互系统中多点触摸实现方法，其特征在于，所述对二值化图像中所有连通区域进行噪声点过滤处理，将噪声点过滤处理后保留下的连通域作为当前帧图像中的触摸点，具体包括：遍历二值化图像中所有的连通域，得到每个连通域的外接矩形；将每个连通区域的外接矩形尺寸与设定的尺寸阈值进行比较；将符合设定尺寸阈值的连通区域作为初步触摸点，不符合设定尺寸阈值的连通区域过滤掉；将初步触摸点外接矩形的长宽比与设定比例进行比较；将符合设定比例的初步触摸点作为最终检测到的触摸点，将不符合设定比例的初步触摸点过滤掉。5.如权利要求1所述的投影交互系统中多点触摸实现方法，其特征在于，所述将当前帧图像中检测出的所有触摸点与上一帧图像中的所有触摸点进行匹配，具体包括：(a)逐一遍历当前帧中的所有触摸点；(b)逐一判断当前帧中某个触摸点与上一帧图像中的所有触摸点的重合系数是否大于0.05，若是则执行步骤(c)，若否则执行步骤(e)；(c)在所有重合系数大于0.05的连通区域中，选择重合系数最大的连通区域作为与当前帧图像中该触摸点重合的触摸点；(d)将当前帧中该触摸点更新到上一帧图像中重合触摸点位置对应的轨迹序列中；(e)判断当前帧图像的该触摸点与上一帧图像中的所有未匹配的触摸点之间的距离是否小于10个像素；(f)若是则将距离小于10个像素的相邻两帧图像的触摸点作为候选匹配触摸点对，并检测匹配触摸点的信息相似程度；(g)若否则将当前帧中该触摸点...

【专利技术属性】
技术研发人员：汪俊锋，邓宏平，潘扬，叶鸿，
申请(专利权)人：安徽慧视金瞳科技有限公司，
类型：发明
国别省市：安徽,34