一种投影交互系统的双击检测方法技术方案

本发明专利技术涉及一种投影交互系统的双击检测方法，包括：实时采集手指触摸或光笔点击白板的每一帧红外图像，得到面积变化曲线、x坐标变化曲线和y坐标变化曲线；判断连通域在各个时刻的中心点坐标是否足够稳定，若稳定，则判断面积变化曲线的形状为单峰还是双峰，对满足条件的双峰和单峰进行连通域形状的比较，判断是否相似，若相似，则对前后两次单击的重心位置和重合程度进行比较，若重心位置距离相差小且重叠度较高，则判断为是双击。本发明专利技术对双击过程中的两次触摸或点击动作，从连通域面积的变化、中心坐标的稳定性、触摸的持续时间和间隔时间、触摸区域的形状，以及触摸区域的重叠度等方面进行分析，提高了稳定性。

【技术实现步骤摘要】

本专利技术涉及基于计算机视觉技术的人机交互
，尤其是一种投影交互系统的双击检测方法。
技术介绍
人机交互技术是计算机科学中至关重要的一个领域，其发展历史基本上代表了计算机的发展历史。从最早的大型机上的笨拙的开关系统，到早期键盘和鼠标的出现，以及当下流行的触摸屏，人机交互技术的发展速度日新月异。近年来，由于计算机视觉技术的飞速发展，以及新的传感器比如深度相机Kinect、LeapMotion等的出现，使得各种便捷式的人机交互方式层出不穷。然而，由于Kinect等深度相机在距离精度和空间分辨率上都明显不足，利用Kinect等深度相机直接与计算机进行交互，无法达到进行精细操作的目的，无法直接在利用投影仪投射在墙壁上的显示区域内进行便捷而灵敏的操作，尤其是双击这种对空间精度和时间精度要求较高的操作。利用光笔和摄像头组合形成的系统，对投影图像进行操作，是最近出现的一种新技术。目前，利用该系统实现的人机交互技术中，双击检测是直接对双击过程中前后两次点击位置进行判断，通过比较点击位置的是否完全一致来实现双击。该方法的缺点是，利用光笔进行双击操作，由于人手的抖动，每次的点击位置难免出现移动；利用红外图像检测光斑位置，光斑形状也难免出现细微变化，从而导致两次光斑中心很难重合，双击操作成功率低。此外，双击过程中，由于操作速度过快，容易出现光笔抬起不够充分的现象，传统方法没有对整个触摸过程中光笔与墙壁的接触面积随时间的变化规律进行分析，因此很可能将当前光笔的行为误判为单击，从而造成错误操作。
技术实现思路
本专利技术的目的在于提供一种能够提高双击稳定性和系统灵敏度的投影交互系统的双击检测方法。为实现上述目的，本专利技术采用了以下技术方案：一种投影交互系统的双击检测方法，该方法包括下列顺序的步骤：（1）摄像头实时采集手指触摸或光笔点击白板的每一帧红外图像，通过背景建模和前景提取算法得到手指触摸或光笔点击位置的连通域，统计该连通域在各个时刻上的面积值和中心点坐标，得到面积变化曲线、x坐标变化曲线和y坐标变化曲线；（2）通过x坐标变化曲线和y坐标变化曲线判断连通域在各个时刻的中心点坐标是否足够稳定，若判断结果为是，则进入下一步，否则，判断为非双击，结束；（3）对本次触摸或点击形成的连通域的面积变化曲线进行分析，判断本次触摸或点击的面积变化曲线的形状：若判断面积变化曲线的形状是单峰，并且触摸或点击的持续时间大于阈值Th_click，则判断为非双击，结束；若判断面积变化曲线的形状为单峰，且触摸或点击的持续时间小于阈值Th_click，则进入下一步；若判断面积变化曲线的形状是双峰，并且总的持续时间T小于阈值Th_doubleclick，则进入步骤5；若判断面积变化曲线的形状是双峰，并且总的持续时间T大于阈值Th_doubleclick，则判断为非双击，结束；其中，Th_click为单击持续时间阈值，Th_doubleclick为双击持续时间阈值；（4）判断上一次触摸或点击的时间，若上一次触摸或点击的持续时间大于阈值Th_click，或者上一次触摸或点击结束时刻与本次触摸或点击的开始时刻的时间差大于Th_gap，则判断为非双击，结束；若上一次触摸或点击的持续时间小于Th_click，并且与本次触摸或点击的时间间隔小于Th_gap，则进入步骤6；其中，Th_gap为两次单击之间的时间间隔阈值；（5）对双峰曲线进行分割，分割完成后，将此次分割得到的两个单峰作为两次单击进行分析，进入下一步；（6）分析前后两次单击各自的时间长度t1和t3，以及两次单击之间的时间间隔t2，判断是否满足双击的条件，若满足，则进入下一步；（7）分别找到前后两次单击过程中，面积最大时刻对应的连通域，提取两个连通域的形状信息进行比较，若相似度较高，则进入下一步；否则，判断为非双击，结束；（8）对前后两次单击过程中，各自面积最大时刻对应的连通域的重心位置进行比较，判断两个连通域的重合程度，若重心位置距离相差小且重叠度较高，则判断为是双击；否则，判断为非双击，结束。所述连通域的面积是指该连通域的像素数目。在步骤（2）中，将连通域的重心作为触摸或点击的中心，在记录下本次触摸或点击的过程中，根据每一个时刻重心点位置的x坐标和y坐标，得到两个坐标随时间变化的曲线，分别统计两条曲线中坐标数值的标准差，如果该标准差大于20个像素，则说明该过程中触摸或点击不稳定，手指或者光笔发生了移动；如果标准差小于20个像素，则是稳定的，手指或者光笔未移动。在步骤（3）中，对单峰和双峰的判断方法如下：3a）在训练过程中，长按光笔或者手指不动，或者按下光笔或手指后长时间移动，来获得按下状态触摸连通域最小面积值；3b）对触摸连通域面积变化曲线进行单高斯建模，统计建模后的单高斯误差e1；3c）对触摸连通域面积变化曲线进行双高斯建模，统计建模后的双高斯误差e2；3d）比较单高斯误差e1和双高斯误差e2，若单高斯误差e1小于双高斯误差e2，且单高斯误差e1小于建模误差阈值Th_model，则判断为单峰；若单高斯误差e1大于双高斯误差e2，且双高斯误差e2小于建模误差阈值Th_model，则判断为双峰。在步骤（6）中，所述满足双击的条件是指，设前后两次单击的持续时间分别为t1和t3，两次单击时间的长度差异阈值Th_diff，当t1和t3均小于阈值Th_click，且二者的差值的绝对值abs(t1-t3)小于阈值Th_diff，且两次单击之间的时间间隔t2小于阈值Th_gap。在步骤（7）中，对连通域的形状分析的具体方法如下：7a）从两个触摸或点击连通域图像中提取轮廓信息；7b）分别计算两个连通域的重心，并且进行重心对齐；7c）计算两条轮廓的主方向，判断两个主方向夹角值是否大于15°，若判断结果为是，则认定为两个连通域形状不相似；否则，进入下一步；7d）将两条轮廓的主方向对齐，对轮廓进行旋转，保证两条轮廓的主方向角度一样；7e）对轮廓上的点进行等角度采样，得到采样点到重心位置的距离采样曲线；7f）计算距离采样曲线的相似性，若相似度大于0.8，则进入所述步骤（8）。在步骤（8）中，所述重心位置距离的计算是指，计算两个连通域重心坐标之间的欧式距离；所述两个连通域的重合程度计算是指，假设S1、S2分别为两个连通域的面积，S3为二者的交叠面积，重叠比值r的计算方式是：r=S3/max(S1,S2)；若欧氏距离小于30个像素的距离，且r>0.9，则认为当前是双击，否则，判断为非双击，结束。由上述技术方案可知，本专利技术对双击过程中的两次触摸或点击动作，从连通域面积的变化、中心坐标的稳定性、触摸的持续时间和间隔时间、触摸区域的形状，以及触摸区域的重叠度等方面进行分析，杜绝了双击操作因为手部轻微运动而造成的检测失败，提高了稳定性。此外，针对光笔双击过程中容易出现的抬起不充分的现象，通过对触摸连通域面积随时间的变化规律进行分析，实现了这种情形下的双击检测，提高了整体系统的灵敏性。附图说明图1为本专利技术的方法流程图；图2为相邻两次单击的面积变化曲线形成的两个单峰示意图图3为双峰切割示意图；图4为单峰双峰检测方法流程图；图5为面积变化曲线上时间分析示意图；图6为连通域主方向计算及轮廓距离采样示意图；图7为连通域形状分析流程图本文档来自技高网...

【技术保护点】
一种投影交互系统的双击检测方法，该方法包括下列顺序的步骤：（1）摄像头实时采集手指触摸或光笔点击白板的每一帧红外图像，通过背景建模和前景提取算法得到手指触摸或光笔点击位置的连通域，统计该连通域在各个时刻上的面积值和中心点坐标，得到面积变化曲线、x坐标变化曲线和y坐标变化曲线；（2）通过x坐标变化曲线和y坐标变化曲线判断连通域在各个时刻的中心点坐标是否足够稳定，若判断结果为是，则进入下一步，否则，判断为非双击，结束；（3）对本次触摸或点击形成的连通域的面积变化曲线进行分析，判断本次触摸或点击的面积变化曲线的形状：若判断面积变化曲线的形状是单峰，并且触摸或点击的持续时间大于阈值Th_click，则判断为非双击，结束；若判断面积变化曲线的形状为单峰，且触摸或点击的持续时间小于阈值Th_click，则进入下一步；若判断面积变化曲线的形状是双峰，并且总的持续时间T小于阈值Th_doubleclick，则进入步骤5；若判断面积变化曲线的形状是双峰，并且总的持续时间T大于阈值Th_doubleclick，则判断为非双击，结束；其中，Th_click为单击持续时间阈值，Th_doubleclick为双击持续时间阈值；（4）判断上一次触摸或点击的时间，若上一次触摸或点击的持续时间大于阈值Th_click，或者上一次触摸或点击结束时刻与本次触摸或点击的开始时刻的时间差大于Th_gap，则判断为非双击，结束；若上一次触摸或点击的持续时间小于Th_click，并且与本次触摸或点击的时间间隔小于Th_gap，则进入步骤6；其中，Th_gap为两次单击之间的时间间隔阈值；（5）对双峰曲线进行分割，分割完成后，将此次分割得到的两个单峰作为两次单击进行分析，进入下一步；（6）分析前后两次单击各自的时间长度t1和t3，以及两次单击之间的时间间隔t2，判断是否满足双击的条件，若满足，则进入下一步；（7）分别找到前后两次单击过程中，面积最大时刻对应的连通域，提取两个连通域的形状信息进行比较，若相似度较高，则进入下一步；否则，判断为非双击，结束；（8）对前后两次单击过程中，各自面积最大时刻对应的连通域的重心位置进行比较，判断两个连通域的重合程度，若重心位置距离相差小且重叠度较高，则判断为是双击；否则，判断为非双击，结束。...

【技术特征摘要】
1.一种投影交互系统的双击检测方法，该方法包括下列顺序的步骤：（1）摄像头实时采集手指触摸或光笔点击白板的每一帧红外图像，通过背景建模和前景提取算法得到手指触摸或光笔点击位置的连通域，统计该连通域在各个时刻上的面积值和中心点坐标，得到面积变化曲线、x坐标变化曲线和y坐标变化曲线；（2）通过x坐标变化曲线和y坐标变化曲线判断连通域在各个时刻的中心点坐标是否足够稳定，若判断结果为是，则进入下一步，否则，判断为非双击，结束；（3）对本次触摸或点击形成的连通域的面积变化曲线进行分析，判断本次触摸或点击的面积变化曲线的形状：若判断面积变化曲线的形状是单峰，并且触摸或点击的持续时间大于阈值Th_click，则判断为非双击，结束；若判断面积变化曲线的形状为单峰，且触摸或点击的持续时间小于阈值Th_click，则进入下一步；若判断面积变化曲线的形状是双峰，并且总的持续时间T小于阈值Th_doubleclick，则进入步骤5；若判断面积变化曲线的形状是双峰，并且总的持续时间T大于阈值Th_doubleclick，则判断为非双击，结束；其中，Th_click为单击持续时间阈值，Th_doubleclick为双击持续时间阈值；（4）判断上一次触摸或点击的时间，若上一次触摸或点击的持续时间大于阈值Th_click，或者上一次触摸或点击结束时刻与本次触摸或点击的开始时刻的时间差大于Th_gap，则判断为非双击，结束；若上一次触摸或点击的持续时间小于Th_click，并且与本次触摸或点击的时间间隔小于Th_gap，则进入步骤6；其中，Th_gap为两次单击之间的时间间隔阈值；（5）对双峰曲线进行分割，分割完成后，将此次分割得到的两个单峰作为两次单击进行分析，进入下一步；（6）分析前后两次单击各自的时间长度t1和t3，以及两次单击之间的时间间隔t2，判断是否满足双击的条件，若满足，则进入下一步；（7）分别找到前后两次单击过程中，面积最大时刻对应的连通域，提取两个连通域的形状信息进行比较，若相似度较高，则进入下一步；否则，判断为非双击，结束；（8）对前后两次单击过程中，各自面积最大时刻对应的连通域的重心位置进行比较，判断两个连通域的重合程度，若重心位置距离相差小且重叠度较高，则判断为是双击；否则，判断为非双击，结束。2.根据权利要求1所述的投影交互系统的双击检测方法，其特征在于：所述连通域的面积是指该连通域的像素数目。3.根据权利要求1所述的投影交互系统的双击检测方法，其特征在于：在步骤（2）中，将连通域的重心作为触摸或点击的中心，在记录下本次触摸或点击的...

【专利技术属性】
技术研发人员：汪俊锋，邓宏平，
申请(专利权)人：安徽慧视金瞳科技有限公司，
类型：发明
国别省市：安徽;34