一种用于屏幕交互系统的多指触控操作的识别方法技术方案

本发明专利技术提供了一种用于屏幕交互系统的多指触控操作的识别方法，包括如下步骤：开启近红外激光器，让光幕平行于屏幕，并完成手指触点位置的几何校准；用近红外摄像头采集图像；分割出全部的手指触点；记录全部的手指触点，并标记手指触点ID和初始化所述全部的手指触点出现的次数为1；依据最小距离和运动估计进行手指触点ID的标记和跟踪，更新手指触点轨迹的结束位置和手指触点出现次数自增加1；当某一ID的手指触点离开屏幕时，结束对当前标记ID手指触点的跟踪；当全部的手指触点均离开屏幕时，进行多指触控操作的识别；返回反映当前触控操作的参数，将全部的手指触点清零。本发明专利技术提供的识别方法，使得对多指触控操作的识别变得方便。

【技术实现步骤摘要】

本专利技术属于人机交互的
，具体涉及一种用于屏幕交互系统的多指触控操作的识别方法。
技术介绍
现有的基于近红外光的屏幕触控人机交互系统中，由于多指触控具有其操作直观性好、交互方式自然的特点，备受人机交互领域青睐。在交互过程中，系统依赖于多手指的手指触点进行动作识别，而识别系统又无法获知手指触点来自左右哪只手，如果不进行标记和跟踪，是无法确定手指触点的起止位置的，从而无法进行动作识别，难以实现正确的操作任务，影响用户体验。
技术实现思路
本专利技术提供了一种用于屏幕交互系统的多指触控操作的识别方法，使得对多指触控操作的识别变得方便，提高了用户触控的体验效果。本专利技术提供了一种用于屏幕交互系统的多指触控操作的识别方法，包括如下步骤：S1：开启近红外激光器，让光幕平行于屏幕，并完成手指触点位置的几何校准；S2：用近红外摄像头采集全部的手指触点的图像；S3：分割出全部的手指触点；S4：记录全部的手指触点，并标记手指ID和初始化所述全部的手指触点出现的次数为1；S5：再次采集全部的手指触点的图像，依据最小距离和运动估计进行手指ID的标记和跟踪，更新该手指触点轨迹的结束位置和手指触点出现的次数自增加1；S6：当某一ID的手指触点离开屏幕时，结束对当前标记ID触点的跟踪；S7：当全部的手指触点均离开屏幕时，进行多指触控操作的识别，具体的识别过程包括如下步骤：a)根据全部的手指触点的起始位置对手指触点进行分类，根据全部的手指触点的结束位置对全部的手指触点进行分类；b)判断起始时刻在同一类中的手指触点是否结束时仍在同一类中，若在同一类中，那么进行关联，否则删除这些手指触点；c)选择在两类中出现次数最多的两个触控手指，如果起始位置和结束位置处的X方向的相对变化量ΔX和Y方向的相对变化量ΔY都小于某一设定阈值T，那么认为无有效操作，否则在X方向的动作幅度较大时，即当ΔX＞T，ΔY＜T时表示在X方向有缩放操作，在X方向的缩放比例系数为Xscale＝|ΔX2/ΔX1|，Yscale＝1.0，如果Xscale>1.0，表示多指触控操作为X方向的放大操作，如果Xscale<1.0，表示多指触控操作为X方向的缩小操作；在Y方向的动作幅度较大时，即当ΔX＜T，ΔY＞T时表示在Y方向有缩放操作，在Y方向的缩放比例系数为Yscale＝|ΔY2/ΔY1|，Xscale＝1.0，如果Yscale>1.0，表示多指触控操作为Y方向的放大操作，如果Yscale<1.0，表示多指触控操作为Y方向的缩小操作；两个方向变化均大时，即当ΔX＞T，ΔY＞T时根据|ΔR2/ΔR1|来计算缩放比例系数Xscale和Yscale，即Xscale＝Yscale＝|ΔR2/ΔR1|,如果Xscale>1.0，Yscale>1.0，表示多指触控操作为X方向和Y方向同时缩放操作；其中设置两手中的一个手指触点的起始位置坐标为(X11,Y11)，手指触点的结束位置坐标为(X12,Y12)，设置另一个手指触点的起始位置坐标为(X21,Y21)，手指触点的结束位置坐标为(X22,Y22)，即起始时两手的手指触点位置差为ΔX1＝|X21-X11|，ΔY1＝|Y21-Y11|，结束时两手的手指触点位置差为ΔX2＝|X22-X12|，ΔY2＝|Y22-Y12|，如果手指触点只能归为一类，即不是两个手的操作，那么识别为单手操作即拖动操作，此时的移动距离用dx和dy来表示，其中dx和dy分别表示手指在X方向和Y方向移动的距离；其中dx＝X12-X11，dy＝Y12-Y11，假设屏幕的左上角为坐标原点，若dx＞0，表示手指触点向右拖动|dx|，若dx＜0，表示手指触点向左拖动指，若dy＞0，表示手指触点向下拖动，若dy＜0，表示手指触点向上拖动；S8：返回反映当前触控操作的参数，然后将全部的手指触点清零，返回步骤S2。优选的，所述的步骤S3具体为：采用K匀值聚类方法分割出全部的手指触点。优选的，所述的步骤S5具体为：依据最小距离和轨迹方向进行手指ID的标记和跟踪，更新该手指触点轨迹的结束位置和手指触点出现次数自增加1。优选的，所述的步骤S5具体为：依据最小距离和速度方向进行手指ID的标记和跟踪，更新该手指触点轨迹的结束位置和手指触点出现次数自增加1。优选的，所述的步骤S5具体为：依据最小距离和加速度方向进行手指ID的标记和跟踪，更新该手指触点轨迹的结束位置和手指触点出现次数自增加1。由上面的技术方案可知，本专利技术提供的用于屏幕交互系统的多指触控操作的识别方法，是通过手指在屏幕上的触控操作实现对窗口大小的控制和位置的控制；降低了对触控操作的苛刻要求，依据最小距离和运动估计实现了屏幕上手指触点的起始位置和终止位置的定位问题；提高了用于屏幕交互系统的触控操作的识别率，减少了对多指触控操作的误识别，解决了屏幕交互系统的自然交互问题，提高了屏幕交互系统的抗干扰能力和稳定性。附图说明图1为本专利技术实施例提供的一种用于屏幕交互系统的多指触控操作的识别方法的流程图；图2为本专利技术实施例提供的一种用于屏幕交互系统的多指触控操作的识别方法的流程图。具体实施方式以下结合具体实施方式进一步详细说明本专利技术的技术方案。应当理解，此处描述的具体实施方式仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术实施例提供了一种用于屏幕交互系统的多指触控操作的识别方法，如图1所示，包括如下步骤：S1：开启近红外激光器，让光幕平行于屏幕，并完成手指触点位置的几何校准；S2：用近红外摄像头采集全部的手指触点的图像；S3：分割出全部的手指触点；S4：记录全部的手指触点，并标记手指ID和初始化所述全部的手指触点出现的次数为1；S5：再次采集全部的手指触点的图像，依据最小距离和运动估计进行手指ID的标记和跟踪，更新该手指触点轨迹的结束位置和手指触点出现次数自增加1；S6：当某一ID的手指触点离开屏幕时，结束对当前标记ID触点的跟踪；S7：当全部的手指触点均离开屏幕时，进行多指触控操作的识别，具体的识别过程包括如下步骤：a)根据全部的手指触点的起始位置对手指触点进行分类，根据全部的手指触点的结束位置对全部的手指触点进行分类；b)判断起始时刻在同一类中的手指触点是否结束时仍在同一类中，若在同一类中，那么进行关联，否则删除这些手指触点；c)选择在两类中出现次数最多的两个触控手指，如果起始位置和结束位置处的X方向的相对变化量ΔX和Y方向的相对变化量ΔY都小于某一设定阈值T，那么认为无有效操作，否则在X方向的动作幅度较大时，即当ΔX＞T，ΔY＜T时表示在X方向有缩放操作，在X方向的缩放比例系数为Xscale＝|ΔX2/ΔX1|，Yscale＝1.0，如果Xscale>1.0，表示多指触控操作为X方向的放大操作，如果Xscale<1.0，表示多指触控操作为X方向的缩小操作；在Y方向的动作幅度较大时，即当ΔX＜T，ΔY＞T时表示在Y方向有缩放操作，在Y方向的缩放比例系数为Yscale＝|ΔY2/ΔY1|，Xscale＝1.0，如果Yscale>1.0，表示多指触控操作为Y方向的放大操作，如果Yscale<1.0，表示多指触控操作为Y方向的缩小操作；两个方向变化均大时，即当ΔX＞T，ΔY本文档来自技高网...

【技术保护点】
一种用于屏幕交互系统的多指触控操作的识别方法，其特征在于，包括如下步骤：S1：开启近红外激光器，让光幕平行于屏幕，并完成手指触点位置的几何校准；S2：用近红外摄像头采集全部的手指触点的图像；S3：分割出全部的手指触点；S4：记录全部的手指触点，并标记手指ID和初始化所述全部的手指触点出现的次数为1；S5：再次采集全部的手指触点的图像，依据最小距离和运动估计进行手指ID的标记和跟踪，更新该手指触点轨迹的结束位置和手指触点出现次数自增加1；S6：当某一ID的手指触点离开屏幕时，结束对当前标记ID触点的跟踪；S7：当全部的手指触点均离开屏幕时，进行多指触控操作的识别，具体的识别过程包括如下步骤：a)根据全部的手指触点的起始位置对手指触点进行分类，根据全部的手指触点的结束位置对全部的手指触点进行分类；b)判断起始时刻在同一类中的手指触点是否结束时仍在同一类中，若在同一类中，那么进行关联，否则删除这些手指触点；c)选择在两类中出现次数最多的两个触控手指，如果起始位置和结束位置处的X方向的相对变化量ΔX和Y方向的相对变化量ΔY都小于某一设定阈值T，那么认为无有效操作，否则在X方向的动作幅度较大时，即当ΔX＞T，ΔY＜T时表示在X方向有缩放操作，在X方向的缩放比例系数为Xscale＝|ΔX2/ΔX1|，Yscale＝1.0，如果Xscale>1.0，表示多指触控操作为X方向的放大操作，如果Xscale<1.0，表示多指触控操作为X方向的缩小操作；在Y方向的动作幅度较大时，即当ΔX＜T，ΔY＞T时表示在Y方向有缩放操作，在Y方向的缩放比例系数为Yscale＝|ΔY2/ΔY1|，Xscale＝1.0，如果Yscale>1.0，表示多指触控操作为Y方向的放大操作，如果Yscale<1.0，表示多指触控操作为Y方向的缩小操作；两个方向变化均大时，即当ΔX＞T，ΔY＞T时根据|ΔR2/ΔR1|来计算缩放比例系数Xscale和Yscale，即Xscale＝Yscale＝|ΔR2/ΔR1|,如果Xscale>1.0，Yscale>1.0，表示多指触控操作为X方向和Y方向同时缩放操作；其中设置两手中的一个手指触点的起始位置坐标为(X11,Y11)，手指触点的结束位置坐标为(X12,Y12)，设置另一个手指触点的起始位置坐标为(X21,Y21)，手指触点的结束位置坐标为(X22,Y22)，即起始时两手的手指触点位置差为ΔX1＝|X21‑X11|，ΔY1＝|Y21‑Y11|，结束时两手的手指触点位置差为ΔX2＝|X22‑X12|，ΔY2＝|Y22‑Y12|，如果手指触点只能归为一类，即不是两个手的操作，那么识别为单手操作即拖动操作，此时的移动距离用dx和dy来表示，其中dx和dy分别表示手指在X方向和Y方向移动的距离；其中dx＝X12‑X11，dy＝Y12‑Y11，假设屏幕的左上角为坐标原点，若dx＞0，表示手指触点向右拖动|dx|，若dx＜0，表示手指触点向左拖动，若dy＞0，表示手指触点向下拖动，若dy＜0，表示手指触点向上拖动；S8：返回反映当前触控操作的参数，然后将全部的手指触点清零，返回步骤S2。...

【技术特征摘要】
1.一种用于屏幕交互系统的多指触控操作的识别方法，其特征在于，包括如下步骤：S1：开启近红外激光器，让光幕平行于屏幕，并完成手指触点位置的几何校准；S2：用近红外摄像头采集全部的手指触点的图像；S3：分割出全部的手指触点；S4：记录全部的手指触点，并标记手指ID和初始化所述全部的手指触点出现的次数为1；S5：再次采集全部的手指触点的图像，依据最小距离和运动估计进行手指ID的标记和跟踪，更新该手指触点轨迹的结束位置和手指触点出现次数自增加1；S6：当某一ID的手指触点离开屏幕时，结束对当前标记ID触点的跟踪；S7：当全部的手指触点均离开屏幕时，进行多指触控操作的识别，具体的识别过程包括如下步骤：a)根据全部的手指触点的起始位置对手指触点进行分类，根据全部的手指触点的结束位置对全部的手指触点进行分类；b)判断起始时刻在同一类中的手指触点是否结束时仍在同一类中，若在同一类中，那么进行关联，否则删除这些手指触点；c)选择在两类中出现次数最多的两个触控手指，如果起始位置和结束位置处的X方向的相对变化量ΔX和Y方向的相对变化量ΔY都小于某一设定阈值T，那么认为无有效操作，否则在X方向的动作幅度较大时，即当ΔX＞T，ΔY＜T时表示在X方向有缩放操作，在X方向的缩放比例系数为Xscale＝|ΔX2/ΔX1|，Yscale＝1.0，如果Xscale>1.0，表示多指触控操作为X方向的放大操作，如果Xscale<1.0，表示多指触控操作为X方向的缩小操作；在Y方向的动作幅度较大时，即当ΔX＜T，ΔY＞T时表示在Y方向有缩放操作，在Y方向的缩放比例系数为Yscale＝|ΔY2/ΔY1|，Xscale＝1.0，如果Yscale>1.0，表示多指触控操作为Y方向的放大操作，如果Yscale<1.0，表示多指触控操作为Y方向的缩小操作；两个方向变化均大时，即当ΔX＞T，ΔY＞T时根据|ΔR2/ΔR1|来计算缩放比例系...

【专利技术属性】
技术研发人员：田启川，谭登峰，
申请(专利权)人：北京仁光科技有限公司，
类型：发明
国别省市：北京;11