视觉焦点和手部运动跟踪协同驱动的目标交互方法和系统技术方案

视觉焦点和手部运动跟踪协同驱动的目标交互方法，包括如下步骤：视觉焦点跟踪、手部运动跟踪、融合视觉焦点和手部运动的目标交互。本发明专利技术还提供了实现本发明专利技术方法的系统，包括依次连接并馈送数据的以下模块：视觉焦点跟踪模块、手部运动跟踪模块、融合视觉焦点和手部运动的目标交互模块。

Target Interaction Method and System Driven by Vision Focus and Hand Motion Tracking

The method of target interaction driven by visual focus and hand motion tracking includes the following steps: visual focus tracking, hand motion tracking, target interaction of fusion of visual focus and hand motion. The invention also provides a system for realizing the method of the invention, including the following modules which connect and feed data sequentially: visual focus tracking module, hand motion tracking module, target interaction module integrating visual focus and hand motion.

【技术实现步骤摘要】
视觉焦点和手部运动跟踪协同驱动的目标交互方法和系统
本专利技术涉及大型显示界面上目标交互方法和系统。
技术介绍
随着投影屏幕、大型LED显示器等在人们工作、生活中逐渐得到普及，面向大型显示界面的人机交互也得到了迅速发展。目标选择是大型显示界面交互场景下的的重要操作，通常分为两步：1)定位要选择的目标；2)然后确认当前所定位的目标。而传统的鼠标操作方式，使得用户在大型显示界面上需要利用鼠标进行长距离的光标移动，增加了用户的操作负荷。在这种背景下，基于人眼视觉焦点跟踪的交互方法已逐步应用于面向大型显示界面的目标选择操作，因为视觉焦点跟踪具有很强的指向性，可以较快完成目标的定位和选择。此外，视觉焦点在一定程度上表征了用户的交互意图，进一步提高了隐式交互的自然性。因此本专利技术提出了视觉焦点和手部运动跟踪协同驱动的目标交互方法和系统，实现多通道融合驱动的目标选择。通过视觉焦点指向目标、手部运动确认目标的交互机制实现大型显示界面上的目标选择，特别是当目标的个体尺寸较小、目标之间间距较小时，通过手部运动改变视觉焦点跟踪光标的选择范围，不仅可以提高视觉焦点跟踪指向精度，还可以降低操作难度；同时，结合光标稳定、二次选择，及其优化机制，实现更加准确和快速的目标选择。
技术实现思路
本专利技术要克服现有技术的上述缺点，提供了视觉焦点和手部运动跟踪协同驱动的目标交互方法。本专利技术的视觉焦点和手部运动跟踪协同驱动的目标交互方法和系统，包括如下步骤：(1)视觉焦点跟踪；(2)手部运动跟踪；(3)融合视觉焦点和手部运动的目标交互；本专利技术还提供了视觉焦点和手部运动跟踪协同驱动的目标交互系统，包括依次连接并馈送数据的以下模块：(1)视觉焦点跟踪模块；(2)手部运动跟踪模块；(3)融合视觉焦点和手部运动的目标交互模块；本专利技术的优点在于：提出了视觉焦点和手部运动跟踪协同驱动的目标交互方法，通过视觉焦点指向目标，手部运动进行选择确认，实现大型显示界面上高效、自然的目标选择。并且在目标尺寸小、目标间距小时，通过视觉焦点光标稳定、二次选择，以及相应的优化机制，对交互过程进行全面改善，有效降低了对视觉焦点跟踪的精度要求，在大型显示界面上的交互任务完成效率和准确度得到了明显提升。附图说明图1是本专利技术方法的流程示意图。图2a～图2b是本专利技术方法的可缩放的视觉焦点跟踪光标示意图，其中图2a是初始状态的视觉焦点跟踪光标；图2b是通过“缩放”手势放大后的视觉焦点跟踪光标。图3a～图3b是本专利技术方法的改进的视觉焦点跟踪光标示意图，其中图3a是初始状态的视觉焦点跟踪光标；图3b是在视觉焦点大幅移动后，相应移动到新的位置的视觉焦点跟踪光标。图4是本专利技术方法的二次选择功能示意图。图5a～图5b是本专利技术方法的基于预选列表的目标选择示意图，其中图5a是覆盖多个密集目标的视觉焦点跟踪光标，当前被选中的目标在最左端；图5b是引入预选优化机制后，覆盖多个密集目标的视觉焦点跟踪光标，当前被选中的目标在最右端。图6是本专利技术系统的基本逻辑结构示意图。具体实施方式下面将结合附图，对本专利技术视觉焦点和手部运动跟踪协同驱动的目标交互方法行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例，不能理解为对本专利技术的限制。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。参阅图1，本专利技术实施例提供的视觉焦点和手部运动跟踪协同驱动的目标交互方法的流程示意图，对其中的步骤进行具体描述：(1)视觉焦点跟踪；利用带有红外光源的摄像装置拍摄人眼图像，并对人眼图像进行二值化处理，然后用高斯核函数进行滤波，去除人眼图像中的噪声。进一步对人眼图像进行特征提取，得到人眼瞳孔中心和红外光反射光斑(也称普尔钦斑)的中心，并计算两者构成的向量，最后进行标定过程，建立该向量与用户在大型显示界面视觉焦点之间的映射关系，进一步通过拟合计算得到其他视觉焦点的平面坐标。(2)手部运动跟踪；利用已有手部运动跟踪装置获取人的手部运动模型，根据手部运动特征对“抬起”、“缩放”、“挥手”等不同手势进行跟踪与识别。“抬起”手势的特征是手部运动范围大于一定距离H(例如，可以设定H＝20厘米)，并且运动方向是垂直从低处向高处运动；“缩放”手势的特征是手部从握拳状态到手掌张开状态(放)，或者从手掌张开状态到握拳状态(缩)，且设定握拳时的手心球半径为Rw,手掌张开时的手心球半径为Rz,要求Rw/Rz>K(例如，可以设定K＝60％)；“挥手”手势的特征是手部运动方向为水平方向从左向右或从右向左运动，并且运动速度大于S(例如，可以设定S＝30厘米/秒)。(3)融合视觉焦点和手部运动的目标交互；如图2a所示，光标圆心为点a，光标半径为r，用户可以用视觉焦点控制圆形光标的移动，当光标覆盖目标后，用户通过“抬起”手势进行选择确认，最终选中目标。另外，当目标的尺寸太小而光标难以覆盖时，用户可以通过“缩放”手势扩大光标半径r，如图2b所示。光标稳定。如图3a所示，设定用户当前实际视觉焦点为g，实际视觉焦点与光标圆心之间的距离为d。当用户的视觉焦点在光标半径范围内(d<＝r)时，光标的位置不会发生改变。只有当用户的视觉焦点发生较大范围的转移，即视觉焦点超出光标范围(d>r)时，才会相应改变光标的位置，如图3b所示。这种光标一方面消除了视觉焦点跟踪精度误差导致的不稳定性(即用户在选择目标时则侧重于光标的稳定性)，另一方面又能根据幅度较大的视觉焦点转移而及时调整光标位置(用户在移动光标时侧重于光标的灵活性)，能有效帮助用户更好的选择小尺寸目标。二次选择。如图4所示，大型显示界面上有大量的小尺寸目标紧密排布，用户通过视觉焦点跟踪进行初步定位后，利用手部运动跟踪，通过二次选择完成既定目标的选择(图4中粗边框的矩形)。首先用户通过“缩放”手势扩大光标的尺寸，降低选择小尺寸目标时对视觉焦点跟踪精度的要求。所有被光标覆盖的目标都会被添加到预选列表中(如图4中被光标覆盖的4个目标)。预选列表中存在一个选择指针，当用户通过“抬起”手势确认选择时会选中指针指向的目标，该目标会变成深色。用户通过“挥手”手势控制选择指针的移动，当其指向用户想要选择的目标时，再次通过“抬起”手势确认选择，完成对既定目标完成准确选择。优化机制。如图5a所示，当目标分布过于密集时，将导致光标同时覆盖的目标过多，使得利用二次选择进行目标筛选的时间过长(例如，需要从左往右通过“挥手”逐一筛选)，选择效率明显降低。为此，根据目标被选择的可能性高低设置优先级，优先级高的目标将更容易被选中。具体的方法是：用户使用视觉焦点光标进行选择时，记录用户过去一段时间T(例如，可以设定T＝2秒)内的所有视觉焦点的坐标，并将这些视觉焦点的坐标平均值作为当前用户最可能的视觉焦点坐标(该视觉焦点称为预测视觉焦点)。目标位置与预测视觉焦点越近，其优先级就越高；反正亦然。此外，预选列表中目标优先级还将根据预测视觉焦点位置的变化而相应动态改变。如图5b所示，i为预测视觉焦点，其与最右侧的目标最近，因此最右侧的目标优先级最高，所以将其设置为预选列表中的第一位，自动将其进行预选，此时用户不需要“挥手”进行多次本文档来自技高网...

【技术保护点】
1.视觉焦点和手部运动跟踪协同驱动的目标交互方法，包括如下步骤：(1)视觉焦点跟踪；利用带有红外光源的摄像装置拍摄人眼图像，并对人眼图像进行二值化处理，然后用高斯核函数进行滤波，去除人眼图像中的噪声；对人眼图像进行特征提取，得到人眼瞳孔中心和红外光反射光斑的中心，并计算两者构成的向量，最后进行标定过程，建立该向量与用户在大型显示界面视觉焦点之间的映射关系，进一步通过拟合计算得到其他视觉焦点的平面坐标；(2)手部运动跟踪；利用已有手部运动跟踪装置获取人的手部运动模型，根据手部运动特征对“抬起”、“缩放”、“挥手”的手势进行跟踪与识别；“抬起”手势的特征是手部运动范围大于一定距离H，并且运动方向是垂直从低处向高处运动；“缩放”手势的特征是手部从握拳状态到手掌张开状态(放)，或者从手掌张开状态到握拳状态(缩)，且设定握拳时的手心球半径为Rw,手掌张开时的手心球半径为Rz,要求Rw/Rz>K；“挥手”手势的特征是手部运动方向为水平方向从左向右或从右向左运动，并且运动速度大于S；(3)融合视觉焦点和手部运动的目标交互；光标圆心为点a，光标半径为r，用户用视觉焦点控制圆形光标的移动，当光标覆盖目标后，用户通过“抬起”手势进行选择确认，最终选中目标；当目标的尺寸太小而光标难以覆盖时，用户可以通过“缩放”手势扩大光标半径r；光标稳定；设定用户当前实际视觉焦点为g，实际视觉焦点与光标圆心之间的距离为d，当用户的视觉焦点在光标半径范围内(d...

【技术特征摘要】
1.视觉焦点和手部运动跟踪协同驱动的目标交互方法，包括如下步骤：(1)视觉焦点跟踪；利用带有红外光源的摄像装置拍摄人眼图像，并对人眼图像进行二值化处理，然后用高斯核函数进行滤波，去除人眼图像中的噪声；对人眼图像进行特征提取，得到人眼瞳孔中心和红外光反射光斑的中心，并计算两者构成的向量，最后进行标定过程，建立该向量与用户在大型显示界面视觉焦点之间的映射关系，进一步通过拟合计算得到其他视觉焦点的平面坐标；(2)手部运动跟踪；利用已有手部运动跟踪装置获取人的手部运动模型，根据手部运动特征对“抬起”、“缩放”、“挥手”的手势进行跟踪与识别；“抬起”手势的特征是手部运动范围大于一定距离H，并且运动方向是垂直从低处向高处运动；“缩放”手势的特征是手部从握拳状态到手掌张开状态(放)，或者从手掌张开状态到握拳状态(缩)，且设定握拳时的手心球半径为Rw,手掌张开时的手心球半径为Rz,要求Rw/Rz>K；“挥手”手势的特征是手部运动方向为水平方向从左向右或从右向左运动，并且运动速度大于S；(3)融合视觉焦点和手部运动的目标交互；光标圆心为点a，光标半径为r，用户用视觉焦点控制圆形光标的移动，当光标覆盖目标后，用户通过“抬起”手势进行选择确认，最终选中目标；当目标的尺寸太小而光标难以覆盖时，用户可以通过“缩放”手势扩大光标半径r；光标稳定；设定用户当前实际视觉焦点为g，实际视觉焦点与光标圆心之间的距离为d，当用户的视觉焦点在光标半径范围内(d<＝r)时，光标的位置不会发生改变，只有当用户的视觉焦点发生较大范围的转移，即视觉焦点超出光标范围(d>r)时，才会相应改变光标的位置；这种光标一方面消除了视觉焦点跟踪精度误差导致的不稳定性，即用户在选择目标时则侧重于光标的稳定性，另一方面又能根据幅度较大的视觉焦点转移而及时调整光标位置，用户在移动光标时侧重于光标的灵活性，有效帮助用户更好的选择小尺寸目标；二次选择；大型显示界面上有大量的小尺寸目标紧密排布，用户通过视觉焦点跟踪进行初步定位后，利用手...

【专利技术属性】
技术研发人员：程时伟，朱安杰，范菁，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江,33