面向协同交互的多用户眼动跟踪数据可视化方法和系统技术方案

面向协同交互的多用户眼动跟踪数据可视化方法，主要包括：(1)眼动跟踪数据计算；(2)眼动跟踪数据处理；(3)眼动跟踪数据记录；(4)眼动跟踪数据传输；(5)眼动跟踪数据可视化。本发明专利技术还提供了一种面向协同交互的多用户眼动跟踪数据可视化系统，主要包括依次连接并馈送数据的以下模块：(1)眼动跟踪数据计算模块；(2)眼动跟踪数据处理模块；(3)眼动跟踪数据记录模块；(4)眼动跟踪数据传输模块；(5)眼动跟踪数据可视化模块。

Visualization method and system for multi-user eye tracking data oriented to cooperative interaction

The visualization methods of multi-user eye tracking data for collaborative interaction mainly include: (1) calculation of eye tracking data; (2) data processing of eye tracking; (3) data recording of eye tracking; (4) data transmission of eye tracking; (5) visualization of eye tracking data. The invention also provides a multi-user eye tracking data visualization system for collaborative interaction, which mainly includes the following modules that connect and feed data in turn: (1) eye tracking data calculation module; (2) eye tracking data processing module; (3) eye tracking data recording module; (4) eye tracking data transmission module; (5) Eye tracking data visualization module.

【技术实现步骤摘要】
面向协同交互的多用户眼动跟踪数据可视化方法和系统
本专利技术涉及面向协同交互的多用户眼动跟踪数据可视化方法和系统。
技术介绍
随着计算机支持的协同工作、社会计算等相关技术及应用的迅速发展,人机交互往往需在多用户协同环境下才能完成。在多人协同交互过程中,如何将多用户的视觉注意资源形成一个有机的协作体,通过共享机制让个人用户根据自身的目标、意图等,匹配其他用户的视觉注意资源,从而降低自身认知负荷,提高交互效率和主观体验,已经成为一个新的研究挑战。在文本、语音、手势等形式的交互方式无法准确表达交互语义的情况下,眼动跟踪数据及其可视化可以降低语义歧义性,提高多人协同交互质量水平与效率.在此背景下,本专利技术提出面向协同交互的多用户眼动跟踪数据可视化方法和系统，实时获取、计算和传输协同环境下不同用户的眼动跟踪数据,并通过分析与可视化眼动跟踪数据,实现多用户协同交互过程中视觉注意行为和交互意图的协同感知；并在此基础上设计了相应系统的架构和各模块。
技术实现思路
本专利技术提供了一种面向协同交互的多用户眼动跟踪数据可视化方法，主要包括如下步骤：(1)眼动跟踪数据计算；(2)眼动跟踪数据处理；(3)眼动跟踪数据记录；(4)眼动跟踪数据传输；(5)眼动跟踪数据可视化。本专利技术还提供了一种面向协同交互的多用户眼动跟踪数据可视化系统，包括依次连接并馈送数据的以下模块：(1)眼动跟踪数据计算模块；(2)眼动跟踪数据处理模块；(3)眼动跟踪数据记录模块；(4)眼动跟踪数据传输模块；(5)眼动跟踪数据视化模块。本专利技术的优点在于：同步记录和实时传输多用户的眼动跟踪数据，实现了多用户眼动跟踪数据的集聚和分发，进而针对视觉注意行为中的联合注意机制，设计合适的眼动跟踪数据可视化形式，在多用户之间实现眼动数据的可视化共享，有效增强信息传递，降低视觉干扰，使多用户之间提高了视觉行为的协同感知水平，提高了协同交互效率。附图说明图1是本专利技术方法的流程示意图。图2是本专利技术方法的眼动跟踪数据包结构示意图。图3是本专利技术方法的命令代码示意图。图4a～图4b是本专利技术方法的眼动跟踪数据可视化示意图，其中图4a表示用户A界面，显示用户B的眼动跟踪数据可视化；图4b表示用户B界面，显示用户A的眼动跟踪数据可视化。图5是本专利技术的系统的基本逻辑结构示意图。具体实施方式下面将结合附图，对本专利技术一种面向协同交互的多用户眼动跟踪数据可视化方法行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例，不能理解为对本专利技术的限制。参阅图1，本专利技术实施例提供的一种面向协同交互的多用户眼动跟踪数据可视化方法流程示意图，对其中的步骤进行具体描述：(1)眼动跟踪数据计算；利用带有红外光的摄像装置拍摄人眼图像，并对人眼图像进行二值化处理，然后用高斯核函数进行滤波，去除人眼图像中的噪声。进一步对人眼图像进行特征提取，得到人眼瞳孔中心和红外光反射光斑(也称普尔钦斑)的中心，并计算两者构成的向量，最后进行标定过程，建立向量与显示屏幕注视点之间的映射关系，进一步通过拟合计算得到其他眼动跟踪注视点坐标。(2)眼动跟踪数据处理；为了保证眼动跟踪注视点数据的有效性，需要剔除无效的眼动跟踪注视点。具体的眼动跟踪数据处理过程如下：设置阀值r1为显示屏幕分辨率的宽，r2为显示屏幕分辨率的长。当眼动跟踪注视点的横坐标x的值小于r1且其纵坐标y的值小于r2时，判断该注视点位于显示屏幕内，该注视点数据予以保留；否则，判断该注视点不在显示屏幕上，该注视点数据予以舍弃。(3)眼动跟踪数据记录；在眼动跟踪数据存储单元，为每个用户建立一个存储队列，用于记录该用户的眼动跟踪数据。具体的眼动跟踪数据记录过程如下：设置变量z(例如，可以设定z＝100)用来表示队列的最大容量，设置变量s(初例如，可以设定初始s＝0)用来表示当前队列的眼动跟踪注视点个数；当眼动跟踪注视点数据存入队列时，s＝s+1，且当s＝z时，可以把队列中的眼动跟踪注视点数据记录到外部存储单元，用作后续分析使用，此时设s＝0，并把队列中的眼动跟踪注视点数据清空。然后开始下一循环的眼动跟踪数据记录过程。(4)眼动跟踪数据传输；每个用户的眼动跟踪数据通过中转机制先进行集中，再分发给协同交互的相关用户。眼动跟踪数据在传输之前，需要封装进具有一定结构的数据包发。数据包的结构如图2所示，由一个数据头、若干个数据块和校验位组成。数据头包括命令代码、数据类型、数据块大小和数据总长度，其中，命令代码描述该数据包的作用，命令代码的具体作用和内容如图3所示；数据类型描述数据内容的数据格式；数据块大小描述每个数据块的容量大小；数据总长度描述数据内容的容量大小。数据块存储眼动跟踪注视点坐标。校验位是为了确保数据包的完整性和准确性，如果校验位预设数值和眼动跟踪数据传输之后接收到的数值不一样，则说明数据传输过程中出现错误，当前传输的数据予以舍弃，并请求再次传输。(5)眼动跟踪数据可视化；当用户有意识的在观察显示屏幕时，其眼动跟踪注视点在显示屏幕上一个相同区域，停留一定时间以上(例如，可设为100毫秒)，则定义该区域为视觉感兴趣区(下文简写为AOI)。在多个用户(例如，可以设定为2个用户)进行协同交互的应用场景下，用户A和用户B在各自的显示屏幕上可以看到对方的眼动跟踪数据可视化形式，及其相对应的视觉感兴趣区，如图4所示。以下具体提出4种眼动跟踪数据可视化形式：A.注视点实时显示；使用圆点作为用户眼动跟踪注视点的表现形式，可视化效果如图4a所示，图中带颜色(例如，可设为红色)的小圆点表示当前另一个用户的眼动跟踪注视点，小圆点的位置以一定的频率(例如，可以设为20次/秒)进行实时更新，从而具体表示另一个用户在当前视觉感兴趣区的注视点位置变化情况。B.视觉感兴趣区边框；当用户眼动跟踪注视点停留在某个AOI时，该AOI会出现有颜色(例如，可设定为红色)的边框。设定当前AOI边框的宽度W＝10*(FC/FCS)，其中，FC为用户在当前AOI的注视点个数，FCS为用户在当前显示屏幕上所有AOI已产生的注视点数目。W以像素为单位，并以一定的频率(例如，可以设定为1次/秒)进行更新，当用户对某一个AOI观察的时间越长，产生的注视点越多，边框就逐渐变宽，从而说明该用户对该AOI的视觉关注程度较高，并将这一信息告知给其他用户，例如，图4a中AOI1的边框较宽，用户A因此可以知道用户B对这一视觉感兴趣区的关注程度较高。C.视觉感兴趣区背景灰度；由于用户会对某个比较重要或难以理解的AOI内的信息进行多次查看，因此用该AOI的背景灰度表示查看次数。设定当前AOI的背景灰度G＝255-5*N，其中N为用户截止当前时刻查看该AOI的次数，G以灰度值为单位(G的取值范围为0-255，初始值为0；当G小于0时，令G＝0)，并以一定的频率(例如，可以设定为1次/秒)进行更新，当用户对某一个AOI观察的次数越多，背景灰度值逐渐降低，灰度逐渐加深，从而说明该用户对该AOI的关注次数较多，并将这一信息告知给其他用户，例如，图4a中AOI3的背景灰度较深，用户A因此可以知道用户B对这一视觉感兴趣区的关注次数较多。D.多个视觉感兴趣区之间连线；当用户视线在不同AOI之间切换时，用连线表示用户眼动跟踪注视点在两本文档来自技高网...

【技术保护点】
1.面向协同交互的多用户眼动跟踪数据可视化方法，包括如下步骤：(1)眼动跟踪数据计算；利用带有红外光的摄像装置拍摄人眼图像，并对人眼图像进行二值化处理，然后用高斯核函数进行滤波，去除人眼图像中的噪声；进一步对人眼图像进行特征提取，得到人眼瞳孔中心和红外光反射光斑的中心，并计算两者构成的向量，最后进行标定过程，建立向量与显示屏幕注视点之间的映射关系，进一步通过拟合计算得到其他眼动跟踪注视点坐标；(2)眼动跟踪数据处理；为了保证眼动跟踪注视点数据的有效性，需要剔除无效的眼动跟踪注视点；具体的眼动跟踪数据处理过程如下：设置阀值r1为显示屏幕分辨率的宽，r2为显示屏幕分辨率的长；当眼动跟踪注视点的横坐标x的值小于r1且其纵坐标y的值小于r2时，判断该注视点位于显示屏幕内，该注视点数据予以保留；否则，判断该注视点不在显示屏幕上，该注视点数据予以舍弃；(3)眼动跟踪数据记录；在眼动跟踪数据存储单元，为每个用户建立一个存储队列，用于记录该用户的眼动跟踪数据；具体的眼动跟踪数据记录过程如下：设置变量z用来表示队列的最大容量，设置变量s用来表示当前队列的眼动跟踪注视点个数；当眼动跟踪注视点数据存入队列时，s＝s+1，且当s＝z时，可以把队列中的眼动跟踪注视点数据记录到外部存储单元，用作后续分析使用，此时设s＝0，并把队列中的眼动跟踪注视点数据清空；然后开始下一循环的眼动跟踪数据记录过程；(4)眼动跟踪数据传输；每个用户的眼动跟踪数据通过中转机制先进行集中，再分发给协同交互的相关用户；眼动跟踪数据在传输之前，需要封装进具有一定结构的数据包发；数据包的结构由一个数据头、若干个数据块和校验位组成；数据头包括命令代码、数据类型、数据块大小和数据总长度，其中，命令代码描述该数据包的作用；数据类型描述数据内容的数据格式；数据块大小描述每个数据块的容量大小；数据总长度描述数据内容的容量大小；数据块存储眼动跟踪注视点坐标；校验位是为了确保数据包的完整性和准确性，如果校验位预设数值和眼动跟踪数据传输之后接收到的数值不一样，则说明数据传输过程中出现错误，当前传输的数据予以舍弃，并请求再次传输；(5)眼动跟踪数据可视化；当用户有意识的在观察显示屏幕时，其眼动跟踪注视点在显示屏幕上一个相同区域，停留一定时间以上，则定义该区域为视觉感兴趣区AOI；在多个用户进行协同交互的应用场景下，用户A和用户B在各自的显示屏幕上可以看到对方的眼动跟踪数据可视化形式，及其相对应的视觉感兴趣区；以下具体提出4种眼动跟踪数据可视化形式：A.注视点实时显示；使用圆点作为用户眼动跟踪注视点的表现形式，带颜色小圆点表示当前另一个用户的眼动跟踪注视点，小圆点的位置以预定的频率进行实时更新，从而具体表示另一个用户在当前视觉感兴趣区的注视点位置变化情况；B.视觉感兴趣区边框；当用户眼动跟踪注视点停留在某个AOI时，该AOI会出现有颜色的边框；设定当前AOI边框的宽度W＝10*(FC/FCS)，其中，FC为用户在当前AOI的注视点个数，FCS为用户在当前显示屏幕上所有AOI已产生的注视点数目；W以像素为单位，并以一定的频率进行更新，当用户对某一个AOI观察的时间越长，产生的注视点越多，边框就逐渐变宽，从而说明该用户对该AOI的视觉关注程度较高，并将这一信息告知给其他用户；C.视觉感兴趣区背景灰度；由于用户会对某个比较重要或难以理解的AOI内的信息进行多次查看，因此用该AOI的背景灰度表示查看次数；设定当前AOI的背景灰度G＝255‑5*N，其中N为用户截止当前时刻查看该AOI的次数，G以灰度值为单位，G的取值范围为0‑255，初始值为0；当G小于0时，令G＝0，并以预定的频率进行更新，当用户对某一个AOI观察的次数越多，背景灰度值逐渐降低，灰度逐渐加深，从而说明该用户对该AOI的关注次数较多，并将这一信息告知给其他用户；D.多个视觉感兴趣区之间连线；当用户视线在不同AOI之间切换时，用连线表示用户眼动跟踪注视点在两个AOI之间的转移频次；进一步，连线的宽度表示用户在不同AOI之间的转移频次；设定当前连线的宽度LW＝1*LN，LN为用户在当前两个AOI之间的转移频次，LW以像素为单位，并以预定的频率进行更新，因此，当转移频次逐渐变高，连线也就逐渐变粗；此外，用不同颜色的连线表示不同AOI之间的眼动跟踪注视点转移情况。...

【技术特征摘要】
1.面向协同交互的多用户眼动跟踪数据可视化方法，包括如下步骤：(1)眼动跟踪数据计算；利用带有红外光的摄像装置拍摄人眼图像，并对人眼图像进行二值化处理，然后用高斯核函数进行滤波，去除人眼图像中的噪声；进一步对人眼图像进行特征提取，得到人眼瞳孔中心和红外光反射光斑的中心，并计算两者构成的向量，最后进行标定过程，建立向量与显示屏幕注视点之间的映射关系，进一步通过拟合计算得到其他眼动跟踪注视点坐标；(2)眼动跟踪数据处理；为了保证眼动跟踪注视点数据的有效性，需要剔除无效的眼动跟踪注视点；具体的眼动跟踪数据处理过程如下：设置阀值r1为显示屏幕分辨率的宽，r2为显示屏幕分辨率的长；当眼动跟踪注视点的横坐标x的值小于r1且其纵坐标y的值小于r2时，判断该注视点位于显示屏幕内，该注视点数据予以保留；否则，判断该注视点不在显示屏幕上，该注视点数据予以舍弃；(3)眼动跟踪数据记录；在眼动跟踪数据存储单元，为每个用户建立一个存储队列，用于记录该用户的眼动跟踪数据；具体的眼动跟踪数据记录过程如下：设置变量z用来表示队列的最大容量，设置变量s用来表示当前队列的眼动跟踪注视点个数；当眼动跟踪注视点数据存入队列时，s＝s+1，且当s＝z时，可以把队列中的眼动跟踪注视点数据记录到外部存储单元，用作后续分析使用，此时设s＝0，并把队列中的眼动跟踪注视点数据清空；然后开始下一循环的眼动跟踪数据记录过程；(4)眼动跟踪数据传输；每个用户的眼动跟踪数据通过中转机制先进行集中，再分发给协同交互的相关用户；眼动跟踪数据在传输之前，需要封装进具有一定结构的数据包发；数据包的结构由一个数据头、若干个数据块和校验位组成；数据头包括命令代码、数据类型、数据块大小和数据总长度，其中，命令代码描述该数据包的作用；数据类型描述数据内容的数据格式；数据块大小描述每个数据块的容量大小；数据总长度描述数据内容的容量大小；数据块存储眼动跟踪注视点坐标；校验位是为了确保数据包的完整性和准确性，如果校验位预设数值和眼动跟踪数据传输之后接收到的数值不一样，则说明数据传输过程中出现错误，当前传输的数据予以舍弃，并请求再次传输；(5)眼动跟踪数据可视化；当用户有意识的在观察显示屏幕时，其眼动跟踪注视点在显示屏幕上一个相同区域，停留一定时间以上，则定义该区域为视觉感兴趣区AOI；在多个用户进行协同交互的应用场景下，用户A和用户B在各自的显示屏幕上可以看到对方的眼动跟踪数据可视化形式，及其相对应的视觉感兴趣区；以下具体提出4种眼动跟踪数据可视化形式：A.注视点实时显示；使用圆点作为用户眼动跟踪注视点的表现形式，带颜色小圆点表示当前另一个用户的眼动跟踪注视点，小圆点的位置以预定的频率进行实时更新，从而具体表示另一个用户在当前视觉感兴趣区的注视点位置变化情况；B.视觉感兴趣区边框；当用户眼动跟踪注视点停留在某个AOI时，...

【专利技术属性】
技术研发人员：程时伟，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江,33