一种基于眼动追踪的人机交互系统及其工作方法技术方案

本发明专利技术公开了一种基于眼动追踪的人机交互系统及其工作方法，其中该系统包括处理器，其与AR/VR头显装置和视频采集装置分别相连；AR/VR头显装置上设置有眼动追踪传感器和角运动传感器，眼动追踪传感器和角运动传感器分别用于实时捕捉眼部活动信息和实时采集AR/VR头显装置的当前运动状态且均传送至处理器；视频采集装置用于采集眼部视线范围内的场景图像并传送至处理器。本发明专利技术能提升AR/VR在各个工程应用领域的交互体验。

A human-computer interaction system based on eye tracking and its working method

The invention discloses a human-computer interaction system based on eye tracking and working method thereof, wherein the system comprises a processor, and the AR/VR head display device and video capture device are respectively connected; the head of AR/VR display device is provided with eye tracking sensor and angular motion sensor, the motion state of the eye movement tracking sensor and angular motion sensor were used real time capture eye movement information and real-time acquisition of AR/VR display device and head are transmitted to the processor; video capture device is used for collecting the eye within sight of the scene image and transmitted to the processor. The invention can improve the interactive experience of AR/VR in various engineering application fields.

【技术实现步骤摘要】
一种基于眼动追踪的人机交互系统及其工作方法
本专利技术属于人机交互领域，尤其涉及一种基于眼动追踪的人机交互系统及其工作方法。
技术介绍
虚拟现实(Virtuaireaiity，VR)是一种综合计算机图形技术、多媒体技术、传感器技术、人机交互技术、网络技术、立体显示技术以及仿真技术等多种科学技术综合发展起来的计算机领域的最新技术，也是力学、数学、光学、机构运动学等各种学科的综合应用。目前，所涉及的研究应用领域包括：军事、医学、心理学、教育、科研、商业、影视、娱乐、制造业、工程训练等。虚拟现实已经被人们公认为是21世纪重要发展学科以及影响人们生活的重要技术之一。AR是将计算机生成的虚拟世界套在现实世界上，即把数字想象世界加在真实世界之上。最典型的AR设备就是谷歌眼镜。这种智能眼镜将触控板、摄像头以及LED显示器结合起来，通过显示器，用户可以联网，并在视野内使用地图、电子邮件等服务。AR增强现实主要通过投影功能，将虚拟世界叠加在现实世界，起到补充现实世界信息的作用，因此AR设备的主要构成是狭义的VR+更强大的数据感知系统+微投影系统。眼动追踪EyeTribe是当人类的眼球移动时，可以对其进本文档来自技高网...

【技术保护点】
一种基于眼动追踪的人机交互系统，其特征在于，包括：处理器，其与AR/VR头显装置和视频采集装置分别相连；AR/VR头显装置上设置有眼动追踪传感器和角运动传感器，眼动追踪传感器和角运动传感器分别用于实时捕捉眼部活动信息和实时采集AR/VR头显装置的当前运动状态且均传送至处理器；视频采集装置用于采集眼部视线范围内的场景图像并传送至处理器；所述处理器被配置为：根据眼部活动信息和AR/VR头显装置的运动状态来构建当前眼部移动模型，并与其内预存的眼部移动模型相匹配，进而驱动AR/VR头显装置进行相应动作且定位视觉方向；根据定位的视觉方向确定眼部视线范围，接收且内的场景图像并对眼球进行定位，进而确定出注视...

【技术特征摘要】
1.一种基于眼动追踪的人机交互系统，其特征在于，包括：处理器，其与AR/VR头显装置和视频采集装置分别相连；AR/VR头显装置上设置有眼动追踪传感器和角运动传感器，眼动追踪传感器和角运动传感器分别用于实时捕捉眼部活动信息和实时采集AR/VR头显装置的当前运动状态且均传送至处理器；视频采集装置用于采集眼部视线范围内的场景图像并传送至处理器；所述处理器被配置为：根据眼部活动信息和AR/VR头显装置的运动状态来构建当前眼部移动模型，并与其内预存的眼部移动模型相匹配，进而驱动AR/VR头显装置进行相应动作且定位视觉方向；根据定位的视觉方向确定眼部视线范围，接收且内的场景图像并对眼球进行定位，进而确定出注视感兴趣区域；对注视感兴趣区域内的图像进行识别，进而得到场景模组检测模型并对其进行定位；利用眼动参数及场景模组检测模型的位置分别与预设的相应交互参考范围比较，判定是否进行互动及发出相应互动操作控制。2.如权利要求1所述的一种基于眼动追踪的人机交互系统，其特征在于，所述眼动参数包括眼跳次数、注视次数和注视时长。3.如权利要求1所述的一种基于眼动追踪的人机交互系统，其特征在于，所述处理器还被配置为：利用眼部、眼球以及场景的三维坐标，定位场景模组检测模型。4.如权利要求1所述的一种基于眼动追踪的人机交互系统，其特征在于，所述处理器还被配置为：确定眼部视线范围的场景图像的归类，并按时间序列对所述场景图像进行排序；提取排序后的所述场景图像的特征参数，所述场景图像的特征参数包括停留时间、运动角度、离散速度和眼球闭合频率；构建所述场景图像的特征参数的评价体系，进而得到最优的注视点即为眼部位置点。5.如权利要求1所述的一种基于眼动追踪的人机交互系统，其特征在于，所述处理器还被配置为：对注视感兴趣区域内的图像进行采样缩小，进而利用ORB算法进行特征提取；利用提取的ORB特征进行最邻近匹配，通过RASANC算法对得到的匹配点对进行筛选，得到粗匹配点对；利用提取的粗匹配点对坐标，计算出在注视感兴趣区域内的图像中的对应坐标，并在注视感兴趣区域内的图像的匹配点对所在的图像块中再次提取ORB特征，进行精确匹配；利用渐入渐出法对相邻图像块进行融合，利用目标的位置特征、深层特征和...

【专利技术属性】
技术研发人员：韩元凯，许玮，刘继东，慕世友，李超英，高玉明，李云亭，张健，傅孟潮，李建祥，袁弘，刘海波，黄德旭，车长明，
申请(专利权)人：国网山东省电力公司电力科学研究院，山东鲁能智能技术有限公司，国家电网公司，
类型：发明
国别省市：山东,37