基于注意力辨识进行情感运算的3D校园导览方法技术

本发明专利技术提供一种基于注意力辨识进行情感运算的3D校园导览方法，包括眼动仪捕捉使用者注视终端设备屏幕上3D校园环境导览应用的眼动信息并发送给终端设备；终端设备接收眼动仪发送的眼动信息，将屏幕视线坐标转换为3D校园环境导览应用中的窗口坐标，判断所述窗口坐标是否位于感兴趣区域，如果是，计算注视持续时间；如果注视持续时间少于第一预设时间，不做任何回馈；如果注视持续时间大于第一预设时间少于第二预设时间，显示对应回馈内容；如果注视持续时间大于第二预设时间，显示详细资讯回馈内容。本发明专利技术透过最直接的注视分析，减少操作上的负荷，改善使用者的互动体验，达到直觉、人性化的自然感受。

【技术实现步骤摘要】
基于注意力辨识进行情感运算的3D校园导览方法
本专利技术涉及人机交互
，特别涉及一种基于注意力辨识进行情感运算的3D校园导览方法。
技术介绍
人机互动一直是接口互动设计上重要的议题，以往人们仰赖键盘、鼠标或是游戏杆这一类的传统操控设备来与计算机进行沟通与互动，然而这些需要透过双手直接接触来进行操控的硬设备，往往也使得使用者在与计算机的互动过程中过于生硬，甚至可能连带影响了使用者对于系统的体验与融入感到困难，也可能因此局限了系统原本应该带给使用者不同感受的可能性。如今已有越来越多穿戴式或非接触式等互动设备的研发，试图打破以往传统互动的操作模式，将人与计算机的沟通带向更加人性化、直觉化的自然互动模式前进。例如早期Nintendo游戏公司的Wii，到近期LeapMotion体感技术研发公司所研发的LeapMotion手部感测控制器，不依赖游戏杆手把，改以侦测手部及手指头的动作来进行互动；Microsoft公司开发的Kinect体感控制器，也试图运用非接触的方式，侦测使用者的肢体动作来进行操控；此外，早期用于阅读行为分析的眼动追踪(Eye-tracking)技术，随着近年来技术的普及与盛行，也开始被广泛运用在各个领域之中，透过追踪使用者眼睛的运动，也可以成为另一种与计算机进行沟通的互动方式。此外，在人机互动接口设计的思考模式中，从以往注重在系统的发想，衍伸到自然使用者接口(NaturalUserInterface；NUI)的概念，颠覆以往逻辑，改以使用者本身为重的方式来进行思考与设计，而近期情感使用者接口(EmotionalUserInterface；EUI)议题的兴起，更是让以往的互动模式加入了情感运算(AffectiveComputing)这一个新的观点来重新出发，进一步的探讨人与科技之间真正应该要有怎样的互动关系。这些重大的转变除了一再地改变人们传统对互动的认知之外，也显示出一些重要的概念，人与计算机之间的互动应该要以贴近、符合人类日常一些习以为常的生活习惯作为设计的目标，这样的方式才可能在数字游戏、互动导览等不同的系统应用中以最自然、直觉的方式让使用者进行体验，也才能提高使用者与系统融入上的感受。近年来，眼动技术被广泛地应用在心理学、医学、产品设计等议题的研究领域之中，透过眼动仪设备追踪使用者的视线信息，便可以得到使用者在观看图像、事物时的视线顺序、热点，以及注视点的信息分析，而这些信息大多被运用在产品包装设计或网页设计，以及图像与阅读理解等等一些人类注视行为的分析，以帮助设计者改善产品、网页的设计，以引起使用者的兴趣，甚至是试图引导使用者视线的动向，然而以往这些研究大多都只着重在静态图像任务上的分析与运用，将眼动结合在动态、较具高互动性的系统应用中的研究相对少了许多。然而日常的生活当中，我们随时随地都需要仰赖眼睛来接收外界的信息，视线是人类最直接面对外界事物的方式，吸收了这些画面之后，我们的大脑便会开始思考、理解眼前的事物，因此眼睛的注视行为往往也反映出了我们思考的过程，而这样的注视过程也可以呈现出人类在观看事物的行为中，一些心理的情绪与感受，例如藉由注视行为的过程，可以分析出哪些是观看者所重视的事物，而那些又是他们下意识忽略，或是不受吸引的事物，进而得知观看者视线的注意力，以及感兴趣的目标对象。此外，在人们与计算机互动的需求逐渐提升之际，光是单方面的提升人性的操控接口显然已越来越无法满足人类的需求，除了操控方式的改进之外，计算机本身也必须进一步的提升。因此，情感运算这种期望让计算机理解情绪，并针对情绪自动给予回馈的能力显然已成为新兴的发展趋势，而人类眼睛观看的视线也正是人们表达情感的管道之一。由于导览系统常因操作的复杂度而降低了使用者的使用意愿，因此本申请希望将眼动结合在动态的互动系统之中应用，依据真实校园环境开发的虚拟3D校园导览应用，结合眼动仪的技术来追纵、辨识使用者观看的注视行为，并依视线的注意力情绪，在3D导览应用中自动回馈信息给使用者，结合视线的操控，来改善互动的自然性，透过最直接的注视分析，减少生硬的操作与负荷。
技术实现思路
本专利技术目的在于克服现有技术的不足，提出一种基于注意力辨识进行情感运算的3D校园导览方法，通过眼动追踪技术，将情感运算结合到依据真实校园所开发的3D校园导览应用之中，分析使用者的视线位置与注意力情绪的判断，依据环境中设定的感兴趣区域，显示对应区域与情绪的回馈内容。透过最直接的注视分析，减少操作上的负荷，改善使用者的互动体验，达到直觉、人性化的自然感受。本专利技术解决其技术问题所采用的技术方案是：一种基于注意力辨识进行情感运算的3D校园导览方法，包括：眼动仪捕捉使用者注视终端设备屏幕上3D校园环境导览应用的眼动信息并发送给终端设备；所述眼动信息包括屏幕视线坐标；所述终端设备接收所述眼动仪发送的眼动信息，将所述屏幕视线坐标转换为3D校园环境导览应用中的窗口坐标，判断所述窗口坐标是否位于感兴趣区域，如果是，计算注视持续时间，通过注视持续时间的长短来辨识使用者的情绪；如果注视持续时间少于第一预设时间，表示使用者的视线只是扫过或忽略，3D校园环境导览应用不做任何回馈；如果注视持续时间大于第一预设时间少于第二预设时间，表示使用者的注意力集中，3D校园环境导览应用在预设位置显示对应回馈内容；如果注视持续时间大于第二预设时间，表示使用者感兴趣，3D校园环境导览应用在预设位置显示详细资讯回馈内容；所述对应回馈内容包括操作指令、环境地图和/或资讯简介。在所述3D校园环境导览应用之中，使用者通过键盘来进行角色的行动操控，使用者可以自由地观看与进入依据真实的校园环境所建造出来的3D楼层环境，了解各楼层内部的样貌，参观的同时，使用者的眼动信息会透过眼动仪进行捕捉。通过键盘来进行角色的行动操控的指令包括：角色向前进、角色向后退、角色向左转和角色向右转。眼动仪捕捉使用者注视终端设备屏幕上3D校园环境导览应用的眼动信息并发送给终端设备之前，还包括：使用者使用所述眼动仪进行视线的校正。所述校正方法包括：使用者佩戴眼动仪观看所述终端设备屏幕上显示的圆十字图案，并进行9个定位点的视线定位，以计算对应屏幕的(x,y)坐标，校正后使用者便可以进行3D校园环境导览。所述第一预设时间为600ms，所述第二预设时间为3000ms。如果所述窗口坐标没有位于感兴趣区域，不做任何回馈。所述感兴趣区域可设置。显示对应回馈内容或显示详细资讯回馈内容之后，还包括：根据使用者是否开始使用键盘移动角色来判别是否离开当前区域；如果没有移动，继续显示对应回馈内容或显示详细资讯回馈内容；如果有移动，重新判断窗口坐标是否位于新的感兴趣区域。所述眼动仪通过红外线感测和追踪瞳孔位置来获取屏幕视线坐标。所述终端设备包括PC机、平板电脑和智能手机。与现有技术相比，本专利技术具有如下有益效果：本专利技术提出一种基于注意力辨识进行情感运算的3D校园导览方法，通过眼动追踪技术，将情感运算结合到依据真实校园所开发的3D校园导览应用之中，分析使用者在操作3D校园导览应用时，视线的注视过程与持续时间，依据环境中设定的感兴趣区域，显示对应区域与情绪的回馈内容，透过最直接的注视分析，减少操作上的负荷，改善使用者的互动体验，达到直觉、人性化的自然感受。附图说明本文档来自技高网...

【技术保护点】
一种基于注意力辨识进行情感运算的3D校园导览方法，其特征在于，包括：眼动仪捕捉使用者注视终端设备屏幕上3D校园环境导览应用的眼动信息并发送给终端设备；所述眼动信息包括屏幕视线坐标；所述终端设备接收所述眼动仪发送的眼动信息，将所述屏幕视线坐标转换为3D校园环境导览应用中的窗口坐标，判断所述窗口坐标是否位于感兴趣区域，如果是，计算注视持续时间，通过注视持续时间的长短来辨识使用者的情绪；如果注视持续时间少于第一预设时间，表示使用者的视线只是扫过或忽略，3D校园环境导览应用不做任何回馈；如果注视持续时间大于第一预设时间少于第二预设时间，表示使用者的注意力集中，3D校园环境导览应用在预设位置显示对应回馈内容；如果注视持续时间大于第二预设时间，表示使用者感兴趣，3D校园环境导览应用在预设位置显示详细资讯回馈内容；所述对应回馈内容包括操作指令、环境地图和/或资讯简介。

【技术特征摘要】
1.一种基于注意力辨识进行情感运算的3D校园导览方法，其特征在于，包括：眼动仪捕捉使用者注视终端设备屏幕上3D校园环境导览应用的眼动信息并发送给终端设备；所述眼动信息包括屏幕视线坐标；所述终端设备接收所述眼动仪发送的眼动信息，将所述屏幕视线坐标转换为3D校园环境导览应用中的窗口坐标，判断所述窗口坐标是否位于感兴趣区域，如果是，计算注视持续时间，通过注视持续时间的长短来辨识使用者的情绪；如果注视持续时间少于第一预设时间，表示使用者的视线只是扫过或忽略，3D校园环境导览应用不做任何回馈；如果注视持续时间大于第一预设时间少于第二预设时间，表示使用者的注意力集中，3D校园环境导览应用在预设位置显示对应回馈内容；如果注视持续时间大于第二预设时间，表示使用者感兴趣，3D校园环境导览应用在预设位置显示详细资讯回馈内容；所述对应回馈内容包括操作指令、环境地图和/或资讯简介。2.根据权利要求1所述的基于注意力辨识进行情感运算的3D校园导览方法，其特征在于，在所述3D校园环境导览应用之中，使用者通过键盘来进行角色的行动操控，使用者可以自由地观看与进入依据真实的校园环境所建造出来的3D楼层环境，了解各楼层内部的样貌，参观的同时，使用者的眼动信息会透过眼动仪进行捕捉。3.根据权利要求1所述的基于注意力辨识进行情感运算的3D校园导览方法，其特征在于，眼动仪捕捉使用者注视终端设备屏幕上3D校园环境导览应用的眼动信息并发送给终端设备之前，还包括：使...

【专利技术属性】
技术研发人员：庄礼鸿，吴明霓，林千慧，
申请(专利权)人：华侨大学，
类型：发明
国别省市：福建,35