视线检测系统、偏移检测方法、偏移检测程序技术方案

本发明专利技术提供视线检测系统、偏移检测方法、偏移检测程序，用于检测装戴到用户的头部使用的装戴件的偏移。视线检测系统包括用户装戴使用的装戴件，包括多个发射部，向用户的眼睛发射不可见光；摄像头，根据不可见光来拍摄用户的眼睛；瞳孔确认部，从摄像头拍摄得到的拍摄图像中确认用户的瞳孔中心；取得部，根据多个发射部的配置位置、从多个发射部向用户的眼睛发射的发射光的发射位置以及摄像头的配置位置，来取得与用户的眼角膜曲率的中心位置有关的信息；向量确认部，确认将拍摄图像中的用户的眼角膜曲率中心和瞳孔中心连结起来的向量；偏移检测部，根据向量来对用户装戴的装戴件的装戴状态的偏移进行检测。

Line of sight detection system, migration detection method, migration detection program

The present invention provides a line of sight detection system, an offset detection method, an offset detection program for detecting the offset of a wear piece worn to the user's head. Line of sight detection system includes a user wearing the use of wearing parts, including a plurality of transmitter, transmitting the invisible light to the eye of the user; the user according to the camera, shooting the invisible light eyes; the pupil from the camera department confirmed, by photographing the user's pupil center confirmed the image acquisition unit, according to many; a transmitter location, from a plurality of transmit transmitting to the user's eyes emit light emission position and the configuration of the camera position, to obtain information about the center position of corneal curvature and users; vector confirmation confirmation, will be taken in the image the user connects center and pupil center corneal curvature vector; offset detection, detection according to the offset vector to the user wearing the wearing parts wear state.

【技术实现步骤摘要】
视线检测系统、偏移检测方法、偏移检测程序
本专利技术涉及视线检测系统，特别涉及利用头戴式显示器的视线检测技术。
技术介绍
以往，在进行用于确认用户凝视位置的视线检测时，事先进行校准，并预先取得用户的视线的基本信息。在专利文献1公开了一种进行校准后进行视线检测的技术。近年来，用户装戴到头部使用的头戴式显示器或眼镜显示器等也在尝试进行视线检测。这种情况也是在进行上述校准之后进行视线检测。现有技术文献专利文献专利文献1：日本特开2001－134371号公报然而，前提是用户与头戴式显示器或眼镜显示器之间的相对位置关系保持不变。因此，例如在使用头戴式显示器过程中发生如图13所示的物理偏移的情况下，存在视线检测的检测位置精度下降的问题。因此，检测头戴式显示器被用户装戴的状态的偏移对发现视线检测的精度下降来讲是一项非常重要的课题。在图13所示的例子中示出了装戴到用户的头部的头戴式显示器100从虚线150t1的状态向实线150t2所示的状态偏移的情况。这只不过是其中一种偏移例子，还包括向下发生偏移、单侧向上下发生偏移的情况，不管发生哪一种偏移，都存在视线检测的检测位置精度下降的问题。因此，期待开发出检测这种偏移的方法。
技术实现思路
本专利技术是鉴于上述问题而提出的，其目的在于，提供一种在头戴式显示器等用户装戴到头部使用的装戴件发生偏移等的情况下能够检测这种偏移的视线检测系统。为了解决上述技术问题，根据本专利技术的一实施方式，提供一种视线检测系统，包括用户装戴使用的装戴件，其包括：多个发射部，向用户的眼睛发射不可见光；摄像头，根据不可见光来拍摄用户的眼睛；瞳孔确认部，从摄像头拍摄得到的拍摄图像中确认用户的瞳孔中心；取得部，根据多个发射部的配置位置、从多个发射部向用户的眼睛发射的发射光的发射位置以及摄像头的配置位置，来取得与用户的眼角膜曲率的中心位置有关的信息；向量确认部，确认将拍摄图像中的用户的眼角膜曲率中心和瞳孔中心连结起来的向量；偏移检测部，根据向量来对用户装戴的装戴件的装戴状态的偏移进行检测。在上述视线检测系统中，视线检测系统还可包括用于对表示多个发射部与摄像头的配置位置的配置信息进行存储的存储部，取得部可根据存储在存储部中的多个发射部之中的第一发射部的配置信息、从第一发射部发射的不可见光相对于用户的眼睛的第一发射位置、存储在存储部中的多个发射部之中的与第一发射部不同的第二发射部的配置信息、从第二发射部发射的不可见光相对于用户的眼睛的第二发射位置以及摄像头的配置位置，来取得与用户的眼角膜曲率的中心位置有关的信息。在上述视线检测系统中，取得部可取得包括从摄像头的中心位置朝向第一发射部的第一向量和从摄像头的中心位置朝向第一发射位置的第二向量的第一平面以及包括从摄像头的中心位置朝向第二发射部的第三向量和从摄像头的中心位置朝向第二发射位置的第四向量的第二平面之间的交线作为与用户的眼角膜曲率的中心位置有关的信息。在上述视线检测系统中，向量确认部将交线与摄像头的图像传感器之间的交点作为拍摄图像中的用户的眼角膜曲率的中心来确认向量。在上述视线检测系统中，在第一时刻由向量确认部确认的作为向量的第一向量的位置和在第一时刻开始规定时间内的第二时刻由向量确认部确认的作为向量的第二向量的位置处于不同位置的情况下，偏移检测部可检测出偏移。在上述视线检测系统中，装戴件可为头戴式显示器，视线检测系统还可包括视线检测装置，装戴件可包括发射部、摄像头以及用于将拍摄图像发送给视线检测装置的发送部，视线检测装置可包括用于接收拍摄图像的接收部、瞳孔确认部、取得部、向量确认部以及偏移检测部。在上述视线检测系统中，装戴件还可包括用于向用户提示图像的显示部，视线检测装置还可包括根据拍摄图像来检测出凝视图像的用户的凝视位置的视线检测部。在上述视线检测系统中，视线检测装置还可包括校正部，校正部根据偏移检测部检测出的偏移，来校正视线检测部检测出的用户的凝视位置。并且，本专利技术的一实施方式提供一种偏移检测方法，用于对用户装戴的装戴件的装戴状态的偏移进行检测，包括如下步骤：发射步骤，从多个发射部向用户的眼睛发射不可见光；拍摄步骤，根据不可见光来拍摄用户的眼睛；瞳孔确认步骤，从通过拍摄步骤拍摄得到的拍摄图像中确认用户的瞳孔中心；取得步骤，根据多个发射部的配置位置、从多个发射部向用户的眼睛发射的发射光的发射位置以及摄像头的配置位置，来取得与用户的眼角膜曲率的中心的位置有关的信息；向量确认步骤，确认将拍摄图像中的用户的眼角膜曲率的中心与瞳孔中心连结起来的向量；偏移检测步骤，根据向量检测出用户装戴的装戴件的装戴状态的偏移。并且，本专利技术一实施方式提供一种偏移检测程序，用于检测出用户装戴使用的装戴件的装戴状态的偏移，使计算机实现如下功能：拍摄图像取得功能，取得根据从用于向用户的眼睛发射不可见光的多个发射部发射的不可见光来拍摄用户的眼睛的摄像头拍摄得到的拍摄图像；瞳孔确认功能，从拍摄图像中确认用户的瞳孔中心；取得功能，根据多个发射部的配置位置、从多个发射部向用户的眼睛发射的发射光的发射位置、摄像头的配置位置，来取得与用户的眼角膜曲率的中心的位置有关的信息；向量确认功能，确认将拍摄图像中的用户的眼角膜曲率的中心和瞳孔中心连结起来的向量；偏移检测功能，根据向量来检测出用户装戴的装戴件的装戴状态的偏移。其中，以上结构要素的任意组合以及利用方法、装置、系统、计算机程序、数据结构、记录介质等之间转换本专利技术的表现的方式也都有效地作为本专利技术的方式。根据本专利技术，提供一种在以头戴式显示器等为代表的装戴件能够检测出其装戴状态的偏移的技术。附图说明图1为表示视线检测系统的结构的图。图2为用户装戴头戴式显示器的状态的外观图。图3为示意性地示出头戴式显示器的图像显示系统的大致外观的立体图。图4为示意性地示出头戴式显示器的图像显示系统的光学结构的图。图5为示出视线检测系统的结构的框图。图6为说明用于视线方向检测的校准的示意图。图7为说明用户的眼角膜的位置坐标的示意图。图8为示意性地说明偏移检测的概要的立体图。图9为表示眼球图像的图。图10为用于示意性地说明偏移检测的概要的俯视图。图11为表示头戴式显示器的偏移与向图像传感器进行的映射的关系例的图。图12为表示视线检测系统的动作的流程图。图13为表示头戴式显示器的偏移状态的图。图14为表示视线检测系统的结构的图。附图标记的说明1：视线检测系统100：头戴式显示器103a：红外线光源(第二红外线发射部)103b：红外线光源(第一红外线发射部)105：亮点108：图像显示组件112：热反射镜114、114a、114b：凸透镜116：摄像头118：第一通信部120：显示部121：发射部122：拍摄部123：图像处理部130：图像显示系统150：框体152a、152b：透镜支持部160：装戴件170：头戴式耳机200：视线检测装置220：第二通信部221：视线检测部222：影像生成部223：瞳孔确认部224：取得部225：向量确认部226：偏移检测部227：校正部228：存储部具体实施方式以下、参照附图对本专利技术的视线检测系统进行说明。实施方式1结构如图1所示，本专利技术的视线检测系统1包括装戴件100。装戴件100作为用户装戴使用的设备，例如有头戴式显示器、穿戴式眼镜等作为代本文档来自技高网...

【技术保护点】
一种视线检测系统，包括用户装戴使用的装戴件，其特征在于，包括：多个发射部，向用户的眼睛发射不可见光；摄像头，根据上述不可见光来拍摄上述用户的眼睛；瞳孔确认部，从上述摄像头拍摄得到的拍摄图像中确认上述用户的瞳孔中心；取得部，根据上述多个发射部的配置位置、从上述多个发射部向上述用户的眼睛发射的发射光的发射位置以及上述摄像头的配置位置，来取得与上述用户的眼角膜曲率的中心位置有关的信息；向量确认部，确认将上述拍摄图像中的上述用户的眼角膜曲率中心和上述瞳孔中心连结起来的向量；偏移检测部，根据上述向量来对上述用户装戴的上述装戴件的装戴状态的偏移进行检测。

【技术特征摘要】
2016.07.27 JP 2016-147519;2017.07.25 JP 2017-143701.一种视线检测系统，包括用户装戴使用的装戴件，其特征在于，包括：多个发射部，向用户的眼睛发射不可见光；摄像头，根据上述不可见光来拍摄上述用户的眼睛；瞳孔确认部，从上述摄像头拍摄得到的拍摄图像中确认上述用户的瞳孔中心；取得部，根据上述多个发射部的配置位置、从上述多个发射部向上述用户的眼睛发射的发射光的发射位置以及上述摄像头的配置位置，来取得与上述用户的眼角膜曲率的中心位置有关的信息；向量确认部，确认将上述拍摄图像中的上述用户的眼角膜曲率中心和上述瞳孔中心连结起来的向量；偏移检测部，根据上述向量来对上述用户装戴的上述装戴件的装戴状态的偏移进行检测。2.根据权利要求1所述的视线检测系统，其特征在于，上述视线检测系统还包括用于对表示上述多个发射部与上述摄像头的配置位置的配置信息进行存储的存储部，上述取得部根据存储在上述存储部中的上述多个发射部之中的第一发射部的配置信息、从上述第一发射部发射的不可见光相对于上述用户的眼睛的第一发射位置、存储在上述存储部中的上述多个发射部之中的与上述第一发射部不同的第二发射部的配置信息、从上述第二发射部发射的不可见光相对于上述用户的眼睛的第二发射位置以及上述摄像头的配置位置，来取得与上述用户的眼角膜曲率的中心位置有关的信息。3.根据权利要求2所述的视线检测系统，其特征在于，上述取得部取得包括从上述摄像头的中心位置朝向上述第一发射部的第一向量和从上述摄像头的中心位置朝向上述第一发射位置的第二向量的第一平面以及包括从上述摄像头的中心位置朝向上述第二发射部的第三向量和从上述摄像头的中心位置朝向上述第二发射位置的第四向量的第二平面之间的交线作为与上述用户的眼角膜曲率的中心位置有关的信息。4.根据权利要求3所述的视线检测系统，其特征在于，上述向量确认部将上述交线与上述摄像头的图像传感器之间的交点作为上述拍摄图像中的上述用户的眼角膜曲率的中心来确认上述向量。5.根据权利要求1至4中任一项所述的视线检测系统，其特征在于，在第一时刻由上述向量确认部确认的作为上述向量的第一向量的位置和在上述第一时刻开始规定时间内的第二时刻由上述向...

【专利技术属性】
技术研发人员：赵柱安，洛克拉因·威尔逊，
申请(专利权)人：FOVE股份有限公司，
类型：发明
国别省市：美国,US