影像显示系统、影像显示方法及影像显示程序技术方案

提供一种基于用户的视线方向来生成的下一个帧的生成时间充裕的影像显示系统。其包括装戴件、视线检测部及影像生成部，装戴件包括：接收部，用于接收影像；显示部，用于显示接收部所接收的影像；照射部，用于向用户的眼睛照射近红外线；拍摄部，基于近红外线来拍摄用于察看显示于显示部中的影像的用户的眼睛，用户通过装戴装戴件来观看影像，视线检测部为基于拍摄部拍摄而得的拍摄图像来检测用户的凝视点，影像生成部为基于视线检测部检测出的凝视点来生成要显示于装戴件中的影像，装戴件具有控制部，每当显示部中所要显示的影像的各个帧被显示时，为了可在推定为用户正在察看该帧的时间点上执行借助拍摄部的拍摄而对拍摄部指示拍摄的开始时间点。

【技术实现步骤摘要】
影像显示系统、影像显示方法及影像显示程序
本专利技术涉及基于用户的凝视点来生成并显示影像的影像显示系统、影像显示方法及影像显示程序。
技术介绍
以往，作为通过装戴于用户的头部来提供影像的工具，研究开发有头戴式显示器、佩戴式眼镜等，其中，还有用于检测用户的视线的。在专利文献1中公开有可检测用户的视线方向的信息处理装置，并公开有每当在规定的时间点取得用户的眼球图像。现有技术文献专利文献专利文献1：日本特开2015-90569号公报
技术实现思路
然而，像这种视线的检测具有例如，就影像而言，利用于下一个帧的影像数据的制作中的情况。更具体地，例如，用户在观看360度影像的情况下，制作并显示以用户的视线为中心的下一个帧的影像数据。此时，利用对观看影像的用户的眼睛进行拍摄而得的拍摄图像来进行视线的指定，但在每一个规定的时间点上的拍摄当中存在无法保证该拍摄图像为实际上用户正在看着上述帧的情况的问题。并且，在准备下一个帧时，需经过所谓拍摄用户的眼睛、分析通过拍摄取得的拍摄图像、指定凝视点的工序之后，准备影像数据，因此还存在能够用于影像数据的准备当中的时间较短的问题。因此，本专利技术鉴于上述问题而提出，其目的在于，提供如下的影像显示系统：可更准确地获得正在观看各个帧的用户的眼睛的拍摄图像，并且可以确保用于准备用户观看的影像数据的时间比过去更长。为了解决上述技术问题，本专利技术的一实施方式的影像显示系统包括装戴件、视线检测部及影像生成部，上述装戴件包括：接收部，用于接收影像；显示部，用于显示接收部所接收的影像；照射部，用于向用户的眼睛照射近红外线；以及拍摄部，基于近红外线来拍摄用于察看显示于显示部中的影像的用户的眼睛，用户通过装戴装戴件来观看影像，上述视线检测部为基于拍摄部拍摄而得的拍摄图像，来检测用户的凝视点，上述影像生成部为基于视线检测部检测出的凝视点，来生成要显示于装戴件中的影像，装戴件具有控制部，每当显示部中所要显示的影像的各个帧被显示时，为了可在推定为用户正在察看该帧的时间点上执行借助拍摄部的拍摄，上述控制部对拍摄部指示拍摄的开始时间点。为了解决上述技术问题，本专利技术的一实施方式的影像显示方法包括：用于接收影像的接收步骤；用于显示在接收步骤中所接收到的影像的显示步骤；用于向用户的眼睛照射近红外线的照射步骤；每当在显示步骤中所要显示的影像的帧被显示时，为了可在推定为用户正在察看该帧的时间点上执行拍摄，而指示拍摄的开始时间点的控制步骤；按照所指示的开始时间点，基于近红外线来拍摄察看在显示步骤中所显示的影像的用户的眼睛的拍摄步骤；基于在拍摄步骤中拍摄而得的拍摄图像，来检测用户的凝视点的视线检测步骤；以及基于在视线检测步骤中检测出的凝视点，来生成要显示于装戴件中的影像的影像生成步骤。为了解决上述技术问题，本专利技术的一实施方式的影像显示程序为使计算机用于实现如下的功能：接收功能，用于接收影像；显示功能，用于显示接收功能所接收的影像；照射功能，向用户的眼睛照射近红外线；控制功能，每当显示功能所要显示的影像的帧被显示时，为了可在推定为用户正在察看该帧的时间点上执行拍摄，而指示拍摄的开始时间点；拍摄功能，按照所指示的开始时间点，基于近红外线拍摄察看显示功能所显示的影像的用户的眼睛；视线检测功能，基于利用拍摄功能拍摄而得的拍摄图像，来检测用户的凝视点；以及影像生成功能，基于视线检测功能检测出的凝视点，来生成要显示于装戴件中的影像。并且，上述影像显示系统还可以为如下：接收部将所接收到的影像的影像数据转换为用于显示在显示部中的形式，显示部输出用于表示接收部所转换的影像数据的显示的开始的同步信号，控制部基于同步信号向拍摄部输出用于对拍摄部指示开始时间点的指示信号。并且，在上述影像显示系统中，控制部还可以根据用户从显示部中帧的显示开始至察看之间的时间，来输出指示信号。并且，在上述影像显示系统中，控制部还可以为用于控制照射部向用户的眼睛照射近红外线的时间点。本专利技术的一实施方式的影像显示系统可通过控制拍摄用户的眼睛的时间点，来更准确地拍摄正在观看影像的用户的眼睛。并且，影像显示系统通过控制拍摄的时间点，来使拍摄的时间点的开始比以往提前，使得为下一个观看的影像数据的准备带来时间上的宽裕。附图说明图1为示出影像显示系统的结构例的框图。图2为示出用户装戴头戴式显示器的样子的外观图。图3为示意性地示出头戴式显示器的图像显示系统的大致外观的立体图。图4为示意性地示出头戴式显示器的图像显示系统的光学结构的图。图5为说明用于视线方向的检测的校准的示意图。图6为说明用户的眼角膜的位置坐标的示意图。图7为示出影像显示系统的工作例的流程图。图8为未进行拍摄时间点的时间点控制的情况下的时序图。图9为进行了拍摄时间点的时间点控制的情况下的时序图。附图标记的说明1：影像显示系统100：装戴件(头戴式显示器)103a：红外线光源(右眼用发光二极管(LED))103b：红外线光源(左眼用发光二极管)104：输入端子105：亮点106：输出端子108：图像显示组件111：输入端子112：热反射镜113：输出端子114、114a、114b：凸透镜116：摄影机116a：右眼摄影机116b：左眼摄影机120：控制部121：输入端子122：输入端子123：照射延迟控制部124：拍摄延迟控制部125：输出端子126：输出端子130：图像显示系统135：照射部140：拍摄部150：框体152a，152b：透镜支持部160：装戴件170：头戴式耳机180：输出部181：输出端子182：输入端子200：视线检测装置210：输入端子220：视线检测部221：图像分析部222：检测部223：拍摄控制部230：输出端子240：输出端子250：影像生成部具体实施方式以下，参照附图来对本专利技术的影像显示系统的一实施方式进行说明。实施方式本专利技术的影像显示系统如图1所示，影像显示系统1包括装戴件100、视线检测装置200及影像生成部250，装戴件100包括：接收部110，用于接收影像；显示部102，用于显示接收部所接收的影像；照射部135，用于向用户的眼睛照射近红外线；拍摄部140，基于近红外线拍摄用于察看显示部102中所显示的影像的用户的眼睛，用户通过装戴装戴件100来观看影像，视线检测装置200为基于上述拍摄部拍摄而得的拍摄图像，来检测用户的凝视点，影像生成部250为基于视线检测部220检测出的凝视点，来生成要显示于装戴件100中的影像，装戴件100包括控制部，每当显示部102中所要显示的影像的各个帧被显示时，为了可在推定为用户正在察看该帧的时间点上执行借助拍摄部140的拍摄，而对拍摄部140指示拍摄的开始时间点。即，影像显示系统1通过控制借助拍摄部140的拍摄时间点，可在推定为实际上用户正在察看的时间点上拍摄显示部102中所显示的影像(帧)的同时，可带有某种程度上的时间上的宽裕来生成下一个用户察看的影像(帧)。以下，对影像显示系统1进行详细地说明。图2为示意性地示出实施方式的影像显示系统1的大致外观的图。实施方式的影像显示系统1包括作为装戴件100的一例来示出的头戴式显示器100及视线检测装置200。在下文中，装戴件100记载为头戴式显示器100。如图2所示，头戴式显示器100通过装戴于用户300的头本文档来自技高网...

【技术保护点】
1.一种影像显示系统，其特征在于，包括：装戴件，包括：接收部，用于接收影像；显示部，用于显示上述接收部所接收的影像；照射部，用于向用户的眼睛照射近红外线；以及拍摄部，基于上述近红外线，来拍摄用于察看显示于上述显示部中的影像的上述用户的眼睛，上述用户通过装戴上述装戴件来观看影像；视线检测部，基于上述拍摄部拍摄而得的拍摄图像，来检测上述用户的凝视点；以及影像生成部，基于上述视线检测部检测出的凝视点，来生成要显示于上述装戴件中的影像，上述装戴件具有控制部，每当上述显示部中所要显示的影像的各个帧被显示时，为了能够在推定为上述用户正在察看该帧的时间点上借助上述拍摄部执行拍摄，上述控制部对上述拍摄部指示拍摄的开始时间点。

【技术特征摘要】
2017.08.31 JP 2017-1669231.一种影像显示系统，其特征在于，包括：装戴件，包括：接收部，用于接收影像；显示部，用于显示上述接收部所接收的影像；照射部，用于向用户的眼睛照射近红外线；以及拍摄部，基于上述近红外线，来拍摄用于察看显示于上述显示部中的影像的上述用户的眼睛，上述用户通过装戴上述装戴件来观看影像；视线检测部，基于上述拍摄部拍摄而得的拍摄图像，来检测上述用户的凝视点；以及影像生成部，基于上述视线检测部检测出的凝视点，来生成要显示于上述装戴件中的影像，上述装戴件具有控制部，每当上述显示部中所要显示的影像的各个帧被显示时，为了能够在推定为上述用户正在察看该帧的时间点上借助上述拍摄部执行拍摄，上述控制部对上述拍摄部指示拍摄的开始时间点。2.根据权利要求1所述的影像显示系统，其特征在于，上述接收部用于将所接收到的影像的影像数据转换为用于显示在上述显示部的格式，上述显示部输出用于表示上述接收部所转换的影像数据的显示的开始的同步信号，上述控制部基于上述同步信号，向上述拍摄部输出用于对上述拍摄部指示上述开始时间点的指示信号。3.根据权利要求2所述的影像显示系统，其特征在于，上述控制部根据上述用户从上述显示部开始显示上述帧至察看的时间，来输出上述指示信号。4.根据权利要求1至3中任一项所述的影像显示系统，其特征...

【专利技术属性】
技术研发人员：谷口真治，
申请(专利权)人：FOVE股份有限公司，
类型：发明
国别省市：美国,US