头戴式显示器协作显示系统、包括显示装置和头戴式显示器的系统及其显示装置制造方法及图纸

本发明专利技术的目的在于，即使在佩戴者发生了移动或视线从主显示装置离开的情况下，也能够将显示在主显示装置上的一次信息的二次信息适当地显示在头戴式显示器上。为了实现上述目的，根据从头戴式显示器获取的摄像图像和头戴式显示器的佩戴者对拍摄图像的注视点，计算佩戴者对一次信息的注视点的位置信息，选择与该位置信息关联的二次信息进行显示，并且，根据佩戴者看着一次信息的情况和没有在看一次信息的情况，改变显示二次信息的显示方法。

【技术实现步骤摘要】
【国外来华专利技术】头戴式显示器协作显示系统、包括显示装置和头戴式显示器的系统及其显示装置
本专利技术涉及使用了头戴式显示器的显示系统和显示装置。
技术介绍
当前提出了一种技术，针对显示在主显示装置上的第一信息(以下称为“一次信息”)，将与其关联的第二信息(以下称为二次信息)显示在头部佩戴式显示装置(头戴式显示器，HeadMountedDisplay，以下称为HMD)上。作为本
的
技术介绍
，有日本特开2001-215920号公报(专利文献1)。专利文献1说明的技术是，在HMD的佩戴者观看显示在主显示装置的屏幕上的一次信息时，根据由HMD检测出的佩戴者的头部的方向和视线的方向，在HMD上显示与位于该方向上的一次信息关联的二次信息。利用该技术，能够减少要在主显示装置上显示的信息(一次信息)，避免装置的大型化，并且佩戴者只要移动头部或视线就能够确认必要的信息(二次信息)，能够提高装置的操作便利性。另外，
技术介绍
还有日本特开2010-237522号公报(专利文献2)。专利文献2说明的技术是，在HMD的佩戴者观看投影在大型屏幕上的一次信息时，根据佩戴者的座位与屏幕的位置关系，在与一次信息相邻的适当的位置上显示二次信息。利用该技术能够实现这样的效果，即，在看电影(一次信息)等情况下，以仅HMD的佩戴者能够看到的方式显示其母语的字幕(二次信息)。现有技术文献专利文献专利文献1：日本特开2001-215920号公报专利文献2：日本特开2010-237522号公报
技术实现思路
专利技术要解决的技术问题专利文献1记载了，显示由HMD检测出的佩戴者的注视点处的信息的二次信息。不过，HMD检测的注视点表示的是佩戴者的视野中的位置。即，因为该视野除了主显示装置显示的一次信息外还包括周围的风景，并且佩戴者并不一定位于主显示装置的正面，所以根据佩戴者站立位置的不同，一次信息为不同的形状。因此，为了知道佩戴者注视着一次信息内部的哪个位置，必须要通过某种方法将HMD检测出的注视点变换为一次信息内的坐标，但是专利文献1对于这样的方法没有任何记载。在专利文献2中，基于佩戴者的座位与屏幕的位置关系进行坐标变换，来计算HMD上的二次信息的显示位置，但是其不能应对佩戴者离开座位并从其他位置观看一次信息的情况。另外，由于专利文献1和2均是仅在观看一次信息的期间中显示二次信息，因此当佩戴者的视线从一次信息离开时，将无法观看二次信息。本专利技术鉴于上述问题而完成，其公开了一种技术，即使在HMD的佩戴者发生了移动或视线从主显示装置离开的情况下，也能够将显示在主显示装置上的一次信息的二次信息适当地显示在HMD上。解决问题的技术手段为了解决上述问题，本专利技术之一例为一种包括显示装置和头戴式显示器的系统，其构成为，显示装置包括：能够显示图像的第一显示部或能够投影图像的投影部，和能够与头戴式显示器通信的第一通信部，头戴式显示器包括：显示头戴式显示器的佩戴者能够观赏的图像的第二显示部，检测头戴式显示器的佩戴者的视线方向的视线检测部，和能够与显示装置通信的第二通信部，显示装置和头戴式显示器的任一者具有注视点检测部，其基于经第一通信部和第二通信部收发的信息，检测头戴式显示器的佩戴者的视线在显示装置的第一显示部所显示的图像或投影部所投影的图像上的注视点的位置，注视点检测部在注视点位于图像上时，计算与注视点的位置对应的图像内的位置信息，头戴式显示器通过与显示装置的通信或其他通信，获取与图像中显示在计算出的位置上的对象数据关联的关联数据，将其显示在第二显示部上。专利技术效果采用本专利技术具有这样的效果，即，无论HMD的佩戴者的位置和视线的方向如何，都能够选择适当的二次信息进行显示，能够提高HMD的佩戴者的行动自由度，能够以更自然的状态观看二次信息。附图说明图1是说明实施例1的HMD协作型显示系统的动作概要的图。图2是实施例1的HMD协作型显示系统的整体结构图。图3是实施例1的一次信息数据库的结构图。图4是实施例1的二次信息数据库的结构图。图5是说明实施例1的一次信息的选择操作的图。图6是实施例1的一次信息选择处理的流程图。图7是说明实施例1的摄像图像和摄像图像内注视点的图。图8是实施例1的基于注视点的二次信息选择处理的流程图。图9是实施例1的一次信息内注视点的计算处理的流程图。图10是说明实施例1的投影变换之概要的图。图11是另一说明实施例1的投影变换之概要的图。图12是实施例1的二次信息清除处理的流程图。图13是说明实施例1的按照声音选择二次信息的动作概要的图。图14是实施例1的基于声音的二次信息选择处理的流程图。图15是说明实施例2的HMD协作型显示系统的动作概要的图。图16是表示实施例2的HMD协作型显示系统的整体概况的图。图17是实施例2的HMD协作型显示系统的整体结构图。图18是说明实施例2的二次信息数据库之结构的图。图19是说明实施例2的摄像图像和摄像图像内注视点的图。图20是实施例2的基于注视点的二次信息选择处理的流程图。具体实施方式以下，使用附图说明本专利技术的实施例。实施例1本实施例要说明的例子是，在教学场景下，将与投影仪投影到屏幕上的教学用内容(一次信息)关联的补充信息(二次信息)显示在教师佩戴的HMD上。采用本实施例，教师能够一边以自然的状态对学生进行授课，一边察看(观看)与教学用内容关联的补充信息。图1是说明本实施例的HMD协作型显示系统的动作概要的图。在图1中，投影装置100将教学用内容(例如世界地图)投影到屏幕930上。教师910一边透过HMD300或看着投影的内容或看着学生920，一边进行授课。这时，教师910透过HMD300看到的景象起初如画面351所示仅仅是教学用内容(世界地图)和用于对内容的显示进行操作的按钮(例如“上一个”“下一个”)。接着，当教师910注视世界地图上的格陵兰附近时，如画面352所示，显示补充信息(例如国名、首都(主要城市)、通用语言)。接着，当教师910看向学生920的方向时，如画面353所示，将用于对内容的显示进行操作的按钮清除，但即使没有在看世界地图也继续显示补充信息。之后，在经过一定时间后，如画面354所示，将补充信息也清除。通过这样的动作，能够进行授课不会做出不自然的动作——例如为了获得补充信息而逐个重新看向教学用内容的方向并注视相应位置这样的动作。图2是本实施例的HMD协作型显示系统的整体结构图。在图2中，本系统包括投影装置100、显示装置200和HMD300。投影装置100和显示装置200以及显示装置200和HMD300通过通信而连接。投影装置100包括用于输入要显示的一次信息的信号输入部110、对显示进行控制的控制部120和将一次信息投影到屏幕上的显示部130。显示装置200包括记录部210、控制部220、信号输出部230、通信部240、注视点计算部250、声音识别部260、操作部270和显示部280，其中记录部210保存一次信息数据库510和二次信息数据库520，控制部220进行一次信息或二次信息的输出等各种处理，信号输出部230对投影装置100输出一次信息，通信部240与HMD300进行通信，注视点计算部250构成基于从HMD300取得的信息检测一次信息内的注视点位置的注视点检测部，用于计算注视点的位置信息的坐标，声音识别部2本文档来自技高网...

【技术保护点】
1.一种包括显示装置和头戴式显示器的系统，其特征在于：所述显示装置包括：能够显示图像的第一显示部或能够投影图像的投影部，和能够与所述头戴式显示器通信的第一通信部，所述头戴式显示器包括：显示所述头戴式显示器的佩戴者能够观赏的图像的第二显示部，检测所述头戴式显示器的佩戴者的视线方向的视线检测部，和能够与所述显示装置通信的第二通信部，所述显示装置和所述头戴式显示器的任一者具有注视点检测部，其基于经所述第一通信部和所述第二通信部收发的信息，检测所述头戴式显示器的佩戴者的视线在所述显示装置的第一显示部所显示的图像或投影部所投影的图像上的注视点的位置，所述注视点检测部在所述注视点位于所述图像上时，计算与所述注视点的位置对应的所述图像内的位置信息，所述头戴式显示器通过与所述显示装置的通信或其他通信，获取与所述图像中显示在计算出的位置上的对象数据关联的关联数据，将其显示在所述第二显示部上。

【技术特征摘要】
【国外来华专利技术】1.一种包括显示装置和头戴式显示器的系统，其特征在于：所述显示装置包括：能够显示图像的第一显示部或能够投影图像的投影部，和能够与所述头戴式显示器通信的第一通信部，所述头戴式显示器包括：显示所述头戴式显示器的佩戴者能够观赏的图像的第二显示部，检测所述头戴式显示器的佩戴者的视线方向的视线检测部，和能够与所述显示装置通信的第二通信部，所述显示装置和所述头戴式显示器的任一者具有注视点检测部，其基于经所述第一通信部和所述第二通信部收发的信息，检测所述头戴式显示器的佩戴者的视线在所述显示装置的第一显示部所显示的图像或投影部所投影的图像上的注视点的位置，所述注视点检测部在所述注视点位于所述图像上时，计算与所述注视点的位置对应的所述图像内的位置信息，所述头戴式显示器通过与所述显示装置的通信或其他通信，获取与所述图像中显示在计算出的位置上的对象数据关联的关联数据，将其显示在所述第二显示部上。2.如权利要求1所述的系统，其特征在于：所述头戴式显示器，根据所述注视点检测部判断为所述注视点位于所述图像上的情况，和所述注视点检测部判断为所述注视点不位于所述图像上的情况，改变所述第二显示部上的显示布局或显示菜单。3.一种包括显示装置和头戴式显示器的头戴式显示器协作显示系统，其特征在于：所述显示装置包括：显示一次信息的第一显示部、投影一次信息的投影部或输出图像信号的信号输出部；能够与所述头戴式显示器通信的第一通信部；和注视点计算部，其计算所述头戴式显示器的佩戴者对所述一次信息的注视点的位置信息，所述头戴式显示器包括：显示所述佩戴者能够观看的二次信息的第二显示部；能够与所述显示装置通信的第二通信部；拍摄所述佩戴者所朝向的方向的摄像图像的摄像部；和检测所述佩戴者对所述摄像图像的注视点的摄像图像内注视点检测部，所述显示装置，基于经所述第一通信部和所述第二通信部收发的所述检测到的注视点，利用所述注视点计算部计算佩戴者对所述一次信息的注视点的位置信息，选择与该位置信息关联的二次信息，并根据判断为所述位置信息位于所述一次信息的情况和判断为不位于所述一次信息的情况，改变所述第二显示部上的所述二次信息的显示方法。4.如权利要求3所述的头戴式显示器协作显示系统，其特征在于：所述注视点计算部确定所述摄像图像中的所述一次信息的显示区域，基于与所...

【专利技术属性】
技术研发人员：关口隆昭，松原孝志，金丸隆，内田尚和，若林正树，森直树，
申请(专利权)人：麦克赛尔株式会社，
类型：发明
国别省市：日本,JP