头戴式显示器制造技术

本发明专利技术的目的在于提高在叠加显示现实空间和虚拟物体的MR系统中使用的头戴式显示器的直观的操作性。为了实现该目的，头戴式显示器在现实空间中显示AR对象而形成MR空间，其包括：拍摄现实空间而得到拍摄影像的摄像机；测量现实空间内的现实物体的距离的测距摄像机；和控制装置，控制装置包括：从拍摄影像中识别现实物体的拍摄对象处理；得到AR对象而对该AR对象赋予包含现实空间内的距离的位置的AR对象处理；反映现实物体与AR对象的远近而生成MR空间的显示影像的显示影像生成处理，以及从拍摄影像中检测操作画面显示物体的处理；和在该操作画面显示物体的前方显示MR空间的操作画面的处理，其中该操作画面的影像包含MR空间内的AR对象。的AR对象。的AR对象。

【技术实现步骤摘要】
【国外来华专利技术】头戴式显示器


[0001]本专利技术涉及在叠加显示现实空间和虚拟空间(也记为虚拟物体)的混合现实(MR：Mixed Reality)系统中使用的头戴式显示器(HMD：Head Mount Display)。

技术介绍

[0002]使影像、字符等虚拟物体(AR对象：Argument Reality对象)的影像与现实空间叠加地显示来使用户可见，这被用于游戏、维护作业等内容。作为游戏的一个例子，有捕捉配置在公园、车站等公共场所的角色(AR对象)，并对捕捉到的角色的种类、得分进行竞赛的游戏，作为维护的一个例子，有在电梯的狭窄的井道中按照作业指示影像(AR对象)进行作业的情况。
[0003]在此，为了显示AR对象，用摄像机与背景同时拍摄被称为AR触发或标记的影像，将通过AR触发关联起来的AR对象配置在现实空间中。或者，有将用户所在的现实空间与空间坐标系建立对应，通过向任意的空间坐标位置配置AR对象来进行叠加等方法。
[0004]在MR系统中，用户佩戴摄像机、显示光学系统和传感器一体化而成的HMD，利用摄像机拍摄现实空间，使用传感器以空间坐标系表示现实空间。在显示光学系统中，将AR对象配置在空间坐标系的任意位置，在现实空间中叠加显示AR对象的影像。此外，在MR系统中，通过摄像机拍摄放置在现实空间中的用户的手等，并且通过手的动作即手势来操作AR对象。然而，基于手势的操作在公共场所会给周围的人带来困扰，在狭窄的场所难以进行如手势那样的大的动作。
[0005]作为本
中的现有技术，有专利文献1。在专利文献1中，公开了一种信息输入装置，其特征在于，在手掌和附近投影操作输入用的影像，通过手掌的动作来确定操作输入。
[0006]现有技术文献
[0007]专利文献
[0008]专利文献1：日本特开2018
‑
73170号公报

技术实现思路

[0009]专利技术要解决的课题
[0010]在MR系统中，需要选择MR空间(在现实空间中叠加了AR对象的空间)的任意的AR对象，响应于MR空间的变化而操作AR对象这样的直观的操作。然而，在专利文献1中公开的选择投射到手掌的操作输入用的按钮的方法中，在MR空间中难以实现直观的操作。
[0011]本专利技术是鉴于上述的点而完成的，其目的在于提供一种即使在公共场所、狭窄场所等也能够使用的MR系统的HMD，该HMD选择MR空间的任意的AR对象，响应于MR空间的变化，能够直观地进行AR对象的操作。
[0012]用于解决课题的技术方案
[0013]为了解决上述课题，列举其一例，本专利技术是在现实空间中显示AR对象而形成MR空
间的头戴式显示器，其包括：拍摄现实空间而得到拍摄影像的摄像机；测量现实空间内的现实物体的距离的测距摄像机；和控制装置，控制装置包括：从拍摄影像中识别现实物体的拍摄对象处理；得到AR对象而对该AR对象赋予包含现实空间内的距离的位置的AR对象处理；和反映现实物体与AR对象的远近而生成MR空间的显示影像的显示影像生成处理，以及从拍摄影像中检测操作画面显示物体的处理；和在该操作画面显示物体的前方显示MR空间的操作画面的处理，该操作画面的影像包含MR空间内的AR对象。
[0014]专利技术效果
[0015]根据本专利技术，用户能够直接操作显示在操作画面上的AR对象，并且能够在MR空间中直观地执行操作。
附图说明
[0016]图1是实施例1中的HMD的概略外观结构图。
[0017]图2是实施例1中的HMD的结构框图。
[0018]图3是实施例1中的MR空间的显示影像的例子。
[0019]图4是说明实施例1中的MR空间的操作方法的图。
[0020]图5是实施例1中的MR处理的整体控制进程的流程图。
[0021]图6是实施例1中的拍摄对象进程的流程图。
[0022]图7是实施例1中的AR对象进程的流程图。
[0023]图8是实施例1中的显示影像生成进程的流程图。
[0024]图9是实施例1中的操作识别进程的流程图。
[0025]图10是通过单手操作来选择实施例2中的操作画面上的AR对象的说明图。
[0026]图11是通过单手操作进行实施例2中的操作画面的放大、缩小的说明图。
[0027]图12是简化并容易观察实施例3中的操作画面的影像的说明图。
[0028]图13是实施例3中的操作画面生成和显示的流程图。
[0029]图14是在实施例4中的操作画面的影像中仅映出AR对象的说明图。
[0030]图15是实施例5中的操作画面的轻松的操作方法的说明图。
[0031]图16是实施例6中的用户可以不抬起手将手掌放在面前的操作方法的说明图。
[0032]图17是表示实施例7中的广角摄像机的拍摄范围、MR空间的显示影像和操作画面的关系的说明图。
具体实施方式
[0033]以下，参照附图对本专利技术的实施例进行说明。
[0034](实施例1)
[0035]图1是本实施例中的HMD的概略外观结构图。在图1中，1是HMD，10是摄像机，11是测距摄像机，12a、12b是显示光学系统(影像投影部)，13是透镜或屏幕等透射型光学系统，14是鼻托，15是控制器(控制装置)，16是扬声器，17是麦克风，18a、18b、18c是框架壳体。
[0036]用户通过框架壳体18a、18b和鼻托14将HMD1佩戴在其面部。
[0037]摄像机10以拍摄用户的视线前方的方式安装，测距摄像机11测量与摄像机10的拍摄影像所捕捉的现实空间的现实物体(包含墙壁等背景)的距离。
[0038]测距摄像机11可以通过立体摄像机那样的方式对现实物体的轮廓等特征点计算距离，也可以如TOF(Timeof Flight：飞行时间)方式那样二维地照射光线来测量距离，只要能够与摄像机拍摄影像对应地测量与现实物体的距离即可。
[0039]显示光学系统12a、12b将用左眼确认的影像(12a)和用右眼确认的影像(12b)投射到透射型光学系统13来显示虚拟物体(AR对象)。用户能够通过透射型光学系统13观看前方的风景或现实物体，通过透射型光学系统13可见从显示光学系统12a、12b投射的虚拟物体，使其位于现实空间的规定的位置。
[0040]控制器15导入由摄像机10拍摄到的现实空间的影像、由测距摄像机11取得的现实物体等现实空间的位置数据，并提供给内部的存储器和/或CPU。另外，内置陀螺仪、方位、位置、接触传感器等传感器组。进而，生成由显示光学系统12a、12b投射的影像、向扬声器16输出的声音。控制器15、摄像机10、测距摄像机11、扬声器16、麦克风17配置于框架壳体18a、18b、18c。另外，配置场所也可以不像图1那样。
[0041]此外，控制器15包括主要由CPU处理的与用户的用户接口(UI)。作为用户接口，包括后述的操作输入处理。
[0042]图2是本实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种头戴式显示器，在现实空间中显示AR对象而形成MR空间，其特征在于，包括：拍摄现实空间而得到拍摄影像的摄像机；测量现实空间内的现实物体的距离的测距摄像机；和控制装置，所述控制装置包括：从所述拍摄影像中识别现实物体的拍摄对象处理；得到AR对象并对该AR对象赋予包含现实空间内的距离的位置的AR对象处理；反映现实物体与AR对象的远近而生成MR空间的显示影像的显示影像生成处理，以及从所述拍摄影像中检测操作画面显示物体的处理；和在该操作画面显示物体的前方显示所述MR空间的操作画面的处理，其中，该操作画面的影像包含所述MR空间内的AR对象。2.如权利要求1所述的头戴式显示器，其特征在于：所述操作画面的影像是由所述拍摄影像和AR对象构成的MR空间的影像。3.如权利要求1所述的头戴式显示器，其特征在于：所述控制装置包括识别所述操作画面上的指示物体的动作的处理，通过该指示物体的动作能够操作所述MR空间的AR对象。4.如权利要求3所述的头戴式显示器，其特征在于：所述指示物体是手指，通过手指的动作能够操作AR对象和操作画面。5.如权利要求4所述的头戴式显示器，其特征在于：所述操作画面显示物体是手掌。6.如权利要求5所述的头戴式显示器，其特征在于：所述识别指示物体的动作的处理是显示操作画面的所述手掌的手指，所述控制装置包括识别手指的弯折、手指的开合的处理。7...

【专利技术属性】
技术研发人员：中出真弓，桥本康宣，奥万寿男，
申请(专利权)人：麦克赛尔株式会社，
类型：发明
国别省市：