头部佩戴型显示装置以及头部佩戴型显示装置的控制方法制造方法及图纸

本发明专利技术提供一种头部佩戴型显示装置，利用所述头部佩戴型显示装置，使用者不移动视线，就能够同时视觉确认视场方向的物体的实像、和不出现在物体的外观中的信息。该头部佩戴型显示装置是使用者能够视觉确认虚像和外景的头部佩戴型显示装置，具备：图像显示部，其形成使使用者视觉确认的虚像；以及重叠处理部，其使图像显示部形成基于重叠信息的虚像，该重叠信息用于使不出现在物体的外观中的信息亦即不可见信息与外景所包含的物体重叠。

【技术实现步骤摘要】
头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
本专利技术涉及头部佩戴型显示装置。
技术介绍
已知有佩戴于头部的显示装置亦即头部佩戴型显示装置（头戴式显示器（HeadMountedDisplay，HMD））。HMD例如利用液晶显示器和光源生成表示图像的图像光，再利用投影光学系统、导光板等将生成的图像光导入使用者的眼睛，从而使使用者识别虚像。专利文献1记载有使用了这样的头部佩戴型显示装置的手术用拍摄系统以及手术用机器人。在专利文献1记载的技术中，头部佩戴型显示装置的使用者（手术者）将利用插入患者的体腔内的内视镜观察到的图像作为虚像进行视觉确认，并且操作手术用机械手进行手术。专利文献2记载有医疗用面部佩戴型影像显示装置（头部佩戴型显示装置）。在专利文献2记载的技术中，头部佩戴型显示装置的使用者在视觉确认内视镜图像的情况下，将视线朝向水平方向，观察配置于主体的正面的LCD。另外，在视觉确认外景的情况下将视线朝向垂直方向，观察配置于主体的下方的观察窗。专利文献1：日本特开2012-223363号公报专利文献2：日本专利第3599854号公报在专利文献1、2所述的技术中，头部佩戴型显示装置的使用者能够在手术中视觉确认内视镜图像。但是，在专利文献1所记载的技术中，存在头部佩戴型显示装置的使用者不能直接看到手术部位（患者的身体）的问题。另外，在专利文献2所记载的技术中，存在头部佩戴型显示装置的使用者为了直接看到手术部位，需要使视线朝向垂直方向移动的问题。此外，这样的问题并不仅存在于内视镜图像，例如是在将CT（ComputedTomography，计算机断层扫描）图像、MRI（MagneticResonanceImaging，磁共振成像）图像、X-射线图像等不出现在物体的外观中的信息提供给头部佩戴型显示装置的使用者的情况下共同存在的问题。并且，这样的问题不仅存在于医疗用的头部佩戴型显示装置，在其他的用途中所使用的头部佩戴型显示装置（例如，在建筑工地使用，向使用者提供不出现在建筑物的外观中的信息的头部佩戴型显示装置）中也存在同样的问题。
技术实现思路
因此，期望一种使用者不移动视线，就能够同时视觉确认视场方向的物体的实像和不出现在物体的外观中的信息的头部佩戴型显示装置。本专利技术是为了解决上述的课题的至少一部分而完成的专利技术，能够作为以下的方式实现。（1）根据本专利技术的一方式，提供一种使用者能够视觉确认虚像和外景的头部佩戴型显示装置。该头部佩戴型显示装置具备：图像显示部，其形成使上述使用者视觉确认的上述虚像；以及重叠处理部，其使上述图像显示部形成基于重叠信息的上述虚像，上述重叠信息用于使不出现在上述物体的外观中的信息亦即不可见信息与上述外景所包含的物体重叠。根据该方式的头部佩戴型显示装置，图像显示部使使用者视觉确认基于重叠信息的虚像，上述重叠信息是用于使上述物体的不可见信息与外景所包含的物体重叠的信息。本方式的头部佩戴型显示装置是能够视觉确认虚像和外景的头部佩戴型显示装置。因此，头部佩戴型显示装置的使用者不移动视线，就能够同时视觉确认视场方向的物体，换言之，能够同时视觉确认外景所包含的物体的实像和不出现在物体的外观中的信息（重叠信息）。（2）在上述方式的头部佩戴型显示装置中，也可以为上述重叠处理部使上述图像显示部每隔规定的时间反复形成基于与上述外景所包含的物体对应的上述重叠信息的上述虚像。根据该方式的头部佩戴型显示装置，重叠处理部使图像显示部每隔规定的时间反复形成基于与外景所包含的物体对应的重叠信息的虚像，所以能够使使用者视觉确认基于追从使用者的头部的经时的活动的重叠信息的虚像。（3）在上述方式的头部佩戴型显示装置中，也可以为还具备：存储部，其存储上述不可见信息；以及图像获取部，其获取佩戴了上述头部佩戴型显示装置的状态下的上述使用者的视场方向的外景的图像，上述重叠处理部通过对由上述图像获取部获取的上述视场方向的图像进行图像识别，来提取上述外景所包含的上述物体的特征，并基于提取出的上述特征来修正存储于上述存储部的上述物体的上述不可见信息，从而生成上述重叠信息。根据该方式的头部佩戴型显示装置，重叠处理部能够使用存储于存储部的物体的不可见信息来生成重叠信息。另外，图像获取部所获取的图像是拍摄使用者的视场方向的物体（换言之，外景所包含的物体）的实像而得的图像，重叠处理部从由图像获取部获取的外景的图像提取外景所包含的物体的特征，并基于提取出的特征生成重叠信息。因此，重叠处理部能够生成与使用者的视场方向的物体（外景所包含的物体）的特征匹配的重叠信息。（4）在上述方式的头部佩戴型显示装置中，上述不可见信息也可以是表示上述物体的结构的图像。根据该方式的头部佩戴型显示装置，不可见信息是表示物体的结构的图像。因此，头部佩戴型显示装置的使用者不移动视线，就能够同时视觉确认视场方向的物体的实像和表示物体的结构的图像。（5）在上述方式的头部佩戴型显示装置中，上述特征也可以是上述物体的边缘。根据该方式的头部佩戴型显示装置，重叠处理部通过图像识别检测物体的边缘，从而能够提取出外景所包含的物体的轮廓。其结果，重叠处理部能够基于提取出的物体的轮廓来修正物体的不可见信息，从而生成重叠信息。（6）在上述方式的头部佩戴型显示装置中，上述特征也可以是标注在上述物体上的标记。根据该方式的头部佩戴型显示装置，重叠处理部通过图像识别检测标注在物体上的标记，从而提取出外景所包含的物体的位置。其结果，重叠处理部能够基于提取出的物体的位置来修正物体的不可见信息，从而生成重叠信息（7）在上述方式的头部佩戴型显示装置中，上述修正也可以是针对表示上述不可见信息的图像进行的放大、缩小、旋转、反转、剪裁、赋予变形以及去噪中的至少一个。根据该方式的头部佩戴型显示装置，重叠处理部通过对存储于存储部的表示物体的不可见信息的图像进行放大、缩小、旋转、反转、剪裁、赋予变形以及去噪中的至少一个的修正，能够生成重叠信息。（8）在上述方式的头部佩戴型显示装置中，上述修正也可以是将表示上述不可见信息的图像分割成多个区域，并针对上述多个区域的每一个区域进行的放大、缩小、旋转、反转、剪裁、赋予变形以及去噪中的至少一个。根据该方式的头部佩戴型显示装置，重叠处理部将存储于存储部的表示物体的不可见信息的图像分割成多个区域，并针对多个区域的每一个区域进行放大、缩小、旋转、反转、剪裁、赋予变形以及去噪中的至少一个修正。这样，重叠处理部将表示不可见信息的图像分割成多个区域，并进行针对各区域的修正，所以能够使不可见信息的修正的精度提高。（9）在上述方式的头部佩戴型显示装置中，也可以为上述重叠处理部使用三角测量分别测量上述使用者和上述物体的各部分之间的距离，并根据上述测量的结果进行上述分割。根据该方式的头部佩戴型显示装置，重叠处理部能够使用三角测量来测量使用者和物体的各部分之间的距离，并根据测量的结果，高效且结合实际情况地进行不可见信息的区域的分割。（10）在上述方式的头部佩戴型显示装置中，上述重叠处理部也可以根据上述使用者的视场内的表示视觉能力的程度的信息接受特性来改变上述修正的精度。根据该方式的头部佩戴型显示装置，重叠处理部根据使用者的视场内的信息接受特性来改变针对不可见信息的修正的精度。其结果，重叠处理部能够高本文档来自技高网...

【技术保护点】
1.一种头部佩戴型显示装置，其特征在于，是使用者能够视觉确认虚像和外景的头部佩戴型显示装置，具备：重叠信息生成部，其生成重叠信息，所述重叠信息用于使不出现在物体的外观中的信息亦即不可见信息与所述外景所包含的所述物体重叠显示；程序管理部，对于当前程序，所述程序管理部生成与所述使用者应该实施的内容有关的信息亦即程序信息；图像显示部，所述图像显示部使所述使用者视觉确认所述重叠信息和所述程序信息作为所述虚像；图像获取部，其获取佩戴了所述头部佩戴型显示装置的状态下的所述使用者的视场方向的外景的图像；以及程序表，保存有多个所述使用者进行的作业的程序，所述程序管理部对由所述图像获取部获取到的所述视场方向的图像进行图像识别，根据所述图像识别的结果从保存在所述程序表中的多个程序中推断所述当前的程序。

【技术特征摘要】
2013.02.14 JP 2013-026222;2013.11.18 JP 2013-237821.一种头部佩戴型显示装置，其特征在于，是使用者能够视觉确认虚像和外景的头部佩戴型显示装置，具备：重叠信息生成部，其生成重叠信息，所述重叠信息用于使不出现在物体的外观中的信息亦即不可见信息与所述外景所包含的所述物体重叠显示；程序管理部，对于当前程序，所述程序管理部生成与所述使用者应该实施的内容有关的信息亦即程序信息；图像显示部，所述图像显示部使所述使用者视觉确认所述重叠信息和所述程序信息作为所述虚像；图像获取部，其获取佩戴了所述头部佩戴型显示装置的状态下的所述使用者的视场方向的外景的图像；以及程序表，保存有多个所述使用者进行的作业的程序，所述程序管理部对由所述图像获取部获取到的所述视场方向的图像进行图像识别，根据所述图像识别的结果从保存在所述程序表中的多个程序中推断所述当前的程序。2.根据权利要求1所述的头部佩戴型显示装置，其特征在于，所述重叠信息生成部使所述图像显示部每隔规定的时间反复形成基于与所述外景所包含的物体对应的所述重叠信息的所述虚像。3.根据权利要求1或者2所述的头部佩戴型显示装置，其特征在于，还具备存储部，所述存储部存储所述不可见信息，所述重叠信息生成部通过图像识别由所述图像获取部获取的所述视场方向的图像来提取所述外景所包含的所述物体的特征，并通过基于提取出的所述特征对存储于所述存储部的所述物体的所述不可见信息进行修正，来生成所述重叠信息。4.根据权利要求3所述的头部佩戴型显示装置，其特征在于，所述不可见信息是表示所述物体的结构的图像。5.根据权利要求3所述的头部佩戴型显示装置，其特征在于，所述特征是所述物体的边缘。6.根据权利要求3所述的头部佩戴型显示装置，其特征在于，所述特征是标注在所述物体上的标记。7.根据权利要求3所述的头部佩戴型显示装置，其特征在于，所述修正是针对表示所述不可见信息的图像进行的放大、缩小、旋转、反转、剪裁、赋予变形以及去噪中的至少一个。8.根据权利要求3所述的头部佩戴型显示装置，其特征在于，所述修正是将表示所述不可见信息的图像分割成多个区域，针对所述多个区域的每一个区域进行的放大、缩小、剪裁、赋予变形以及去噪中的至少一个。9.根据权利要求8所述的头部佩戴型显示装置，其特征在于，所述重叠信息生成部使用三角测量来分别测量所述使用者和所述物体的各部分之间的距离，根据所述测量的结果进行所述分割。10.根据权利要求3所述的头部佩戴型显示装置，其特征在于，所述重叠信息生成部根据所述使用者的视场内的表示视觉能力的程度的信息接受特性，来改变所述修正的精度。11.根据权利要求3所述的头部佩戴型显示装置，其特征在于，还具备视线检测部，所述视线检测部检测所述使用者的视线，所述图像显示部分别形成与所述使用者的右眼对应的所述虚像和与所述使用者的左眼对应的所述虚像，所述重叠信息生成部还根据由所述视线检测部检测出的所述视线来求出所述使用者和所述使用者注视的注视点之间的距离亦即注视点距离，并生成赋予了与求出的所述注视点距离对应的视差的右眼用的所述重叠信息和左眼用的所述重叠信息。12.根据权利要求11所述的头部佩戴型显示装置，其特征在于，还具备视差信息，所述视差信...

【专利技术属性】
技术研发人员：高野正秀，津田敦也，
申请(专利权)人：精工爱普生株式会社，
类型：发明
国别省市：日本,JP