头戴式显示器和图像显示系统技术方案

本发明专利技术的HMD(100)包括：拍摄外景的摄像机(113)；检测摄像机的动作异常的摄像机异常检测部(114)；检测外景中的物体的位置、距离等的传感器组(115)；检测传感器组的动作异常的传感器异常检测部(116)；生成图像的图像生成部(121、122)；和切换图像生成部的处理模式的模式切换部(120)。图像生成部具有：使用摄像机的图像数据和传感器的检测数据来生成高精度的AR高级图像的AR高级处理模式(121)；和生成比AR高级图像简易的AR简易图像的AR简易处理模式(122)。模式切换部在判断为摄像机或传感器组的动作发生异常的情况下，切换为AR简易处理模式。模式。模式。

【技术实现步骤摘要】
【国外来华专利技术】头戴式显示器和图像显示系统


[0001]本专利技术涉及在用户的头部佩戴来显示增强现实空间的图像的头戴式显示器和图像显示系统。

技术介绍

[0002]使用在用户的头部佩戴使用的头戴式显示器(Head Mounted Display：HMD)，能够在显示器上显示增强现实图像(Augmented Reality，以下称为AR图像)的同时，透过显示器观看眼前的现实空间的物体。该HMD中，搭载了拍摄前方的物体的摄像机、测量到物体的距离的传感器、测定HMD的位置的传感器等多个传感器组，用该摄像机和传感器组取得的数据被用于生成AR图像。
[0003]作为HMD的节电对策，例如专利文献1中，记载了在不存在特定物体时降低摄像机的测定频度，节约消耗电力。
[0004]现有技术文献
[0005]专利文献
[0006]专利文献1：日本特开2018
‑
67300号公报

技术实现思路

[0007]专利技术要解决的课题
[0008]HMD进行的AR图像显示，是与现实的物体的位置对应地显示现实中不存在的虚拟的物体的图像，例如以在前方的桌子上放置了虚拟的花瓶的方式在显示器上叠加显示。该情况下，虚拟的花瓶是AR图像，为了将其叠加显示在前方的桌子上，需要用HMD中搭载的摄像机和传感器组，从前方图像中识别桌子，精度良好地检测桌子的大小、形状、位置等，使用检测数据运算要显示的花瓶的形状和位置。
[0009]进行这样的运算的前提是摄像机和传感器组正常工作、能够取得正确的检测数据。如果摄像机和传感器组中存在至少一个异常状态的，则难以生成正常的AR图像，不得不使图像显示停止。
[0010]但是，将HMD用于设备的维护检查作业等，用AR图像显示作业流程和调整值等的情况下，AR图像的显示因摄像机等的异常而突然停止时，会对维护检查作业造成较大的妨碍，要求避免这种情况的方法。
[0011]上述专利文献1等现有技术中，提出了各种HMD的节电对策，但对于使HMD本来的功能即AR图像的显示继续的方法并没有考虑。
[0012]鉴于上述课题，本专利技术的目的在于提供一种即使HMD中搭载的摄像机和传感器等发生异常也能够使本来的功能即AR图像的显示继续的HMD。
[0013]用于解决课题的技术方案
[0014]本专利技术为了解决上述课题而采用以下方法。由用户佩戴在头部来显示图像的头戴式显示器，包括：拍摄外景的摄像机；检测所述摄像机的动作异常的摄像机异常检测部；检
测外景中的物体的位置、距离和大小的传感器组；检测所述传感器组的动作异常的传感器异常检测部；供电的电池；生成图像的图像生成部；显示所生成的图像的显示器；和切换所述图像生成部的处理模式的模式切换部。
[0015]特征在于，所述图像生成部具有：AR高级处理模式，使用所述摄像机拍摄到的图像数据和所述传感器组检测出的检测数据来生成高精度的增强现实的图像(以下称为AR高级图像)；和AR简易处理模式，生成比所述AR高级图像简易的图像信息(以下称为AR简易图像)，所述模式切换部根据所述摄像机异常检测部或所述传感器异常检测部的检测结果来切换所述AR高级处理模式和所述AR简易处理模式。
[0016]例如，所述模式切换部基于所述摄像机异常检测部或所述传感器异常检测部的检测结果，在判断为所述摄像机或所述传感器组的动作发生异常的情况下，切换为所述AR简易处理模式。
[0017]专利技术效果
[0018]根据本专利技术，即使HMD中搭载的摄像机和传感器等发生异常，也能够使本来的功能即AR图像的显示继续，将对用户的妨碍限制在最小限度。
附图说明
[0019]图1是表示实施例1的HMD的结构的图。
[0020]图2是表示用户佩戴HMD的状态的外观图。
[0021]图3是表示模式切换动作的流程图。
[0022]图4是表示用户认证动作的流程图。
[0023]图5是表示工厂系统的图像作为检查对象物的例子的图。
[0024]图6A是表示AR高级图像的例子的图。
[0025]图6B是表示在检查对象物上叠加显示AR高级图像的状态的图。
[0026]图7A是表示AR简易图像的例子的图。
[0027]图7B是表示在检查对象物上叠加显示AR简易图像的状态的图。
[0028]图8是表示实施例2的图像显示系统的结构的图。
[0029]图9是表示在HMD与便携信息终端之间收发的数据的一例的图。
[0030]图10是表示用户佩戴HMD并与便携信息终端连接的状态的外观图。
[0031]图11A是表示模式切换动作的流程图(HMD方)。
[0032]图11B是表示模式切换动作的流程图(便携信息终端方)。
[0033]图12A是表示用户认证动作的流程图(便携信息终端方)。
[0034]图12B是表示用户认证动作的流程图(HMD方)。
具体实施方式
[0035]以下，使用附图说明本专利技术的头戴式显示器(HMD)的实施方式。以下说明中使用的AR图像指的是增强现实(Augmented Reality)图像。
[0036]实施例1
[0037]实施例1中，HMD100是与外部服务器200连接而进行AR图像的显示的结构。具体而言，举出对工厂系统的维护检查作业应用作为例子。检查者(用户)实际确认工厂系统的各
种检查场所，与其检查结果相应地进行维护作业(例如阀的开闭的调整等)。用户检查某一设备时，在用户佩戴的HMD100上显示用于辅助检查作业的AR图像。设想显示的AR图像不仅在HMD100内部生成，也从工厂系统的管理公司的外部服务器200获取信息并显示的情况。通过在HMD100上叠加显示要检查的具体的流程和调整数值等，用户能够进行正确且高效率的维护检查作业。
[0038]图1是表示实施例1的HMD100的结构的图，HMD100与外部服务器200连接。
[0039]HMD100的结构具有由CPU等构成的控制HMD100的动作的控制部110、显示AR图像数据等的显示器111、对显示器111投影图像的图像投影部112、拍摄前方的外景等的摄像机113、检测摄像机113的动作异常的摄像机异常检测部114、检测用摄像机113拍摄的物体的位置、距离、大小、和HMD100的位置、运动、角速度的距离传感器、位置(GPS)传感器、加速度传感器、陀螺仪传感器等各种传感器组115、检测传感器组115的动作异常的传感器异常检测部116、为了使HMD100工作而供电的电池117、检测电池117的剩余电量的电池电量检测部118。
[0040]另外，HMD100具有生成高精度且高清的AR图像数据的AR高级处理部121、生成在显示器111上显示的文本文字和简单的标记和记号等简易的AR图像数据的AR简易处理部122，作为在显示器111上显示的图像生成部，并且具有切换AR高级处理部121和AR简易处理部122的动作的模式切换部120。以下，将A本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种由用户佩戴在头部来显示图像的头戴式显示器，其特征在于，包括：拍摄外景的摄像机；检测所述摄像机的动作异常的摄像机异常检测部；检测外景中的物体的位置、距离和大小的传感器组；检测所述传感器组的动作异常的传感器异常检测部；供电的电池；生成图像的图像生成部；显示所生成的图像的显示器；和切换所述图像生成部的处理模式的模式切换部，所述图像生成部具有：AR高级处理模式，使用所述摄像机拍摄到的图像数据和所述传感器组检测出的检测数据来生成高精度的增强现实的图像(以下称为AR高级图像)；和AR简易处理模式，生成比所述AR高级图像简易的图像信息(以下称为AR简易图像)，所述模式切换部根据所述摄像机异常检测部或所述传感器异常检测部的检测结果来切换所述AR高级处理模式和所述AR简易处理模式。2.如权利要求1所述的头戴式显示器，其特征在于：所述模式切换部在基于所述摄像机异常检测部或所述传感器异常检测部的检测结果判断为所述摄像机或所述传感器组的动作发生异常的情况下，切换为所述AR简易处理模式。3.如权利要求2所述的头戴式显示器，其特征在于：还包括检测所述电池的剩余电量的电池电量检测部，所述模式切换部在基于所述电池电量检测部的检测结果而判断为所述电池的剩余电量不足的情况下，切换为所述AR简易处理模式。4.如权利要求2所述的头戴式显示器，其特征在于：在由所述模式切换部切换为所述AR简易处理模式的情况下，在所述显示器上显示处于AR简易处理中的消息。5.如权利要求1所述的头戴式显示器，其特征在于：所述AR简易图像是不使用所述摄像机拍摄到的图像数据和所述传感器组检测出的检测数据地在所述显示器的规定位置显示的文本图像。6.一种图像显示系统，包括由用户佩戴在头部来显示图像的头戴式显示器和便携信息终端，将所述头戴式显示器与所述便携信息终端连接来协作地生成要显示的图像，所述图像显示系统的特征在于：所述头戴式显示器包括：拍摄外景的摄像机；检测所述摄像机的动作异常的摄像机异常检测部；检测外景中的物体的位置、距离和大小的传感器组；检测所述传感器组的动作异常的传感器异常检测部；供电的第一电池；生成图像信息的第一图像生成部；
显示由所述第一图像生成部或由所述便携信息终端所具有的第二图像生成部生成的图像的显示器；和切换显示于所述显示器的图像的生成模式的模式切换部，所述便携信息终端包括：生成图像的所述第二图像生成部；和供电的第二电池，在所述第二图像生成部中，执行使用所述头戴式显示器所具有的所述摄像机拍摄到的图像数据和所述传感器组检测出的检测数据...

【专利技术属性】
技术研发人员：川前治，伊藤滋行，
申请(专利权)人：麦克赛尔株式会社，
类型：发明
国别省市：