头戴式显示设备、控制头戴式显示设备的方法和计算机程序技术

一种头戴式显示设备包括：图像显示单元，其被配置成使用户在视觉上识别虚拟图像；增强现实处理单元，其被配置成使图像显示单元形成包括虚拟对象的虚拟图像，虚拟图像的至少一部分被叠加显示在存在于真实世界中的真实对象上；颜色检测单元，其被配置成检测真实对象颜色，真实对象颜色是真实对象的颜色；以及颜色调整单元，其被配置成使用所检测的真实对象颜色来使视觉观察颜色接近目标颜色，视觉观察颜色是通过将虚拟对象的颜色叠加在真实对象颜色上而获得的颜色，其中，用户利用该头戴式显示设备可以在视觉上识别虚拟图像和外部场景。

Head mounted display device, method for controlling head mounted display device, and computer program

A head mounted display apparatus includes an image display unit, which is configured so that the user identification of virtual image in the vision of augmented reality; the processing unit is configured so that the image display unit to form a virtual image includes a virtual object, the virtual image is superimposed at least a portion of the display in the real object to exist in the real world in color; detection unit configured to detect the true color of the object, the real object color is the real object color; and the color adjustment unit is configured to use the detection of the real object color to visual observation color close to the target color, visual observation color is the color of virtual objects superimposed on the real object the color and color, wherein the head mounted display device can identify the virtual image and external scenes visually by the user.

【技术实现步骤摘要】
【国外来华专利技术】头戴式显示设备、控制头戴式显示设备的方法和计算机程序
本专利技术涉及头戴式显示设备。
技术介绍
存在一种已知的称为增强现实(AR)的技术，用于使用计算机来呈现附加于真实对象的信息，真实对象即存在于真实世界中的对象。在增强现实中，附加于真实对象而显示的信息也称为“虚拟对象”。增强现实的功能被安装在头戴式显示器(以下称为“HMD”或“头戴式显示设备”)上。HMD利用摄相机来拍摄外部场景的图像、识别通过图像拍摄而获得的图像并且生成或获取虚拟对象。在HMD的安装状态下不阻挡用户视场的透射式HMD使用户仅视觉地识别包括虚拟对象的虚拟图像。用户可以通过观看真实世界中的真实对象以及由虚拟图像所表示的虚拟对象二者来体验增强现实。PTL1描述了一种用于在透射式HMD中对虚拟图像的显示区和摄相机的图像拍摄区进行对准的技术，以减少用户在实现增强现实时所感觉到的不适感。引用列表专利文献PTL1:JP-A-2013-186641
技术实现思路
技术问题例如当在汽车经销商中使用增强现实来确定要订购的汽车的颜色和配件时、或者当在房屋展示场所中使用增强现实来确定要订购的房屋的墙纸和地板材料时，至少一部分虚拟对象有时被叠加显示在真实对象上。在这种情况下，在真实对象的颜色与虚拟对象的颜色叠加的状态下，用户在视觉上识别的颜色是很重要的。PTL1中描述的技术没有考虑到这种与颜色有关的问题。因此，需要一种能够在真实对象的颜色与虚拟对象的颜色叠加的状态下控制用户在视觉上识别的颜色的头戴式显示设备。问题的解决方案本专利技术的一些方面的优点是解决至少一部分上述问题，并且本专利技术可以实现为以下方面。(1)本专利技术的一个方面提供了一种头戴式显示设备，用户利用该头戴式显示设备可以在视觉上识别虚拟图像和外部场景。头戴式显示设备包括：图像显示单元，该图像显示单元被配置成使用户在视觉上识别虚拟图像；增强现实处理单元，该增强现实处理单元被配置成使图像显示单元形成包括虚拟对象的虚拟图像，虚拟图像的至少一部分被叠加显示在存在于真实世界中的真实对象上；颜色检测单元，该颜色检测单元被配置成检测真实对象颜色，真实对象颜色是真实对象的颜色；以及颜色调整单元，该颜色调整单元被配置成利用检测到的真实对象颜色来使视觉观察颜色接近目标颜色，该视觉观察颜色是通过将虚拟对象的颜色叠加在真实对象颜色上而获得的颜色。利用该方面的头戴式显示设备，颜色调整单元可以利用由颜色检测单元所检测到的真实对象颜色来控制视觉观察颜色，视觉观察颜色是通过将真实对象的颜色(真实对象颜色)与虚拟对象的颜色叠加而获得的颜色，换言之，视觉观察颜色是用户在视觉上识别出的颜色。(2)在一个方面的头戴式显示设备中，颜色调整单元可以通过调整虚拟对象的颜色使得通过对检测到的真实对象颜色和虚拟对象的颜色进行加色混合而获得的颜色接近目标颜色，来使视觉观察颜色接近目标颜色。利用该方面的头戴式显示设备，颜色调整单元可以通过调整虚拟对象的颜色来使视觉观察颜色接近目标颜色。也就是说，可以在不向包括在头戴式显示设备中的现有部件添加专用部件的情况下控制目标颜色。(3)在一个方面的头戴式显示设备中，图像显示单元还能够针对每个像素来改变外部场景的透明度，以及颜色调整单元可以通过使图像显示单元改变外部场景的透明度来使视觉观察颜色接近目标颜色。利用该方面的头戴式显示设备，颜色调整单元可以通过在图像显示单元中改变外部场景的透明度来使视觉观察颜色接近目标颜色。也就是说，可以在头戴式显示设备中控制视觉观察颜色而无需进行专门的图像处理。(4)在一个方面的头戴式显示设备中，颜色调整单元可以使图像显示单元在所检测到的真实对象颜色的色度等于或高于预定色度时改变外部场景的透明度，并且可以在所检测到的真实对象颜色的色度低于预定色度时调整虚拟对象的颜色使得通过对所检测到的真实对象颜色和虚拟对象的颜色进行加色混合而获得的颜色接近目标颜色。利用该方面的头戴式显示设备，颜色调整单元根据真实对象颜色的色度(亮度)来适当地区分是通过改变外部场景的透明度来控制视觉观察颜色还是通过调整虚拟对象的颜色来控制视觉观察颜色。当真实对象颜色的色度高(真实对象颜色亮)时，有效的措施例如是通过减少外部场景的透明度来突出虚拟对象的颜色使得明亮的真实对象颜色本身更不易被用户看到。另一方面，当真实对象颜色的色度低(真实对象颜色暗)时，如果使用通过利用加色混合对虚拟对象的颜色进行调整而获得的经调色颜色，则可以扩展可表现的色域。由于可以实现精细颜色再现，因此以这种方式可以有效地改进颜色的分辨率。因此，颜色调整单元可以根据真实对象颜色的色调适当地使用更合适的方法来控制视觉观察颜色。(5)在一个方面的头戴式显示设备中，颜色调整单元可以针对虚拟对象的每个像素来执行用于使视觉观察颜色接近目标颜色的处理。利用该方面的头戴式显示设备，颜色调整单元针对虚拟对象的每个像素来执行对视觉观察颜色的控制(用于使视觉观察颜色接近目标颜色的处理)。因此，可以容易地执行对视觉观察颜色的控制。即使当多个颜色混合在虚拟对象中时，也可以控制视觉观察颜色。(6)在一个方面的头戴式显示设备中，颜色调整单元可以针对每个n*m(n和m是等于或大于2的整数)像素块来执行用于使视觉观察颜色接近目标颜色的处理，其中该像素块是虚拟对象的像素之中的多个相邻像素的集合。利用该方面的头戴式显示设备，颜色调整单元针对虚拟对象的每个像素块来执行对视觉观察颜色的控制(用于使视觉观察颜色接近目标颜色的处理)。因此，可以抑制对视觉观察颜色的控制的结果对于每个像素的波动。即使当多个颜色混合在虚拟对象中时，也可以控制视觉观察颜色。(7)在一个方面的头戴式显示设备中，颜色调整单元可以基于真实对象处于其中的真实光环境来确定目标颜色。利用该方面的头戴式显示设备，颜色调整单元基于真实对象处于其中的真实光环境来确定目标颜色。因此，可以将目标颜色设置成例如与真实环境匹配的颜色。颜色调整单元可以将目标颜色设置成例如在真实环境中显眼的颜色。(8)在一个方面的头戴式显示设备中，颜色调整单元还可以通过在考虑虚拟光环境的情况下对虚拟对象的颜色进行转换来改变视觉观察颜色。利用该方面的头戴式显示设备，颜色调整单元在考虑虚拟光环境的情况下改变视觉观察颜色。因此，增加了头戴式显示设备中的视觉观察颜色的再现的范围。可以改进用户的便利性。(9)在一个方面的头戴式显示设备中，颜色检测单元可以是用于获取表示外部场景的外部场景图像的摄相机。利用该方面的头戴式显示设备，可以利用普遍的摄相机作为标准功能来检测真实对象颜色。包括在本专利技术的上述各方面中的所有多个部件并不都是必要的。为了解决上述问题中的一部分或全部、或者为了实现本说明书中描述的部分或全部效果，可以对多个部件中的一部分适当地执行改变、删除、用新部件替换以及对限制内容的部分删除。为了解决上述问题的一部分或全部、或者为了实现本说明书中描述的部分或全部效果，还可以将包括在本专利技术的一个方面中的部分或全部技术特征与包括在本专利技术的其它方面中的技术特征进行组合以形成本专利技术的另一个方面。例如，本专利技术的一个方面可以实现为包括四个部件即图像显示单元、增强现实处理单元、颜色检测单元和颜色调整单元中的部分或全部的设备。也就是说，该设备可以包括或者不包括图像显示单元。该设备可以包括或本文档来自技高网...

【技术保护点】
一种头戴式显示设备，用户利用所述头戴式显示设备能够在视觉上识别虚拟图像和外部场景，所述头戴式显示设备包括：图像显示单元，所述图像显示单元被配置成使所述用户在视觉上识别所述虚拟图像；增强现实处理单元，所述增强现实处理单元被配置成使所述图像显示单元形成包括虚拟对象的所述虚拟图像，所述虚拟图像的至少一部分被叠加显示在存在于真实世界中的真实对象上；颜色检测单元，所述颜色检测单元被配置成检测真实对象颜色，所述真实对象颜色是所述真实对象的颜色；以及颜色调整单元，所述颜色调整单元被配置成使用所检测的真实对象颜色来使视觉观察颜色接近目标颜色，所述视觉观察颜色是通过将所述虚拟对象的颜色叠加在所述真实对象颜色上而获得的颜色。

【技术特征摘要】
【国外来华专利技术】2014.10.15 JP 2014-210455;2015.05.15 JP 2015-099841.一种头戴式显示设备，用户利用所述头戴式显示设备能够在视觉上识别虚拟图像和外部场景，所述头戴式显示设备包括：图像显示单元，所述图像显示单元被配置成使所述用户在视觉上识别所述虚拟图像；增强现实处理单元，所述增强现实处理单元被配置成使所述图像显示单元形成包括虚拟对象的所述虚拟图像，所述虚拟图像的至少一部分被叠加显示在存在于真实世界中的真实对象上；颜色检测单元，所述颜色检测单元被配置成检测真实对象颜色，所述真实对象颜色是所述真实对象的颜色；以及颜色调整单元，所述颜色调整单元被配置成使用所检测的真实对象颜色来使视觉观察颜色接近目标颜色，所述视觉观察颜色是通过将所述虚拟对象的颜色叠加在所述真实对象颜色上而获得的颜色。2.根据权利要求1所述的头戴式显示设备，其中，所述颜色调整单元通过调整所述虚拟对象的颜色使得通过对所检测的真实对象颜色和所述虚拟对象的颜色进行加色混合而获得的颜色接近所述目标颜色，使得所述视觉观察颜色接近所述目标颜色。3.根据权利要求1或2所述的头戴式显示设备，其中，所述图像显示单元还能够针对每个像素来改变所述外部场景的透明度，以及所述颜色调整单元通过使所述图像显示单元改变所述外部场景的透明度来使所述视觉观察颜色接近所述目标颜色。4.根据引用权利要求2的权利要求3所述的头戴式显示设备，其中，所述颜色调整单元使所述图像显示单元在所检测的真实对象颜色的色度等于或高于预定色度的情况下改变所述外部场景的透明度，并且在所检测的真实对象颜色的色度低于所述预定色度的情况下调整所述虚拟对象的颜色使得通过对所检测的真实对象颜色和所述虚拟对象的颜色进行加色混...

【专利技术属性】
技术研发人员：山崎明生，
申请(专利权)人：精工爱普生株式会社，
类型：发明
国别省市：日本,JP