图像显示装置和图像显示方法制造方法及图纸

提供了配戴在头部和面部上并且用于观看图像的优异的图像显示装置和图像显示方法。当在显示单元(309)上显示诸如电影或计算机图形的虚拟世界的图像时，这个头戴式显示器(100)暂时清除在触摸面板上指定的区域中的图像并且显示通过外部的摄像机(312)拍摄的现实世界的图像。用户通过查看与虚拟世界的图像相混合的现实世界的图像，能够感知现实世界并且与现实世界适当地交互，从而减轻心理抵抗感并且可以避免诸如与现实世界中的实物碰撞造成的身体伤害。

【技术实现步骤摘要】
【国外来华专利技术】
本说明书中公开的技术涉及配戴在用户的头部或面部并用于观看图像的图像显示装置并且涉及图像显示方法。
技术介绍
配戴在头部或面部并用于观看图像的图像显示装置，或者换言之，已知的头戴式显示器。利用头戴式显示器，为左眼和右眼中的每个布置图像显示单元，并且例如由虚拟图像光学系统形成显示图像的放大的虚拟图像，从而使得用户能够观看到身临其境的图像。头戴式显示器是非常流行的。如果大量生产将在未来进一步发展，在头戴式显示器会变得像移动电话、智能手机或手提式游戏机一样普遍，并且每个人都可以拥有他们自己的头戴式显示器。头戴式显示器被配置为在配戴在头部上时直接覆盖用户的眼睛。换言之，头戴式显示器是不透明的，因而在观看图像时增加了身临其境的感觉。虚拟图像光学系统被用于放大和投射显示屏幕，使得用户能够将图像观看为在合适的视角下的放大虚拟图像。此外，如果利用耳机再现多声道音频，则可以再造电影院中的感觉(例如，参见专利文献1)。另一方面，还存在透视头戴式显示器，即使在用户将该装置配戴在他的或她的头部上并且显示图像时，仍可以透过图像看见外界环境(即，透视图像)(例如，参见专利文献2)。无论类型是不透明的还是透视的，头戴式显示器都限制了配戴用户的视觉和听觉。因此，存在关于用户处于与现实世界隔绝并且对外部世界中发生的现象较慢地做出反应的担忧。
技术实现思路
技术问题本说明书中公开的技术的目的是提供配戴在用户的头部或面部并且用于观看图像的优异的图像显示装置以及图像显示方法。问题的解决方案有鉴于上述问题提出本申请，权利要求1中陈述的技术是一种配戴在头部或面部上的图像显示装置，包括：显示单元；现实世界图像获取单元，被配置为获取现实世界(real world)的图像；区域指定单元(region specification unit)，被配置为指定显示该现实世界的图像的区域；以及图像生成单元，被配置为基于指定的该区域将该现实世界的图像混合至虚拟图像(virtual image)中并且生成显示在该显示单元上的图像。根据本申请的权利要求2中所陈述的技术，根据权利要求1该的图像显示装置的显示单元被布置在将该图像显示装置配戴在他或她的头部或面部上的用户的眼睛位置处，并且该图像显示装置进一步包括拍摄该用户的凝视方向(gaze direction，视线方向)的图像的图像拍摄单元。该现实世界图像获取单元获取通过该图像拍摄单元拍摄的该现实世界的图像。根据本申请的权利要求3中所陈述的技术，根据权利要求1该的图像显示装置进一步包括：虚拟世界图像生成单元，被配置为生成虚拟世界的图像；以及区域图像生成单元，被配置为计算与通过该区域指定单元指定的该区域相对应的该现实世界的图像RI和该虚拟世界的图像RV，其中，该图像生成单元通过将虚拟世界渲染结果V的对应区域的图像RV替换为该现实世界的该对应区域的图像RI来生成显示在该显示单元上的图像。根据本申请的权利要求4中所陈述的技术，根据权利要求3的图像显示装置的该区域指定单元基于用户的操作指定显示该现实世界的图像的该区域。根据本申请的权利要求5中所陈述的技术，根据权利要求4的图像显示装置的该图像生成单元基于从该用户执行用于指定该区域的操作时起所经过的时间来控制该现实世界的图像的混合比例(mixture ratio)。根据本申请的权利要求6中所陈述的技术，在从该用户执行用于指定该区域的操作时起经过固定时间之后，根据权利要求5的图像显示装置的图像生成单元将该对应区域从该现实世界的图像RI切换至该虚拟世界的图像RV，或者将该对应区域逐渐恢复到该虚拟世界的图像RV。根据本申请的权利要求7中所陈述的技术，根据权利要求4的图像显示装置进一步包括：输入单元，被配置为接受该用户的输入操作，其中，该区域指定单元基于该用户对该输入单元的操作来指定显示该现实世界的图像的该区域。根据本申请的权利要求8中所陈述的技术，根据权利要求7的图像显示装置的该输入单元是触摸面板，并且该区域指定单元指定与该用户触摸该触摸面板的位置相对应的区域。根据本申请的权利要求9中所陈述的技术，根据权利要求8的图像显示装置的触摸面板被布置在显示单元的显示屏幕的背面。根据本申请的权利要求10中所陈述的技术，根据权利要求4的图像显示装置的区域指定单元被配置为基于该用户的手势操作指定显示该现实世界的图像的区域。根据本申请的权利要求11中所陈述的技术，根据权利要求4的图像显示装置的该区域指定单元根据该用户在该现实世界的图像与该虚拟世界的图像之间的边界上的操作改变显示该现实世界的图像的区域。根据本申请的权利要求12中所陈述的技术，根据权利要求1的图像显示装置进一步包括：实物检测单元(object detection unit)，被配置为检测该现实世界中的实物(object)；以及三维模型计算单元，被配置基于由该现实世界图像获取单元获取的该现实世界的图像生成包括该实物的规定范围(certain range)的三维模型MI，并且还计算与检测到该实物的位置相对应的虚拟空间V的区域RV，其中，该图像生成单元计算该实物的该三维模型MI被放置在虚拟世界的三维模型V的对应区域RV中的三维模型MM，并且进行渲染处理(rendering process)。根据本申请的权利要求13中所陈述的技术，根据权利要求12的图像显示装置的该实物检测单元检测用户的身体的部分或者检测该现实世界中的预先确定的物体(physical body)。根据本申请的权利要求14中所陈述的技术，根据权利要求12的图像显示装置的该实物检测单元检测该现实世界中的距该图像显示装置固定距离以内的物体。根据本申请的权利要求15中所陈述的技术，根据权利要求12的图像显示装置的该图像生成单元基于从该实物检测单元检测到该实物时起所经过的时间来控制该现实世界的图像的混合比例。根据本申请的权利要求16中所陈述的技术，根据权利要求12的图像显示装置的该区域指定单元在该实物的当前位置与该现实世界的该三维模型MI和该虚拟世界V之间的边界重叠的条件下对边界进行操作。本申请的权利要求17中所陈述的技术是一种图像显示方法，包括：获取现实世界的图像的现实世界图像获取步骤；指定显示该现实世界的图像的区域的区域指定步骤；基于指定的该区域将该现实世界的图像混合至虚拟图像中并且生成图像的图像生成步骤；以及将所生成的图像显示在布置于用户的眼睛位置处的显示单元上的显示步骤。本申请的权利要求18中所陈述的技术是一种图像显示方法，包括：获取现实世界的图像的现实世界图像获取步骤；指定显示该现实世界的图像的区域的区域指定步骤；生成虚拟世界的图像的虚拟世界图像生成步骤；计算与在该区域指定步骤中所指定的区域相对应的该现实世界的图像RI和该虚拟世界的图像RV的区域图像生成步骤；通过将虚拟世界渲染结果V的对应区域的图像RV替换成该现实世界的对应区域的图像RI来生成图像的图像生成步骤；以及将所生成的图像显示在布置于用户的眼睛位置处的显示单元上的显示步骤。本申请的权利要求19中所陈述的技术是一种图像显示方法，包括：获取现实世界的图像的现实世界图像获取步骤；检测该现实世界中的实物的实物检测步骤；指定检测到的该实物的虚拟世界的三维模型V的对应区域RV的区域指定步骤；基于由该现实世界图像获取单元获取的本文档来自技高网...

【技术保护点】
一种配戴在头部或面部上的图像显示装置，包括：显示单元；现实世界图像获取单元，被配置为获取现实世界的图像；区域指定单元，被配置为指定显示所述现实世界的图像的区域；以及图像生成单元，被配置为基于指定的所述区域将所述现实世界的图像混合至虚拟图像中并且生成显示在所述显示单元上的图像。

【技术特征摘要】
【国外来华专利技术】2014.01.23 JP 2014-0105821.一种配戴在头部或面部上的图像显示装置，包括：显示单元；现实世界图像获取单元，被配置为获取现实世界的图像；区域指定单元，被配置为指定显示所述现实世界的图像的区域；以及图像生成单元，被配置为基于指定的所述区域将所述现实世界的图像混合至虚拟图像中并且生成显示在所述显示单元上的图像。2.根据权利要求1所述的图像显示装置，其中，所述显示单元被布置在将所述图像显示装置配戴在他或她的头部或面部上的用户的眼睛位置处，所述图像显示装置进一步包括拍摄所述用户的凝视方向的图像的图像拍摄单元，并且所述现实世界图像获取单元获取通过所述图像拍摄单元拍摄的所述现实世界的图像。3.根据权利要求1所述的图像显示装置，进一步包括：虚拟世界图像生成单元，被配置为生成虚拟世界的图像；以及区域图像生成单元，被配置为计算与通过所述区域指定单元指定的所述区域相对应的所述现实世界的图像RI和所述虚拟世界的图像RV，其中，所述图像生成单元通过将虚拟世界渲染结果V的对应区域的图像RV替换为所述现实世界的所述对应区域的图像RI来生成显示在所述显示单元上的图像。4.根据权利要求3所述的图像显示装置，其中，所述区域指定单元基于用户的操作指定显示所述现实世界的图像的所述区域。5.根据权利要求4所述的图像显示装置，其中，所述图像生成单元基于从所述用户执行用于指定所述区域的操作时起所经过的时间来控制所述现实世界的图像的混合比例。6.根据权利要求5所述的图像显示装置，其中，在从所述用户执行用于指定所述区域的操作时起经过固定时间之后，所述图像生成单元将所述对应区域从所述现实世界的图像RI切换至所述虚拟世界的图像RV，或者将所述对应区域逐渐恢复到所述虚拟世界的图像RV。7.根据权利要求4所述的图像显示装置，进一步包括：输入单元，被配置为接受所述用户的输入操作，其中，所述区域指定单元基于所述用户对所述输入单元的操作来指定显示所述现实世界的图像的所述区域。8.根据权利要求7所述的图像显示装置，其中，所述输入单元是触摸面板，并且所述区域指定单元指定与所述用户触摸所述触摸面板的位置相对应的区域。9.根据权利要求8所述的图像显示装置，其中，所述触摸面板被布置在所述显示单元的显示屏幕的背面。10.根据权利要求4所述的图像显示装置，其中，所述区域指定单元基于所述用户的手势操作指定显示所述现实世界的图像的区域。11.根据权利要求4所述的图像显示装置，其中，所述区域指定单元根据所述用户在所述现实世界的图像与所述虚拟世界的图像之间的边界上的操作改变显示所述现实世界的图像的区域。12.根据权利要求1所述...

【专利技术属性】
技术研发人员：山本祐辉，河本献太，今孝安，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP