显示系统、用于显示系统的处理方法和存储介质技术方案

本发明专利技术提供了显示系统、用于显示系统的处理方法和存储介质。该显示系统包括：位置姿势获取单元，用于获取基于真实空间图像的第一帧的摄像设备的位置和姿势；生成单元，用于根据基于真实空间图像的第一帧的摄像设备的位置和姿势来生成虚拟空间图像的第一帧；第一图像合成单元，用于将与真实空间图像的第一帧不同的帧与虚拟空间图像的第一帧进行合成；以及第二图像合成单元，用于将真实空间图像的第一帧与虚拟空间图像的第一帧进行合成。与虚拟空间图像的第一帧进行合成。与虚拟空间图像的第一帧进行合成。

【技术实现步骤摘要】
显示系统、用于显示系统的处理方法和存储介质


[0001]本公开涉及用于显示混合现实空间图像的显示系统和用于显示系统的处理方法。

技术介绍

[0002]近年来，作为实时将真实和虚拟世界进行无缝合成的技术，开发了混合现实(MR)系统。根据混合现实系统，对象可以作为计算机图形(CG)图像以叠加的方式显示在真实世界上。然后，可以从自由视点观看该对象。
[0003]作为视频图像显示设备其中之一，混合现实系统使用集成了显示器以及诸如摄像机等的摄像设备的头戴式显示器(以下称为“HMD”)。HMD的一个类型是视频透视系统。该系统以叠加方式在由HMD中所安装的摄像设备拍摄的真实空间图像上显示根据HMD的位置和姿势所生成的虚拟空间图像。虚拟空间图像的示例包括使用计算机图形(CG)生成的虚拟物体和字符信息。
[0004]在制造业的设计工艺中，经常召开与许多成员的小组审查会议。对于使用混合现实系统的审查会议，除了HMD之外，该系统还包括诸如平板电脑等的手持信息终端，使得成员可以体验混合现实空间(将虚拟空间和真实空间进行合成的空间)。该系统同时将HMD佩戴者所看到的混合现实空间图像分发给其他HMD和平板电脑画面以显示图像。结果，多个成员可以同时分享HMD佩戴者的视野并参与设计和审查。
[0005]当生成虚拟空间图像时，由于HMD位置和姿势的计算以及根据位置和姿势对CG的渲染，在显示基于当前HMD位置和姿势的图像时出现延迟。如果延迟在MR中较长，用户可能会由于他们自己的移动和所显示的图像之间的差异而感到不适，这可能会导致晕动病。为此，即使延迟量与虚拟空间图像的延迟量不同，也可以以最小的延迟显示真实空间图像。
[0006]日本特开2008
‑
299669描述了如下技术：在生成虚拟空间图像之后重新获取HMD的位置和姿势，根据与生成虚拟空间图像时所使用的位置和姿势的差使所生成的虚拟空间图像移位，并显示图像。因此，虚拟空间图像的延迟看起来是短的。
[0007]然而，当HMD佩戴者看到的混合现实空间图像被分发和显示时，在共享图像的目的地处，共享图像的移动不反映观看者自身的移动。因此，由直到HMD佩戴者的移动被反映为止的延迟所引起的不适感小，并且更多地感觉到由真实空间图像与虚拟空间图像之间的延迟差所引起的不适感。

技术实现思路

[0008]因此，本公开提供了如下显示系统，所述显示系统用于显示真实空间图像的延迟量小的混合现实空间图像以及真实空间图像的延迟量与虚拟空间图像的延迟量相同的混合现实空间图像。
[0009]根据本公开的方面，一种显示系统包括：位置姿势获取单元，其被配置为基于所拍摄的真实空间图像来获取摄像设备的位置和姿势；生成单元，其被配置为基于所述位置和姿势来生成虚拟空间图像；第一图像合成单元，其被配置为生成通过将所拍摄的真实空间
图像与所生成的虚拟空间图像进行合成所获得的第一混合现实空间图像；以及第二图像合成单元，其被配置为生成通过将所拍摄的真实空间图像与所生成的虚拟空间图像进行合成所获得的第二混合现实空间图像，其中，所述位置姿势获取单元获取基于所拍摄的真实空间图像的第一帧的所述摄像设备的位置和姿势，其中，所述生成单元基于所拍摄的真实空间图像的第一帧中的所述摄像设备的位置和姿势，来生成所生成的虚拟空间图像的第一帧，其中，所述第一图像合成单元将与所拍摄的真实空间图像的第一帧不同的帧与所生成的虚拟空间图像的第一帧进行合成，以及其中，所述第二图像合成单元将所拍摄的真实空间图像的第一帧与所生成的虚拟空间图像的第一帧进行合成。
[0010]根据以下参照附图对示例性实施例的描述，本公开的其他特征将变得明显。
附图说明
[0011]图1示出了显示系统的配置示例。
[0012]图2是显示系统的功能配置示例的框图。
[0013]图3是HMD所进行的处理的示例的流程图。
[0014]图4是显示设备所进行的处理的示例的流程图。
[0015]图5是示出图像延迟的图。
[0016]图6是HMD的功能配置示例的框图。
[0017]图7是示出HMD所进行的处理示例的流程图。
具体实施方式
[0018]第一实施例
[0019]下文参照附图对实施例进行了详细描述。图1示出了根据第一实施例的显示系统500的配置示例。显示系统500包括头戴式显示器(HMD)100、显示设备200和计算机图形(CG)数据管理服务器300。HMD 100是头戴式显示设备的示例，并且是在将HMD 100佩戴在头上的用户的眼睛的正前方显示通过将真实空间图像与虚拟空间图像进行合成而获得的混合现实空间图像的装置。CG数据管理服务器300是保持构建虚拟空间所需的CG数据的设备。HMD 100和显示设备200经由网络来访问CG数据管理服务器300，获取虚拟现实空间的CG数据，生成虚拟现实空间图像，将所生成的图像与真实空间图像进行合成，并显示虚拟现实空间图像。
[0020]HMD 100和显示设备200可经由网络彼此通信。HMD 100可以将HMD 100所拍摄的真实空间图像与用于生成虚拟空间的信息传送到显示设备200。显示设备200使用所传送的信息来生成混合现实空间图像，使得HMD 100的佩戴者的视野可以被共享并显示在显示设备200上。
[0021]HMD 100可以是包括与诸如个人电脑(PC)等的图像处理装置分开的头戴式部分的系统。可替代地，HMD 100可以是在显示器上显示当装置(例如，智能电话)正被手握持的同时所拍摄的真实空间图像的设备。
[0022]显示设备200可以是HMD或可以是诸如PC或平板电脑等的能够将真实空间图像与虚拟空间图像进行合成并显示合成图像的终端。
[0023]此外，可设置多个显示设备200，并且所有显示设备200可共享来自HMD 100的图
像。
[0024]HMD 100和显示设备200可位于HMD 100和显示设备200的用户可直接看到彼此的相同空间中，或可位于彼此远离的HMD 100和显示设备200的用户不能直接看到彼此的地方。CG数据管理服务器300可以集成到HMD 100中。
[0025]根据本实施例，HMD 100拍摄真实空间图像，并计算HMD 100的位置和姿势。此后，HMD 100使用从CG数据管理服务器300获取的CG数据，并生成虚拟空间图像，使得虚拟空间图像看起来像从计算出的位置和姿势观看到的图像。随后，HMD 100生成通过将所拍摄的真实空间图像与所生成的虚拟空间图像进行合成而获得的混合现实空间图像。然后，HMD 100在HMD 100的显示单元上显示所生成的混合现实空间图像，并将所拍摄的真实空间图像和HMD 100的位置和姿势发送到显示设备200。
[0026]通过使用从CG数据管理服务器300获取的CG数据，显示设备200生成虚拟空间图像，使得该图像可以是从所接收的HMD 100的位置和姿势观看到的图像。此后，显示设备200将虚拟空间图像与所接收的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种显示系统，包括：位置姿势获取单元，其被配置为基于所拍摄的真实空间图像来获取摄像设备的位置和姿势；生成单元，其被配置为基于所述位置和姿势来生成虚拟空间图像；第一图像合成单元，其被配置为生成通过将所拍摄的真实空间图像与所生成的虚拟空间图像进行合成所获得的第一混合现实空间图像；以及第二图像合成单元，其被配置为生成通过将所拍摄的真实空间图像与所生成的虚拟空间图像进行合成所获得的第二混合现实空间图像，其中，所述位置姿势获取单元获取基于所拍摄的真实空间图像的第一帧的所述摄像设备的位置和姿势，其中，所述生成单元基于所拍摄的真实空间图像的第一帧中的所述摄像设备的位置和姿势，来生成所生成的虚拟空间图像的第一帧，其中，所述第一图像合成单元将与所拍摄的真实空间图像的第一帧不同的帧与所生成的虚拟空间图像的第一帧进行合成，以及其中，所述第二图像合成单元将所拍摄的真实空间图像的第一帧与所生成的虚拟空间图像的第一帧进行合成。2.根据权利要求1所述的显示系统，其中，所述显示系统包括摄像设备和显示设备，所述摄像设备包括显示单元和被配置为拍摄所拍摄的真实空间图像的摄像单元，其中，所述摄像设备包括：第一位置姿势获取单元，其被配置为基于所述真实空间图像来获取所述摄像设备的位置和姿势，第一生成单元，其被配置为基于所述摄像设备的位置和姿势来生成第一虚拟空间图像，所述第一图像合成单元，其被配置为通过将所述真实空间图像与所述第一虚拟空间图像进行合成来生成第一混合现实空间图像，并显示所述第一混合现实空间图像，以及第一通信单元，其被配置为至少将所述真实空间图像发送到所述显示设备，其中，所述第一位置姿势获取单元获取基于所述真实空间图像的第一帧的所述摄像设备的位置和姿势，其中，所述第一生成单元根据基于所述真实空间图像的第一帧的所述摄像设备的位置和姿势，来生成所述第一虚拟空间图像的第一帧，以及其中，所述第一图像合成单元将与所述真实空间图像的第一帧不同的帧与所述第一虚拟空间图像的第一帧进行合成。3.根据权利要求2所述的显示系统，其中，所述显示设备包括：第二通信单元，其被配置为从所述摄像设备接收所拍摄的真实空间图像，第二生成单元，其被配置为基于所述摄像设备的位置和姿势来生成第二虚拟空间图像，以及所述第二图像合成单元，其被配置为通过将接收到的所拍摄的真实空间图像与所生成的第二虚拟空间图像进行合成来生成第二混合现实空间图像，并显示所述第二混合现实空
间图像，其中，所述第二生成单元根据基于所述真实空间图像的第一帧的所述摄像设备的位置和姿势，来生成所述第二虚拟空间图像的第一帧，以及其中，所述第二图像合成单元将所拍摄的真实空间图像的第一帧与所生成的第二虚拟空间图像的第一帧进行合成。4.根据权利要求3所述的显示系统，其中，所述第一通信单元向所述显示设备发送所拍摄的真实空间图像的第一帧以及基于所拍摄的真实空间图像的第一帧的所述摄像设备的位置和姿势，其中，所述第二通信单元从所述摄像设备接收所拍摄的真实空间图像的第一帧以及基于所拍摄的真实空间图像的第一帧的所述摄像设备的位置和姿势，以及其中，所述第二生成单元根据所述第二通信单元所接收的基于所述真实空间图像的第一帧的所述摄像设备的位置和姿势，来生成所述第二虚拟空间图像的第一帧。5.根据权利要求3所述的显示系统，其中，所述显示设备包括第二位置姿势获取单元，所述第二位置姿势获取单元被配置为基于所述第二通信单元所接收的真实空间图像的第一帧来获取基于所拍摄的真实空间图像的第一帧的所述摄像设备的位置和姿势，以及其中，所述第二生成单元根据所述第二位置姿势获取单元所获取的基于所拍摄的真实空间图像的第一帧的所述摄像设备的位置和姿势，来生成所述第二虚拟空间图像的第一帧。6.根据权利要求1所述的显示系统，其中，所述第一图像合成单元将所拍摄的真实空间图像的第一帧之后的第二帧与所述虚拟空间图像的第一帧进行合成。7.根据权利要求6所述的显示系统，其中，所述真实空间图像的第二帧是所述真实空间图像的最新帧。8.根据权利要求3所述的显示系统，其中，所述第一位置姿势获取单元获取所述真实空间图像的第一帧的拍摄时的所述摄像设备的位置和姿势，其中，所述第一生成单元基于所述真实空间图像的第一帧的拍摄时的所述摄像设备的位置和姿势，来生成所述第一虚拟空间图像的第一帧，以及其中，所述第二生成单元基于所述真实空间图像的第一帧的拍摄时的所述摄像设备的位置和姿势，来生成所述第二虚拟空间图像的第一帧。9.根据权利要求4所述的显示系统，其中，所述第一位置姿势获取单元基于所述真实空间图像的第一帧，来获取所述真实空间图像的第一帧的拍摄时的所述摄像设备的位置和姿势，其中，所述第一生成单元基于所述真实空间图像的第一帧的拍摄时的所述摄像设备的位置和姿势，来生成所述第一虚拟空间图像的第一帧，其中，所述第一通信单元向所述显示设备发送所拍摄的真实空间图像的第一帧以及所拍摄的真实空间图像的第一帧的拍摄时的所述摄像设备的位置和姿势，其中，所述第二通信单元从所述摄像设备接收所拍摄的真实空间图像的第一帧以及所述真实空间图像的第一帧的拍摄时的所述摄像设备的位置和姿势，以及其中，所述第二生成单元基于接收到的所拍摄的真实空间图像的第一帧的拍摄时的所述摄像设备的位置和姿势，来生成所述第二虚拟空间图像的第一帧。
10.根据权利要求5所述的显示系统，其中，所述第一位置姿势获取单元基于所述真实空间图像的第一帧，来获取所述真实空间图像的第一帧的拍摄时的所述摄像设备的位置和姿势，其中，所述第一生成单元基于所拍摄的真实空间图像的第一帧的拍摄时的所述摄像设备的位置和姿势，来生成所述第一虚拟空间图像的第一帧，其中，所述第二位置姿势获取单元基于接收到的真实空间图像的第一帧，来获取所述真实空间图像的第一帧的拍摄时的所述摄像设备的位置和姿势，以及其中，所述第二生成单元基于获取到的所拍摄的真实空间图像的第一帧的拍摄时的所述摄像设备的位置...

【专利技术属性】
技术研发人员：池西俊介，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：