信息处理设备及其控制方法、介质和头戴式显示器技术

本发明专利技术提供信息处理设备及其控制方法、介质和头戴式显示器。根据本发明专利技术的信息处理设备包括：生成单元，其被配置为生成叠加在由摄像单元拍摄的现实空间的图像上的虚拟空间的图像；以及添加单元，其被配置为向所述虚拟空间的图像添加噪声，其中，所述摄像单元包括用于拍摄所述现实空间的图像的区域和遮光区域，并且所述添加单元基于在所述遮光区域中获取的图像向所述虚拟空间的图像添加噪声。图像向所述虚拟空间的图像添加噪声。图像向所述虚拟空间的图像添加噪声。

【技术实现步骤摘要】
信息处理设备及其控制方法、介质和头戴式显示器


[0001]本专利技术涉及用于混合现实的信息处理设备、信息处理设备的控制方法以及计算机可读介质。

技术介绍

[0002]作为涉及旨在无缝地混合现实空间和虚拟空间的混合现实(MR)的技术，已知使用视频透视型头戴式显示器(HMD)的MR系统。在该系统中，将根据摄像设备的位置姿势生成的计算机图形(CG)图像叠加在由诸如摄像机等的摄像设备拍摄的现实空间图像上，并且经由诸如HMD的显示器等的显示装置观看该图像。
[0003]在使用视频透视型HMD的MR系统中，如果现实空间图像和CG图像在不修改的情况下叠加显示，则图像在视觉上趋于不自然。这是因为与图像质量相关的特性(例如，灰度特性、白平衡、噪声感、分辨率)在现实空间图像和CG图像之间是不同的。
[0004]例如，假设具有不同噪声感的现实空间图像和CG图像(例如，具有噪声的现实空间图像和不具有噪声的CG图像)在不修改的情况下叠加显示。在这种情况下，如图9所示，由于CG图像和CG图像周围的现实空间图像之间的噪声感不同，因此显示具有不自然的噪声感的图像。在日本特开2014
‑
203326中公开了减少这样的不自然感(当现实空间图像和CG图像叠加显示时的不自然噪声感)的技术。
[0005]然而，在现有技术中，诸如在日本特开2014
‑
203326中公开的技术，以预定的固定标准将噪声添加到虚拟空间图像(虚拟空间中的图像：CG图像)。因此，在现有技术中，生成噪声感与现实空间图像(现实空间中的图像)的噪声感不同的虚拟空间图像，并且在一些情况下，可能获取具有不自然噪声感的图像作为当虚拟空间图像叠加在现实空间图像上时创建的图像。

技术实现思路

[0006]本专利技术提供了一种技术，用于生成具有与现实空间的图像匹配的噪声感的虚拟空间的图像，并且获取不具有不自然噪声感的图像作为当虚拟空间的图像叠加在现实空间的图像上时创建的图像。
[0007]本专利技术在其第一方面提供一种信息处理设备，包括：生成单元，其被配置为生成在摄像单元所拍摄的现实空间的图像上叠加的虚拟空间的图像；以及添加单元，其被配置为向所述虚拟空间的图像添加噪声，其中，所述摄像单元包括用于拍摄所述现实空间的图像的区域和遮光区域，以及所述添加单元基于在所述遮光区域中获取的图像，向所述虚拟空间的图像添加噪声。
[0008]本专利技术在其第二方面中提供一种信息处理设备的控制方法，包括：生成在摄像单元所拍摄的现实空间的图像上叠加的虚拟空间的图像；以及向所述虚拟空间的图像添加噪声，其中，所述摄像单元包括用于拍摄所述现实空间的图像的区域和遮光区域，以及基于在所述遮光区域中获取的图像，向所述虚拟空间的图像添加噪声。
[0009]本专利技术在其第三方面提供一种头戴式显示器，包括：所述信息处理设备；以及显示单元，其被配置为将由所述添加单元添加了噪声的虚拟空间的图像叠加在现实空间的图像上并进行显示。
[0010]本专利技术在其第四方面中提供一种计算机可读介质，其存储有程序，所述程序使计算机用作信息处理设备的各个单元。
[0011]通过参考附图对实施例的以下说明，本专利技术的更多特征将变得明显。
附图说明
[0012]图1是描绘根据实施例1的MR系统的配置示例的图；
[0013]图2是描绘根据实施例1的摄像单元的配置示例的图；
[0014]图3是描绘根据实施例1的标记的示例的图；
[0015]图4是描绘根据实施例1和实施例2的CG图像校正单元的配置示例的图；
[0016]图5是描绘根据实施例1和实施例2的噪声特性评价单元的操作示例的流程图；
[0017]图6A和图6B是描绘根据实施例1的像素值和噪声添加量之间的相关关系的示例的图；
[0018]图7是描绘根据实施例2的MR系统的配置示例的图；
[0019]图8是描绘根据实施例2的摄像单元的配置示例的图；以及
[0020]图9是描绘具有不自然感的混合现实图像的示例的图。
具体实施方式
[0021]将参考附图详细描述本专利技术的实施例。下面描述的本专利技术的各个实施例可以单独实现，或者在必要时或者在单个实施例中来自各个实施例的要素或特征的组合是有益的情况下作为多个实施例或其特征的组合来实现。
[0022]在虚拟空间图像(虚拟空间的图像)直接叠加在具有不同噪声感的现实空间图像(现实空间的图像)上的情况下，获取具有不自然噪声感的图像。作为减少这样的不自然感的技术，已经提出了以预定的固定标准向虚拟空间图像添加噪声的技术。
[0023]然而，拍摄现实空间图像的摄像单元的噪声特性具有个体差异，因此现实空间图像的噪声感(噪声特性)在多个图像设备之间变化。此外，可以通过对现实空间图像进行图像处理来改变现实空间图像的噪声感，但是对现实空间图像进行的图像处理在多个摄像设备中并不总是相同的。也由于这个原因，现实空间图像的噪声感在多个摄像设备之间是变化的。因此，在现有技术中，可能生成具有与现实空间图像(现实空间的图像)的噪声感不同的噪声感的虚拟空间图像，并且当虚拟空间图像叠加在现实空间图像上时，可能获取具有不自然的噪声感的图像。
[0024]考虑到上述情况，在以下实施例中，在考虑到摄像单元特有的噪声特性和对现实空间图像进行的摄像处理等的情况下，将噪声添加到虚拟空间图像。由此，可以生成具有与现实空间的图像的噪声感匹配的噪声感的虚拟空间的图像，并且作为结果，当虚拟空间的图像叠加在现实空间的图像上时，可以获取不具有不自然的噪声感的图像。
[0025]实施例1
[0026]将描述本专利技术的实施例1。图1是描绘作为根据实施例1的信息处理系统的混合现
实系统(MR)的配置示例的框图。图1所示的MR系统是使用视频透视型头戴式显示器(HMD)的MR系统。图1中的MR系统通过将作为根据摄像设备(例如，摄像机)的位置/姿势生成的虚拟空间图像的计算机图形(CG)图像叠加在由摄像设备拍摄的现实空间图像上来生成混合现实图像，并且在HMD上显示该混合现实图像，以向用户提供该混合现实图像。混合现实图像的显示是现实空间图像和CG图像的叠加显示。
[0027]如图1所示，实施例1的MR系统包括信息处理设备100和HMD 110。图1中表示的配置是示例，并且例如，信息处理设备100的部分或全部功能可以包括在HMD 110中。
[0028]HMD 110是视频透视型HMD，并且包括摄像单元111和显示单元112。摄像单元111对现实空间进行摄像，获取现实空间图像，并将该现实空间图像发送到信息处理设备100。现实空间图像可以经由线缆通信或经由无线通信从摄像单元111发送到信息处理设备100。显示单元112是用于显示图像的显示器等，并且例如显示从信息处理设备100接收的显示图像。
[0029]图2是描绘摄像单元111的配置示例的框图。
[0030]光学系统201是包括多个透镜和光圈机构的光学系统，并且具体地包括用于聚焦本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信息处理设备，包括：生成单元，其被配置为生成在摄像单元所拍摄的现实空间的图像上叠加的虚拟空间的图像；以及添加单元，其被配置为向所述虚拟空间的图像添加噪声，其中，所述摄像单元包括用于拍摄所述现实空间的图像的区域和遮光区域，以及所述添加单元基于在所述遮光区域中获取的图像，向所述虚拟空间的图像添加噪声。2.根据权利要求1所述的信息处理设备，其中，所述添加单元基于在所述遮光区域中获取的图像和对所述现实空间的图像进行的图像处理，向所述虚拟空间的图像添加噪声。3.根据权利要求2所述的信息处理设备，其中，所述图像处理是降噪、边缘增强和对比度调整其中至少之一。4.根据权利要求1所述的信息处理设备，其中，所述添加单元基于在所述遮光区域中获取的图像和所述摄像单元的温度，向所述虚拟空间的图像添加噪声。5.根据权利要求1所述的信息处理设备，还包括：确定单元，其被配置为基于在所述遮光区域中获取的图像，确定所述虚拟空间的图像的像素值和要添加到所述像素值的噪声量之间的对应关系，其中，所述添加单元根据所述对应关系来向所述虚拟空间的图像添加噪声。6.根据权利要求5所述的信息处理设备，其中，所述像素值和所述噪声量之间的多个对应关系被预先确定，以及所述确定单元基于在所述遮光区域中获取的图像来选择所述多个对应关系中的任一个。7.根据权利要求1所述的信息处理设备，还包括：计算单元，其被配置为使用预定函数以及根据在所述...

【专利技术属性】
技术研发人员：穗积靖，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：