信息处理设备、信息处理系统和信息处理方法技术方案

本申请涉及信息处理设备、信息处理系统和信息处理方法。具体地，该信息处理设备包括检测器和命令单元。检测器基于由显示装置拍摄的图像，来检测使用该显示装置的用户的移动，显示装置以与真实空间交叠的方式来显示虚拟空间图像，且具有拍摄功能。命令单元基于检测到的用户的移动，来命令显示装置在输入对象附近的位置处，显示与向输入对象输入的输入信息有关的相关信息，作为虚拟空间图像。

Information Processing Equipment, Information Processing System and Information Processing Method

This application relates to information processing equipment, information processing system and information processing method. Specifically, the information processing device includes a detector and a command unit. The detector detects the movement of the user using the display device based on the image taken by the display device. The display device displays the virtual space image by overlapping with the real space and has the function of shooting. Based on the movement of the detected user, the command unit commands the display device to display the relevant information related to the input information input to the input object at the position near the input object as a virtual space image.

【技术实现步骤摘要】
信息处理设备、信息处理系统和信息处理方法
本专利技术涉及信息处理设备、信息处理系统和信息处理方法。
技术介绍
PCT日本译文专利第2016-506565号公报提出了一种电子装置的示例，其允许实际查看真实世界环境，并且同时向最终用户的视野投射虚拟物体的图像，以便通过使用虚拟物体扩展最终用户感知到的真实世界环境。关于PCT日本译文专利第2016-506565号公报中描述的电子装置，如果被个别识别出的或可识别的属于特定组的特定人存在于头戴式显示(HMD：head-mounteddisplay)装置的视野内，或者如果特定人存在于与HMD装置的特定距离内，则电子装置向使用HMD装置的用户生成并显示扩展的真实环境，其中，可显示与特定人关联的提示。
技术实现思路
本专利技术的目的是，提供可以在输入对象附近的位置处虚拟显示与向输入对象输入的信息有关的信息的信息处理设备、信息处理系统和信息处理方法。根据本专利技术的第一方面，提供了一种包括检测器和命令单元的信息处理设备。所述检测器基于由所述显示装置拍摄的图像，来检测使用显示装置的用户的移动，显示装置以与真实空间交叠的方式来显示虚拟空间图像，且具有拍摄功能。所述命令单元基于检测到的所述用户的移动，来命令所述显示装置在输入对象附近的位置处，显示与向所述输入对象输入的输入信息有关的相关信息，作为所述虚拟空间图像。根据本专利技术的第二方面，在根据第一方面的信息处理设备中，所述相关信息可以是格线(ruledline)。根据本专利技术的第三方面，在根据第二方面的信息处理设备中，所述命令单元可以作出命令，以根据所述输入信息的尺寸改变所述格线。根据本专利技术的第四方面，在根据第一至第三方面中的任意一个方面的信息处理设备，所述检测器可以检测保持写入单元的所述用户的手指或手的移动，写入单元用于向所述输入对象输入所述输入信息，并且所述命令单元可以作出命令，以显示根据所述用户的手指或手的所述移动的所述相关信息。根据本专利技术的第五方面，在根据第一至第四方面中的任意一个方面的信息处理设备中，所述命令单元可以作出命令，以在所述输入对象的表面、前侧处或相邻位置处显示所述相关信息。根据本专利技术的第六方面，在根据第一方面至第五方面中的一个方面的信息处理设备中，所述相关信息可以是支持向所述输入对象输入所述输入信息的信息。根据本专利技术的第七方面，在根据第六方面的信息处理设备中，所述支持信息可以是响应于检测到的、由所述用户在半空中(midair)执行的手写操作的词语候选。根据本专利技术的第八方面，在根据第六方面的信息处理设备中，在所述输入信息包括所述排印错误的情况下，所述支持信息可以是指示排印错误(typographicalerror)的位置的信息。根据本专利技术的第九方面，在根据第一方面至第五方面中的任意一个方面的信息处理设备中，所述相关信息可以是作为与所述输入信息有关的文件列表或网页搜索结果的支持信息。根据本专利技术的第十方面，在根据第一至第九方面的任意一个方面的信息处理设备中，所述命令单元可以作出命令，以在位于所述输入对象前方的位置处，显示所述相关信息，所述相关信息包括所述输入信息，并且所述信息处理设备可以还包括处理器，该处理器基于由所述用户相对于所述输入信息执行的操作来执行处理。根据本专利技术的第十一方面，在根据第一至第十方面中的任意一个方面的信息处理设备中，所述显示装置可以包括声音输入单元，所述信息处理设备可以还包括转换器，该转换器从所述声音输入单元获取的语音提取一部分，并且将所述部分转换成文本，并且所述命令单元可以作出命令以显示所述转换后的文本，作为所述相关信息。根据本专利技术的第十二方面，提供了一种包括显示单元、检测器和命令单元的信息处理系统。所述显示装置以与真实空间交叠的方式来显示虚拟空间图像，并且具有拍摄功能。检测器基于由所述显示装置拍摄的图像，来检测使用所述显示装置的用户的移动。所述命令单元基于检测到的所述用户的移动，来命令所述显示装置在所述输入对象附近的位置处，显示与向所述输入对象输入的输入信息有关的相关信息，作为所述虚拟空间图像。根据本专利技术的第十三方面，提供了一种信息处理方法，该信息处理方法包括如下步骤：基于由所述显示装置拍摄的图像，来检测使用显示装置的用户的移动，显示装置以与真实空间交叠的方式来显示虚拟空间图像，且具有拍摄功能；并且基于检测到的所述用户的移动，来命令所述显示装置在所述输入对象附近的位置处，显示与向输入对象输入的输入信息有关的相关信息，作为所述虚拟空间图像。根据第一、第十二和第十三方面，可以命令显示装置在输入对象附近的位置处虚拟显示与向输入对象输入的信息有关的信息。根据第二方面，可以命令显示装置在输入对象附近视觉显示格线。根据第三方面，可以命令显示装置虚拟显示根据输入信息的尺寸的格线。根据第四方面，可以根据用户的手指或手的移动，来命令显示装置虚拟显示相关信息。根据第五方面，可以命令显示装置在输入对象的表面、前方或附近位置处虚拟显示相关信息。根据第六方面，可以命令显示装置显示支持输入信息的输入的信息。根据第七方面，可以命令显示装置显示响应于检测到的用户在半空中执行的手写操作的词语候选。根据第八方面，在输入信息包括排印错误的情况下，可以命令显示装置显示指示排印错误的位置的信息。根据第九方面，可以命令显示装置显示与输入信息有关的文件列表或网页搜索结果。根据第十方面，可以在用户不直接触摸输入对象的情况下，执行基于用户所执行的操作的处理。根据第十一方面，从参与者的语音提取的文本可以被虚拟显示为相关信息。附图说明将基于以下附图来详细描述本专利技术的示例性实施方式，附图中：图1A例示了根据本专利技术的示例性实施方式的信息处理系统的构造示例，并且图1B是例示了头戴式显示装置的示例的外观图；图2例示了各个HMD装置的控制系统的示例；图3是例示了信息处理设备的控制系统的示例的框图；图4A至图4C例示了虚拟图像的示例，图4A例示了与格线有关的虚拟图像的示例，图4B例示了与格线有关的虚拟图像的示例，格线具有的间隔不同于图4A中所示的格线的间隔，并且图4C例示了与盒形格线有关的虚拟图像的示例；图5是例示了根据本专利技术的示例性实施方式的图像处理设备的操作的流程图；图6例示了支持信息的示例；图7例示了支持信息的示例；图8例示了支持信息的示例；图9例示了支持信息的示例；以及图10例示了相关信息的示例。具体实施方式下面将参照附图来描述本专利技术的示例性实施方式。在附图中，具有大致相同功能的部件给予相同的附图标记，并且将省略其冗余描述。根据本专利技术的示例性实施方式的信息处理设备包括检测器和命令单元。检测器基于由显示装置拍摄的图像，检测使用显示装置的用户的移动，显示装置以要与真实空间交叠的方式显示虚拟空间图像，且具有拍摄功能。命令单元基于检测到的用户的移动，而命令显示装置在输入对象附近的位置处，显示与向输入对象输入的输入信息有关的相关信息，作为虚拟空间图像。术语“显示装置”包括：透光头戴式显示装置，其戴在用户的头上，并且借助该透光头戴式显示装置，用户能够直接查看真实空间(背景)，同时查看作为虚拟空间图像的显示图像；以及便携式信息终端，其以交叠方式在所拍摄的背景图像上显示显示图像，作为虚拟空间图像。透光头戴式显示装置可以是护目镜或眼镜的形式。便携式信息终端可以是头戴本文档来自技高网...

【技术保护点】
1.一种信息处理设备，该信息处理设备包括：检测器，该检测器基于由显示装置拍摄的图像，来检测使用所述显示装置的用户的移动，所述显示装置以与真实空间交叠的方式来显示虚拟空间图像，且具有拍摄功能；以及命令单元，该命令单元基于检测到的所述用户的移动，来命令所述显示装置在输入对象附近的位置处，显示与向所述输入对象输入的输入信息有关的相关信息，作为所述虚拟空间图像。

【技术特征摘要】
2017.09.28 JP 2017-1873051.一种信息处理设备，该信息处理设备包括：检测器，该检测器基于由显示装置拍摄的图像，来检测使用所述显示装置的用户的移动，所述显示装置以与真实空间交叠的方式来显示虚拟空间图像，且具有拍摄功能；以及命令单元，该命令单元基于检测到的所述用户的移动，来命令所述显示装置在输入对象附近的位置处，显示与向所述输入对象输入的输入信息有关的相关信息，作为所述虚拟空间图像。2.根据权利要求1所述的信息处理设备，其中，所述相关信息是格线。3.根据权利要求2所述的信息处理设备，其中，所述命令单元作出命令，以根据所述输入信息的尺寸来改变所述格线。4.根据权利要求1至3中任意一项所述的信息处理设备，其中，所述检测器检测保持写入单元的所述用户的手指或手的移动，所述写入单元用于向所述输入对象输入所述输入信息，并且其中，所述命令单元作出命令，以显示根据所述用户的手指或手的所述移动的所述相关信息。5.根据权利要求1至4中任意一项所述的信息处理设备，其中，所述命令单元作出命令，以在所述输入对象的表面、前侧处或相邻位置处显示所述相关信息。6.根据权利要求1至5中任意一项所述的信息处理设备，其中，所述相关信息是支持向所述输入对象输入所述输入信息的信息。7.根据权利要求6所述的信息处理设备，其中，所述支持信息是响应于检测到的、由所述用户在半空中执行的手写操作的词语候选。8.根据权利要求6所述的信息处理设备，其中，在所述输入信息包括排印错误的情况下，所述支持信息是指示所述排印错误的位置的信息。...

【专利技术属性】
技术研发人员：山浦佑介，稻木誓哉，桥本一成，出云英刚，佐藤忠秋，青木哲平，安冈大辅，梅基宏，
申请(专利权)人：富士施乐株式会社，
类型：发明
国别省市：日本,JP