信息处理装置和图像生成方法制造方法及图纸

一种信息处理装置10根据在第一时间点识别的头戴式显示器(HMD)100的第一姿势来生成包括要呈现给用户的信息的参考图像。基于在第一姿势与在第一时间点之后的第二时间点识别的HMD 100的第二姿势之间的差别，信息处理装置10从所述参考图像生成要显示在HMD 100上的显示图像。在生成显示图像时，对应于由HMD 100显示图像的显示中特定像素的显示时间的滞后，信息处理装置10增加在显示图像中的特定像素的位置基于其设置特定像素的像素值的参考图像中的对应像素的位置之间的改变量。

Information processing device and image generation method

An information processing device 10 generates a reference image including information to be presented to the user according to the first posture of the head wearing display (HMD) 100 identified at the first point of time. Based on the difference between the second positions of the HMD 100 identified by the first pose and the second time point after the first time point, the information processing device 10 generates a display image to be displayed on the HMD 100 from the reference image. When the display image is generated, the information processing device 10 increases the amount of change between the position of the position of the corresponding pixel in the reference image of the pixel value of the display image based on the location of the specific pixel in the display image, corresponding to the lag of the display time of the specific pixel in the display of the image displayed by the HMD 100.

【技术实现步骤摘要】
【国外来华专利技术】信息处理装置和图像生成方法
本专利技术涉及用于生成要显示在头戴显示器上的图像的技术。
技术介绍
头戴显示器(以下也称为HMD)穿戴在用户头部以向用户提供虚拟现实(VR)世界。近年来，已经存在允许用户在观看HMD上显示的屏幕的同时玩视频游戏的应用。现有的非便携式显示设备(如电视机)让用户在屏幕范围外查看扩展的视野范围。这可能会阻止用户集中精力在屏幕上或者获得沉浸在正在进行的游戏中的感觉。相比之下，穿戴HMD使得用户能够体验更高的沉浸在虚拟世界中的感觉，从而提升视频游戏的娱乐性。如果HMD被配置为具有以与用户头部的姿势相关联的方式更新显示器屏幕的头部追踪功能，则沉浸在视觉世界中的感觉被进一步增强。近年来已经目睹了捕获全方位360度全景照片的全方位照相机(360度照相机)的广泛使用。此外，正在开发能够被遥控驾驶的无人飞行物体。安装在这种飞行物体上的多台相机能够从空中捕获全方位全景照片。如果在HMD上显示以这种方式捕获的全方位全景照片，并且如果用于显示的屏幕以与用户头部的姿势相关联的方式被更新，则穿戴HMD的用户预期将体验几乎在现实世界中的感觉。[引文列表][专利文献][专利文献1]JP2015-95045A
技术实现思路
技术问题从检测到HMD的姿势到显示反映检测的姿势的图像为止需要一段时间。为此，在用作显示图像的基础的HMD的姿势与实际显示的图像之间的时间上出现少许不一致。该不一致可能会给观看HMD上显示的图像的用户带来不适感。例如，已经提出，在基于检测的HMD的姿势生成第一图像之后，基于新检测的HMD的姿势，通过诸如仿射变换的变换来生成并显示第二图像。所提出的技术减少了用户观看显示在HMD上的图像所感受到的不适感。然而，HMD可能不会同时显示显示目标图像的所有像素。HMD可被配置为在显示图像中的其他区域的像素之前首先显示该显示目标图像中的一些区域的像素。例如，该显示目标图像的像素可从顶扫描线向下依次显示。在这种情况下，HMD的姿势可从图像中像素的显示开始时改变，直到该图像被完全显示。因此，显示在HMD上的图像可能给用户带来不适感。鉴于上述情况设计了本专利技术。因此，本专利技术的目的在于提供用于实现适合于HMD的显示控制的技术。问题的解决方案在解决上述问题时，根据本专利技术的一个方面，提供了一种信息处理装置，包括：检测部分，被配置为检测穿戴在用户头部上的头戴显示器的姿势；参考图像生成部分，被配置为根据由所述检测部分在第一时间点的检测结果识别的所述头戴显示器的第一姿势，生成包括向用户呈现的信息的参考图像；和显示图像生成部分，被配置为根据第一姿势和由所述检测部分在第一时间点之后的第二时间点的检测结果识别的所述头戴显示器的第二姿势之间的差别，来从所述参考图像生成要显示在所述头戴显示器上的显示图像。在将所述显示图像显示在头戴显示器的显示部分上期间用于显示所述显示图像的特定像素的时间越晚，由所述显示图像生成部分在所述显示图像中的特定像素的位置与用作设置所述特定像素的像素值的源的参考图像中的对应像素的位置之间做出的位移量越大。根据本专利技术的另一方面，提供了一种图像生成方法，用于使计算机执行以下步骤，包括：检测穿戴在用户头部上的头戴显示器的姿势；根据由所述检测部分在第一时间点的检测结果识别的所述头戴显示器的第一姿势，生成包括向用户呈现的信息的参考图像；和根据第一姿势和在第一时间点之后的第二时间点的检测结果识别的所述头戴显示器的第二姿势之间的差别，来从所述参考图像生成要显示在所述头戴显示器上的显示图像。在将所述显示图像显示在头戴显示器的显示部分上期间显示所述显示图像的特定像素的时间越晚，在显示图像生成部分中在所述显示图像中的所述特定像素的位置与用作设置所述特定像素的像素值的源的参考图像中的对应像素的位置之间做出的位移量越大。顺便提及，如果上述构成要素的其他组合或本专利技术的上述表述在诸如系统、具有记录在其上的可读计算机程序的记录介质和数据结构的不同形式之间转换，则它们仍然构成本专利技术的有效实施例。专利技术的有益效果根据本专利技术，提供了用于实现适合于HMD的显示控制的技术。附图说明图1是示出体现本专利技术的信息处理系统的典型配置的示意图。图2是解释由信息处理装置执行的渲染处理的说明图。图3是示出HMD的典型外部形状的示意图。图4是示出HMD的功能块的框图。图5是示出信息处理装置的功能块的框图。图6是说明存储在图像存储部分中的全景图像数据的说明图。图7是示出显示图像的示意图。图8是示出另一显示图像的示意图。图9是示出另一显示图像的示意图。图10是示意性地示出由普通HMD系统执行的图像生成和显示的流程的示意图。图11是示意性地示出涉及重投影的图像生成和显示的流程的示意图。图12是示出重投影之前和之后的典型图像的一组示意图。图13是示意性地示出简化的重投影的一组示意图。图14是示意性地示出由该实施例执行的重投影的一组示意图。图15是示出图5中的图像生成部分的细节的框图。图16是示意性地示出识别对应像素的方法的一组示意图。图17是示意性地示出识别对应像素的另一方法的一组示意图。图18是示意性地示出识别对应像素的另一方法的一组示意图。具体实施方式(第一实施例)图1示出作为本专利技术的一个实施例的信息处理系统1的典型配置。信息处理系统1包括信息处理装置10、穿戴在用户头部上的头戴式显示设备(HMD)100、由用户用指尖操作的输入设备6、用于对穿戴HMD100的用户成像的成像设备7和用于显示图像的输出设备4。在该实施例中，信息处理装置10包括处理设备12和输出控制设备14。处理设备12是响应于来自用户操作的输入设备6的操作信息而执行包括游戏的各种应用的终端设备。处理设备12和输入设备6可通过线缆或通过已知的无线通信技术彼此连接。输出控制设备14是将图像数据输出到HMD100的处理单元。输出控制设备14和HMD100可通过线缆或通过已知的无线通信技术彼此连接。成像设备7捕获穿戴HMD100的用户的图像并将捕获的图像馈送给处理设备12。成像设备7可以是立体相机。如稍后将讨论的，HMD100配备有允许追踪用户头部的标记(用于追踪的发光二极管(LED))。根据捕获的标记位置，处理设备12检测HMD100的移动。HMD100还设置有姿势传感器(加速度传感器和陀螺仪传感器)。处理设备12从HMD100获取由姿势传感器检测的传感器信息，通过联合使用传感器信息和捕获的标记图像来实现高精度的追踪处理。输出设备4的安装对于信息处理系统1不是强制性的，因为用户观看显示在HMD100上的图像。然而，输出控制设备14或处理设备12可使输出设备4输出与显示在HMD100上的相同图像。这允许另一用户在输出设备4上观看由用户在HMD100上观看的图像。如稍后将描述的，显示在HMD100上的图像针对光学镜头畸变被校正。这需要使得输出设备4输出未校正畸变的图像。在信息处理系统1中，处理设备12、输出设备4、输入设备6和成像设备7可构成传统的游戏系统。在这种情况下，处理设备12可以是执行诸如视频游戏的应用的游戏设备，并且输入设备6可以是游戏控制器、键盘、鼠标、操纵杆或用于向处理设备12提供来自用户的操作信息的一些其他合适的设备。通过向该游戏系统补充作为附加部件的输出控制设备14和HMD100组成执行虚本文档来自技高网...

【技术保护点】
1.一种信息处理装置，包括：检测部分，被配置为检测穿戴在用户头部上的头戴显示器的姿势；参考图像生成部分，被配置为根据由所述检测部分在第一时间点的检测结果识别的所述头戴显示器的第一姿势，生成包括向用户呈现的信息的参考图像；和显示图像生成部分，被配置为根据所述第一姿势与由所述检测部分在所述第一时间点之后的第二时间点的检测结果识别的所述头戴显示器的第二姿势之间的差别，从所述参考图像生成要显示在所述头戴显示器上的显示图像，其中，在将所述显示图像显示在所述头戴显示器的显示部分上期间，用于显示所述显示图像的特定像素的时刻越晚，由所述显示图像生成部分在所述显示图像中的所述特定像素的位置与所述参考图像中的对应像素之间做出的位移量越大，所述参考图像用作从其设置所述特定像素的像素值的源。

【技术特征摘要】
【国外来华专利技术】2015.11.20 JP 2015-2281211.一种信息处理装置，包括：检测部分，被配置为检测穿戴在用户头部上的头戴显示器的姿势；参考图像生成部分，被配置为根据由所述检测部分在第一时间点的检测结果识别的所述头戴显示器的第一姿势，生成包括向用户呈现的信息的参考图像；和显示图像生成部分，被配置为根据所述第一姿势与由所述检测部分在所述第一时间点之后的第二时间点的检测结果识别的所述头戴显示器的第二姿势之间的差别，从所述参考图像生成要显示在所述头戴显示器上的显示图像，其中，在将所述显示图像显示在所述头戴显示器的显示部分上期间，用于显示所述显示图像的特定像素的时刻越晚，由所述显示图像生成部分在所述显示图像中的所述特定像素的位置与所述参考图像中的对应像素之间做出的位移量越大，所述参考图像用作从其设置所述特定像素的像素值的源。2.根据权利要求1所述的信息处理装置，其中，由所述显示图像生成部分生成的所述显示图像从所述显示部分的一端的扫描线到所述显示部分的另一端的扫描线依次显示，并且显示所述特定图像的扫描线离所述另一端越近，所述显示图像生成部分做出的位移量越大。3.根据权利要求2所述的信息处理装置，还包括：对应像素识别部分，被配置为基于所述第一姿势和所述第二姿势之间的差别以及所述显示部分显示所述图像所需的时间两者，识别第一像素为在所述显示部分的所述一端的扫描线上显示所述图像的时间点的对应像素，所述对应像素识别部分还识别第二像素为在所述显示部分的所述另一端的扫描线上显示所述图像的时间点的对应像素，其中，根据实际显示所述特定像素的扫描线的位置，所述对应像素识别部分在所述第一像素和所述第二像素之间识别与所述特定像素对应的实际对应像素。4.根据权利要求2所述的信息处理装置，还包括：预测部分，被配置为根据由所述检测部分在所述第一时间点的检测结果，将所述图像显示在所述显示部分的中心扫描线上的时间点的所述头戴显示器的姿势预测为所述第一姿势，所述预测部分还根据由所述检测部分在第二时间点的检测结果，将所述图像显示在所述显示部分的中心扫描线上的时间点的所述头戴显示器的姿势预测为所述第二姿势；和对应像素识别部分，其中，所述参考图像生成部分根据由所述预测部分预测的所述第一姿势生成所述参考图像，根据所述第一姿势和所述第二姿势之间的差别，所述对应像素识别部分识别临时对应像素为所述图像显示在所述显示部分的中心扫描线上的时间点的所述对应像素，并且当所述特定像素实际显示的扫描线位于经过所述显示部分的中心的所述另一端的一侧时，所述对应像素识别部分以如下方式识别所述实际对应像素，所述显示图像中的所述特定像素的位置与所述参考图像中的所述实际对应像...

【专利技术属性】
技术研发人员：山本孝，池田贵一，滝泽笃史，横田健一郎，
申请(专利权)人：索尼互动娱乐股份有限公司，
类型：发明
国别省市：日本,JP