图像生成装置和图像生成方法制造方法及图纸

全景图像处理单元(750)生成宽视角图像，诸如从给定视点可见的全景图像。图像转换单元(780)将所生成的宽视角图像转换为传输格式，其中，根据面向的视点的光线方向调整作为以视点为中心的每单位角度的像素数量的角分辨率。图像提供单元(770)向头戴式显示器(100)以其角分辨率已被调整的传输格式传输图像。头戴式显示器(100)通过对接收的图像进行转换来显示接收的图像，以符合设备的光学特性。

【技术实现步骤摘要】
【国外来华专利技术】图像生成装置和图像生成方法
本专利技术涉及用于生成宽视角图像的装置和方法。
技术介绍
实践中连接到游戏机的HMD(头戴式显示器)单元安放在用户的头上，以允许用户操作控制器等来玩游戏，同时观看在头戴式显示单元上显示的屏幕图像。在连接到游戏机的普通静态型显示单元中，用户的视场范围也扩展到显示单元的屏幕图像的外部侧，并且因此用户可能没有集中于显示单元的屏幕图像上，或者有时缺乏游戏中的沉浸式体验。在这点上，在头戴式显示单元安放在用户上时，因为用户除了在头戴式显示单元上显示的视频外不能观看任何其他，所以存在增强视频世界中的沉浸式体验并且进一步增强游戏的娱乐价值的效果。此外，如果在头戴式显示单元上显示全景图像，使得如果穿戴头戴式显示单元的用户旋转头部，那么显示全景图像或虚拟空间超过360度，那么进一步增强视频中的沉浸式体验，并且还改善诸如游戏的应用的可操作性。
技术实现思路
[技术问题]在显示宽视角的图像的头戴式显示设备中，因为物理上难以实现通过其完全移除设备中诸如透镜的光学系统的畸变的配置，所以设备中图像显示单元的每个像素的显示位置与通过光学系统的观看者的显示位置之间的对应关系常常变为非线性。特别地，因为上述对应关系由于光学系统的特性中的差别而在不同的头戴式显示设备之间不同，所以为了生成适于每个独立的头戴式显示单元的图像，需要不同设备之间不同的图像转换。目前，采用这样的系统，其中诸如游戏机或个人计算机的图像生成装置侧以适于头戴式显示设备的特性的格式生成图像，并且将生成的图像传送到头戴式显示单元。然而，在描述的系统的情况下，随着今后头戴式显示设备的类型的数目增加，变得需要图像生成装置侧分别根据每个独立的头戴式显示单元生成图像，并且变得难以处理。尽管目前存在提供头戴式显示单元的若干厂商，但是因为不存在各头戴式显示单元公共的图像传输格式，目前的情况是必须根据每个独立的头戴式显示设备的特性生成图像。另一方面，如果照原样压缩并且传输诸如由图像生成装置侧生成的全景图像的宽视角图像，然后根据光学特性转换并且由头戴式显示单元侧显示，那么取决于向视点进行的光线的方向在角分辨率中出现偏差，并且在图像的中心区域中明显画面质量劣化。这是当以宽视角观看其分辨率在整体屏幕图像上均匀的图像时出现的现象，并且可能不但对于头戴式显示单元而且对于水平延长或垂直延长型的显示单元成为问题。已经鉴于上述这种问题做出本专利技术，并且本专利技术的目的是提供一种图像生成装置和图像生成方法，其能够生成适于由头戴式显示单元等显示的宽视角图像。[对于问题的解决方案]为了解决上述问题，根据本专利技术的一个方面的图像生成装置包括：图像生成单元，被配置为生成从给定视点观看的图像；以及图像转换单元，被配置为将所生成的图像转换为传输格式的图像，其中响应于朝向所述视点的光线方向，调整作为以所述视点为中心的每单位角度的像素的数量的角分辨率。本专利技术的另一方面是一种图像生成装置。该装置包括：光线跟踪单元，被配置为沿相反方向跟踪指向给定视点的光线以渲染图像。所述光线跟踪单元以传输格式生成图像，其中，响应于朝向所述视点的光线方向，调整作为以所述视点为中心的每单位角度的像素的数量的角分辨率。本专利技术的另一方面是一种图像生成方法。该方法包括：图像生成步骤，生成从给定视点观看的图像；以及图像转换步骤，将所生成的图像转换为传输格式的图像，其中响应于朝向所述视点的光线方向，调整作为以所述视点为中心的每单位角度的像素的数量的角分辨率。本专利技术的又一方面是一种图像生成方法。该方法包括：光线跟踪步骤，沿相反方向跟踪进入给定视点的光线以渲染图像。所述光线跟踪步骤以传输格式生成图像，其中，响应于朝向所述视点的光线方向，调整作为以所述视点为中心的每单位角度的像素的数量的角分辨率。应当注意，上述组件的任意组合和在方法，设备，系统，计算机程序，数据结构，记录介质等之间转换本专利技术的表示的结果作为本专利技术的方式是有效的。[专利技术的有益效果]根据本专利技术，可以生成适于在头戴式显示单元等上显示的宽视角图像。附图说明图1是头戴式显示单元的外观视图。图2是头戴式显示单元的功能框图。图3是描绘根据实施例的全景图像生成系统的配置的视图。图4是根据实施例的全景图像生成装置的功能框图。图5是图示在显示平面上显示的图像的角分辨率的视图。图6A是图示在朝向视点的光线方向与显示平面上的像素之间的位置上的关系的视图。图6B是图示图像格式的视图，其中布置像素使得角分辨率均匀而不管朝向视点的光线方向。图7A是图示标准化格式的视图，其中角分辨率均匀而不管朝向视点的光线方向。图7B是图示标准化格式的视图，其中角分辨率均匀而不管朝向视点的光线方向。图8A是图示标准化格式的不同示例的视图，其中角分辨率均匀而不管朝向视点的光线方向。图8B是图示标准化格式的不同示例的视图，其中角分辨率均匀而不管朝向视点的光线方向。图9是图示通过本实施例的全景图像生成系统的图像生成和图像传输的过程的序列图。图10是描绘由图4的全景图像处理单元生成的全景图像的示例的视图。图11(a)和11(b)是图示用于比较的情况的视图，其中图10的全景图像以普通传输格式传送到头戴式显示单元并且由头戴式显示单元再现。图12(a)和12(b)是图示这样的情况的视图，其中图10的全景图像以本实施例的宽视角图像传输格式传送到头戴式显示单元并且由头戴式显示单元再现。具体实施方式图1是头戴式显示单元100的外观视图。头戴式显示单元100包括主体单元110、前头部接触单元120和侧头部接触单元130。头戴式显示单元100是安装在用户头部上使得用户欣赏显示在显示单元上的静止画面或运动画面并且收听从耳机输出的声音、音乐等的显示装置。用户的位置信息可以通过诸如内置在或外部安装在头戴式显示单元100上的GPS(全球定位系统)装置的位置传感器来测量。此外，姿态信息(例如穿戴头戴式显示单元100的用户的头部的旋转角度或倾斜)可以通过内置在或外部安装在头戴式显示单元100上的姿态传感器来测量。主体单元110包括显示单元、位置信息获取传感器、姿态传感器、通信装置等。前头部接触单元120和侧头部接触单元130可以具有作为可选部件的生物信息获取传感器，其可以测量生物信息，诸如用户的体温、脉搏、血液成分、出汗、脑波和脑血流量。头戴式显示单元100还可以包括用于拍摄用户的眼睛的图像的相机。通过结合在头戴式显示单元100中的相机，可以检测用户的视线、瞳孔的移动、眼睛的眨眼等。这里，描述要在头戴式显示单元100上显示的图像的生成方法。本实施例的图像生成方法不仅可以应用于狭义的头戴式显示单元100，而且可以应用于眼镜、眼镜型显示单元、眼镜型相机、耳机(headphone)、头戴式受话器(具有麦克风的耳机)、耳机(earphone)、耳环、耳机(earcamera)、帽、具有相机的帽、发带等。图2是头戴式显示单元100的功能框图。控制单元10是处理和输出诸如图像信号或传感器信号的信号、指令或数据的主处理器。输入接口20接受来自触摸面板和触摸面板控制器的操作信号或设置信号，并将接受的信号提供给控制单元10。输出接口30从控制单元10接收图像信号，并使显示单元显示所接收的图像信号。背光32向液晶显示单元提供背光。通信控制单元40通过网络适配器42或天线本文档来自技高网...

【技术保护点】
一种图像生成装置，包括：图像生成单元，被配置为生成从给定视点观看的图像；以及图像转换单元，被配置为将所生成的图像转换为传输格式的图像，其中响应于朝向所述视点的光线方向，调整作为以所述视点为中心的每单位角度的像素的数量的角分辨率。

【技术特征摘要】
【国外来华专利技术】2014.07.03 JP 2014-1378191.一种图像生成装置，包括：图像生成单元，被配置为生成从给定视点观看的图像；以及图像转换单元，被配置为将所生成的图像转换为传输格式的图像，其中响应于朝向所述视点的光线方向，调整作为以所述视点为中心的每单位角度的像素的数量的角分辨率。2.根据权利要求1所述的图像生成装置，其中，所述图像转换单元将所生成的图像转换为透射格式的图像，其中，调整所述角分辨率以使其均匀，与朝向所述视点的光线方向无关。3.根据权利要求1所述的图像生成装置，其中，所述图像转换单元将所生成的图像转换为传输格式的图像，其中，调整所述角分辨率，使得从相对位置朝向所述视点的光线方向上的角分辨率高于从倾斜位置朝向视点的光线方向上的角分辨率。4.根据权利要求1至3中任一项所述的图像生成装置，其中，所述传输格式包括能够根据朝向所述视点的光线方向调整角分辨率的可变参数。5.根据权利要求1至4中任一项所述的图像生成装置，其中，所生成的图像是要传输到头戴式显示单元的宽视角的图像，并且所述传输格式是不依赖于每个单独的头戴式显示单元的光学特性的通用格式。6.一种图像生成装置，包括：光线跟踪单元，被配...

【专利技术属性】
技术研发人员：大户友博，
申请(专利权)人：索尼互动娱乐股份有限公司，
类型：发明
国别省市：日本,JP