用于生成场景的图像的装置的方法制造方法及图纸

一种装置包括：存储器(209)，其存储针对场景的锚定姿态的集合以及针对所述场景的典型3D图像数据。接收器(201)接收针对观看者的观看者姿态，并且绘制姿态处理器(203)针对所述观看者姿态中的当前观看者姿态来确定所述场景中的绘制姿态，其中，所述绘制姿态是相对于参考锚定姿态确定的。检索器(207)检索针对所述参考锚定姿态的3D图像数据，并且合成器(205)响应于所述3D图像数据来合成针对所述绘制姿态的图像。选择器从锚定姿态的所述集合中选择所述参考锚定姿态，并且被布置为响应于所述观看者姿态来将所述参考锚定姿态从锚定姿态的所述集合中的第一锚定姿态切换到锚定姿态的所述集合中的第二锚定姿态。

【技术实现步骤摘要】
【国外来华专利技术】用于生成场景的图像的装置的方法
本专利技术涉及一种用于针对场景生成图像的设备和方法，尤其涉及但不排他地涉及用于访问虚拟场景的虚拟现实应用的图像生成。
技术介绍
近年来，随着不断开发和引入新的服务以及利用和使用视频的方式，图像和视频应用的种类和范围已大大增加。例如，一种越来越流行的服务是以如下的方式提供图像序列：使得观看者能够主动和动态地与系统交互以改变绘制的参数。在许多应用中，一个非常吸引人的功能是能够更改观看者的有效观看位置和观看方向的能力，例如允许观看者在呈现的场景中移动并“环顾四周”。这样的特征可以具体地允许将虚拟现实体验提供给用户。这可以允许用户在虚拟环境中(相对)自由地移动，并动态地改变其位置和他所看的位置。通常，这样的虚拟现实应用基于场景的三维模型，其中该模型被动态评估以提供特定的请求视图。从例如用于计算机和控制台的第一人称射击游戏类别的游戏应用中，这种方法是众所周知的。尤其对于虚拟现实应用，还期望所呈现的图像是三维图像。实际上，为了优化观看者的沉浸感，通常优选的是，用户将呈现的场景体验为三维场景。实际上，虚拟现实体验应该优选地允许用户选择相对于虚拟世界的他/她自己的位置、相机视点以及时间。通常，虚拟现实应用固有地受限于它们基于场景的预定模型，并且通常基于虚拟世界的人工模型。如果可以基于真实世界的捕获来提供虚拟现实体验，则将是理想的。但是，在许多情况下，这样的方法非常受限制，或者倾向于要求根据真实世界的捕获物来构建真实世界的虚拟模型。然后通过评估该模型来生成虚拟现实体验。<br>然而，许多当前的方法倾向于是次优的，并且倾向于通常具有较高的计算或通信资源要求和/或以例如降低的质量或受限的自由度提供次优的用户体验。作为应用的示例，虚拟现实眼镜已经进入市场。这些眼镜使观看者可以体验捕获的360度(全景)或180度视频。这些360度视频通常是使用摄影机预先捕获的，其中将单幅图像拼贴在一起形成单个球面映射。针对180或360度视频的常见立体声格式为上/下和左/右。与非全景立体声视频相似，左眼和右眼图片被压缩为单个H.264视频流的一部分。在对单个帧解码后，观看者旋转他/她的头部以查看他/她周围的世界。一个示例是如下的记录，其中，观看者可以体验360度环视效果，并且可以在从不同位置录制的视频流之间离散地切换。在切换时，将加载另一个视频流，这中断了体验。立体全景视频方法的一个缺点是观看者不能改变虚拟世界中的位置。除了全景立体视频之外，全景深度图的编码和传输还允许补偿客户端观看者的小的平移运动，但是这种补偿本质上将限于小的变化和运动，并且将不能提供沉浸式和自由虚拟现实体验的视觉效果。一种相关技术是自由视点视频，其中具有深度图的多个视点在单个视频流中被编码和传输。除了利用众所周知的时间预测方案之外，还可以通过利用视点之间的角度依赖性来降低视频流的比特率。然而，所述方法仍然需要高比特率，并且在可以生成的图像方面是受限制的。它实际上不能提供在三维虚拟真实世界中完全自由移动的体验。遗憾的是，没有任何一种现有技术能够提供理想的体验，而是常常倾向于限制位置和观看方向的改变的自由度。另外，这些技术趋向于要求非常高的数据率并提供包括比生成单幅图像/视图所需的数据更多的数据的数据流。事实上，尽管虚拟现实服务和应用的数量和变化在增加，但是仍然希望提供改进的用户体验。特别希望提供更灵活和直观的用户体验。特别期望一种如下的应用：不仅提供高质量的视觉响应，而且还使用户控制和输入直观、自然、灵活且易于使用。因此，其用于生成场景，特别是虚拟现实体验/应用的图像的改进的方法将是有利的。特别地，一种允许改善操作、增加灵活性、降低数据速率、便于分发、降低复杂性、简化实施、降低存储需求、提高图像质量、改善和/或便于用户控制、改善虚拟现实体验和/或改进性能和/或操作的方法将是有利的。
技术实现思路
因此，本专利技术寻求单独地或以任何组合来优选地减弱、减轻或消除上述缺点中的一个或多个。根据本专利技术的一个方面，提供了一种生成场景的图像的装置，所述装置包括：存储器，其用于存储针对所述场景的锚定姿态的集合；接收器，其用于接收针对观看者的观看者姿态；选择器，其用于从锚定姿态的所述集合中选择参考锚定姿态；绘制姿态处理器，其用于针对所述观看者姿态中的当前观看者姿态确定所述场景中的第一绘制姿态；检索器，其用于检索针对所述参考锚定姿态的第一三维图像数据；合成器，其用于响应于所述第一三维图像数据来合成针对所述绘制姿态的图像；其中，所述选择器被布置为响应于所述观看者姿态的变化满足准则而将所述参考锚定姿态从锚定姿态的所述集合中的第一锚定姿态切换到锚定姿态的所述集合中的第二锚定姿态，并且所述绘制姿态处理器被布置为根据观看者姿态到绘制姿态的映射来确定所述第一绘制姿态，其中，所述映射取决于锚定姿态的所述集合中的哪个锚定姿态被选择为所述参考锚定姿态。本专利技术可以响应于观看者的观看者姿态而为场景提供改进的和/或更有用的场景图像生成。在许多实施例中，所述方法可以提供非常适合于灵活、高效和高性能的虚拟现实(VR)应用的图像数据。在许多实施例中，它可以允许或实现改善的VR用户体验。在许多示例中，所述方法可以提供用户体验，其中用户可以体验针对小运动的自然视差，仍能够更剧烈地改变视图以便例如环顾四周。例如，对于大多数运动，用户可能会经历自然视差，但是当需要不同的视点时，能够传送到不同的视点。此外，在许多实施例中，所述方法可以提供有利且直观的用户控制。例如，用户可能能够基于自然而简单的头部运动来控制不同的体验和功能。该方法可以减少提供期望的例如虚拟现实体验所需的功能的复杂性。例如，可以仅基于很少的捕获场景的相机来提供灵活的体验。该方法对于例如真实世界事件的广播或传输，例如体育赛事的实况传输或广播，可能是非常有利的。所生成的图像可以对应于针对头部姿态的视口图像。图像可以被生成以形成连续的数据流，并且例如可以是与观看图像相对应的立体帧的流。所述场景可以是虚拟场景，并且可以具体地是人工虚拟场景，或者可以例如是捕获的真实世界场景或增强现实场景。观看者姿态可以表示真实世界中观看者的姿态，并且可以具体对应于观看者的头部姿态，诸如例如由VR耳机检测到的。观看者姿态可以在真实世界坐标系中表示。绘制姿态和锚定姿态可以在场景坐标系中表示。在一些实施例中，观看者姿态、绘制姿态和/或锚定姿态可以分别是观看者位置、绘制位置和/或锚定位置。锚定姿态可以是如下的姿态，针对所述姿态，表示场景的三维图像数据可用。具体地，锚定姿态可以是针对场景的捕获姿态(特别是针对捕获场景的真实或虚拟相机的姿态)。如果观看者姿态(当前观看者姿态)满足切换准则，则选择器可以被布置为将参考锚定姿态从锚定姿态的所述集合中的第一锚定姿态切换到锚定姿态的所述集合中的第二锚定姿态。在一些实施例中，选择器可以被布置为响应于满足准则的观看者姿态的改变，将参考锚定姿态从锚定姿态的所述集合中的第一锚定姿态切换到锚定姿态的所述集合中的第二锚定姿态。所使用的特定本文档来自技高网...

【技术保护点】
1.一种用于生成场景的图像的装置，所述装置包括：/n存储器(209)，其用于存储针对所述场景的锚定姿态的集合；/n接收器(201)，其用于接收针对观看者的观看者姿态；/n选择器(211)，其用于从锚定姿态的所述集合中选择参考锚定姿态；/n绘制姿态处理器(203)，其用于针对所述观看者姿态中的当前观看者姿态确定所述场景中的第一绘制姿态；/n检索器(207)，其用于检索针对所述参考锚定姿态的第一三维图像数据；/n合成器(205)，其用于响应于所述第一三维图像数据来合成针对所述第一绘制姿态的图像；/n其中，所述选择器(211)被布置为响应于所述观看者姿态满足准则而将所述参考锚定姿态从锚定姿态的所述集合中的第一锚定姿态切换到锚定姿态的所述集合中的第二锚定姿态，并且所述绘制姿态处理器(203)被布置为根据观看者姿态到绘制姿态的映射来确定所述第一绘制姿态，其中，所述映射取决于锚定姿态的所述集合中的哪个锚定姿态被选择为所述参考锚定姿态。/n

【技术特征摘要】
【国外来华专利技术】20180625 EP 18179841.41.一种用于生成场景的图像的装置，所述装置包括：
存储器(209)，其用于存储针对所述场景的锚定姿态的集合；
接收器(201)，其用于接收针对观看者的观看者姿态；
选择器(211)，其用于从锚定姿态的所述集合中选择参考锚定姿态；
绘制姿态处理器(203)，其用于针对所述观看者姿态中的当前观看者姿态确定所述场景中的第一绘制姿态；
检索器(207)，其用于检索针对所述参考锚定姿态的第一三维图像数据；
合成器(205)，其用于响应于所述第一三维图像数据来合成针对所述第一绘制姿态的图像；
其中，所述选择器(211)被布置为响应于所述观看者姿态满足准则而将所述参考锚定姿态从锚定姿态的所述集合中的第一锚定姿态切换到锚定姿态的所述集合中的第二锚定姿态，并且所述绘制姿态处理器(203)被布置为根据观看者姿态到绘制姿态的映射来确定所述第一绘制姿态，其中，所述映射取决于锚定姿态的所述集合中的哪个锚定姿态被选择为所述参考锚定姿态。


2.根据权利要求1所述的装置，其中，所述绘制姿态处理器(203)被布置为针对被选择为所述参考锚定姿态的所述第一锚定姿态和针对被选择为所述参考锚定姿态的所述第二锚定姿态将观看者姿态值映射到不同的绘制姿态值。


3.根据任一前述权利要求所述的装置，其中，所述映射包括根据锚定姿态的所述集合中的哪个锚定姿态被选择为所述参考锚定姿态来向所述绘制姿态应用不同的偏移。


4.根据任一前述权利要求所述的装置，其中，所述绘制姿态处理器(203)被布置为将观看者姿态映射为针对相同参考锚定姿态的绘制姿态，使得所述观看者姿态在第一方向上的变化被映射到所述绘制姿态在所述第一方向上的变化。


5.根据任一前述权利要求所述的装置，其中，所述映射是针对从所述绘制姿态到所述参考锚定姿态的距离不超过阈值的恒定线性映射。


6.根据权利要求5所述的装置，其中，所述线性映射的比例因子不小于50％并且不大于150％。


7.根据任一前述权利要求所述的装置，其中，所述选择器(211)被布置为响应于检测到第一观看者姿态满足准...

【专利技术属性】
技术研发人员：C·韦雷坎普，P·L·E·万德瓦勒，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：荷兰;NL