用于生成图像数据流的装置和方法制造方法及图纸

一种用于生成表示场景视图的图像数据流的装置，例如用于虚拟现实的应用。所述装置包括接收器(203)，所述接收器接收注视指示，所述注视指示指示观看者的头部姿态和相对眼睛姿态两者。所述头部姿态包括头部位置，并且所述相对眼睛姿态指示相对于所述头部姿态的眼睛姿态。确定器(205)确定场景中与注视指示相对应的通常是小/窄的视觉关注区域。具体地，可以识别注视点周围的区域。生成器(209)生成图像数据流以包括针对场景的图像数据，所述图像数据具有针对视觉关注区域比视觉关注区域之外具有更高的质量水平/数据率。

【技术实现步骤摘要】
【国外来华专利技术】用于生成图像数据流的装置和方法
本专利技术涉及用于生成图像数据流的装置和方法，并且尤其但非排他地涉及用于访问场景的虚拟现实应用的图像数据流的生成。
技术介绍
近年来，随着不断开发和引入新的服务以及利用和使用视频的方式，图像和视频应用的种类和范围已大大增加。例如，一种越来越流行的服务是以如下的方式提供图像序列：使得观看者能够主动和动态地与系统交互以改变绘制的参数。在许多应用中，一个非常吸引人的功能是能够更改观看者的有效观看位置和观看方向的能力，例如允许观看者在呈现的场景中移动并“环顾四周”。这样的特征可以具体地允许将虚拟现实体验提供给用户。这可以允许用户在虚拟环境中(相对)自由地移动，并动态地改变其位置和他所看的位置。通常，这样的虚拟现实应用基于场景的三维模型，其中该模型被动态评估以提供特定的请求视图。从例如用于计算机和控制台的第一人称射击游戏类别的游戏应用中，这种方法是众所周知的。尤其对于虚拟现实应用，还期望所呈现的图像是三维图像。实际上，为了优化观看者的沉浸感，通常优选的是，用户将呈现的场景体验为三维场景。实际上，虚拟现实体验应该优选地允许用户选择相对于虚拟世界的他/她自己的位置、相机视点以及时间。通常，虚拟现实应用固有地受限于它们基于场景的预定模型，并且通常基于虚拟世界的人工模型。如果可以基于真实世界的捕获来提供虚拟现实体验，则将是理想的。但是，在许多情况下，这样的方法非常受限制，或者倾向于要求根据现实世界的捕获物来构建现实世界的虚拟模型。然后通过评估该模型来生成虚拟现实体验。r>然而，许多当前的方法倾向于是次优的，并且倾向于通常具有较高的计算或通信资源要求和/或以例如降低的质量或受限的自由度提供次优的用户体验。作为应用的示例，虚拟现实眼镜已经进入市场。这些眼镜使观看者可以体验捕获的360度(全景)视频。这些360度视频通常是使用摄影机预先捕获的，其中将单幅图像拼贴在一起形成单个球面映射。针对360度视频的常见立体声格式为上/下和左/右。与非全景立体声视频相似，左眼和右眼图片被压缩为单个H.264视频流的一部分。在对单个帧解码后，观看者旋转他/她的头部以查看他/她周围的世界。一个示例是如下的记录，其中，观看者可以体验360度环视效果，并且可以在从不同位置录制的视频流之间离散地切换。在切换时，将加载另一个视频流，这中断了体验。立体全景视频方法的一个缺点是观看者不能改变虚拟世界中的位置。除了全景立体视频之外，全景深度图的编码和传输还允许补偿客户端观看者的小的平移运动，但是这种补偿本质上将限于小的变化和运动，并且将不能提供沉浸式和自由虚拟现实体验的视觉效果。一种相关技术是自由视点视频，其中具有深度图的多个视点在单个视频流中被编码和传输。除了利用众所周知的时间预测方案之外，还可以通过利用视点之间的角度依赖性来降低视频流的比特率。然而，所述方法仍然需要高比特率，并且在可以生成的图像方面是受限制的。它实际上不能提供在三维虚拟现实世界中完全自由移动的体验。遗憾的是，没有任何一种现有技术能够提供理想的体验，而是常常倾向于限制位置和观看方向的改变的自由度。另外，这些技术趋向于要求非常高的数据率并提供包括比生成单幅图像/视图所需的数据更多的数据的数据流。在许多应用中，并且尤其是对于虚拟现实应用，根据表示场景的数据来生成图像数据流，以使图像数据流反映用户在场景中的(虚拟)位置。这样的图像数据流通常动态地并且实时地生成，使得其反映用户在虚拟场景内的运动。图像数据流可以被提供给绘制器，所述绘制器根据图像数据流的图像数据向用户绘制图像。在许多应用中，经由带宽受限的通信链路将图像数据流提供给绘制器。例如，图像数据流可以由远程服务器生成并且例如通过通信网络被传输到绘制设备。然而，例如此类应用的问题在于，对于大多数实际应用而言，它们需要非常高的数据率。例如，已经提出基于360°视频流提供虚拟现实体验，其中，由服务器针对给定的观看者位置提供场景的完整360°视图，从而允许客户端生成不同方向的视图。然而，这导致极高的数据率，这在大多数实际应用中是不希望的或无法获得的。具体地说，虚拟现实(VR)的有前途的应用之一是全向视频(例如VR360或VR180)。这里，来自特定视点的完整视频被映射到一个(或多个)矩形窗口上(例如，使用ERP投影)。MPEG已经对该方法进行了标准化，并且还预见到它将最终导致非常高的数据率。已经提出将视域划分为几个预定的瓦片，然后将它们以不同的质量水平发送给客户端。然而，这通常仍然导致非常高的数据率，并且还倾向于降低针对呈现给用户的绘制图像所实现的质量。对于MPEGVR360和VR180，可以仅要求人(当时)正在看的部分(“瓦片”)处于全分辨率和高质量观看，而其余部分(周围)则处于低分辨率。然而，这仍然要求高的数据率，并且由于与例如HDTV(水平约30度)相比，典型的虚拟现实眼镜/头戴套件的视角非常高(水平约100度)，因此视频数据率也将比HDTV更高(例如，高10倍)。因此，改进的方法将是有利的。特别地，一种允许改善的操作、增加的灵活性、改善的虚拟现实体验、降低的数据率、便利的分发、减少的复杂性、便利的实现、减少的存储需求、增加的图像质量和/或改善的性能和/或操作的方法将是有利的。
技术实现思路
因此，本专利技术寻求单独地或以任何组合来优选地减弱、减轻或消除上述缺点中的一个或多个。根据本专利技术的一个方面，提供了一种用于生成表示三维场景的视图的图像数据流的装置，所述装置包括：接收器，其用于接收指示观看者的头部姿态和相对眼睛姿态的注视指示，所述头部姿态包括头部位置，并且所述相对眼睛姿态指示相对于所述头部姿态的眼睛姿态；确定器，其用于确定具有与所述注视指示相对应的三维场景中的三维位置的视觉关注区域；生成器，其用于将所述图像数据流生成为包括针对所述场景的图像数据，其中，所述图像数据被生成为至少包括针对所述视觉关注区域的第一图像数据和针对所述视觉关注区域之外的场景的第二图像数据；其中，所述生成器被配置为生成所述图像数据，以使所述第一图像数据具有比所述第二图像数据更高的质量水平；并且其中，所述确定器被布置为响应于所述注视指示的注视距离指示来确定所述视觉关注区域。在许多实施例中，本专利技术可以为场景提供改进的和/或更实用的图像数据。在许多实施例中，所述方法可以提供非常适合于灵活、高效和高性能的虚拟现实(VR)应用的图像数据。在许多实施例中，其可以允许或实现具有在图像质量和数据率之间显著改善的折衷的VR应用。在许多实施例中，它可以允许改善的感知到的图像质量和/或降低的数据率。该方法可以特别适合于例如VR应用，其中，表示场景的数据被集中存储并且潜在地支持多个远程VR客户端。注视指示可以指示观看者的注视点。头部姿态和相对眼睛姿态的组合可以对应于注视点，并且注视指示可以例如指示场景中与该注视点相对应的位置。在许多实施例中，视觉关注区域可以是对应于注视点的区域。特别地，视觉关注区域可以被确定为场景的关于由注视指示所指示的注视点满足准则的区域。本文档来自技高网...

【技术保护点】
1.一种用于生成表示三维场景的视图的图像数据流的装置，所述装置包括：/n接收器(203)，其用于接收指示观看者的头部姿态和相对眼睛姿态两者的注视指示，所述头部姿态包括头部位置，并且所述相对眼睛姿态指示相对于所述头部姿态的眼睛姿态；/n确定器(205)，其用于确定具有与所述注视指示相对应的所述三维场景中的三维位置的视觉关注区域；/n生成器(209)，其用于将所述图像数据流生成为包括针对所述场景的图像数据，其中，所述图像数据被生成为至少包括针对所述视觉关注区域的第一图像数据和针对所述场景中的在所述视觉关注区域之外的第二图像数据；其中，所述生成器(209)被配置为将所述图像数据生成为针对所述第一图像数据比针对所述第二图像数据具有更高的质量水平；并且其中，/n所述确定器(205)被布置为响应于所述注视指示的注视距离指示来确定所述视觉关注区域。/n

【技术特征摘要】
【国外来华专利技术】20180622 EP 18179291.21.一种用于生成表示三维场景的视图的图像数据流的装置，所述装置包括：
接收器(203)，其用于接收指示观看者的头部姿态和相对眼睛姿态两者的注视指示，所述头部姿态包括头部位置，并且所述相对眼睛姿态指示相对于所述头部姿态的眼睛姿态；
确定器(205)，其用于确定具有与所述注视指示相对应的所述三维场景中的三维位置的视觉关注区域；
生成器(209)，其用于将所述图像数据流生成为包括针对所述场景的图像数据，其中，所述图像数据被生成为至少包括针对所述视觉关注区域的第一图像数据和针对所述场景中的在所述视觉关注区域之外的第二图像数据；其中，所述生成器(209)被配置为将所述图像数据生成为针对所述第一图像数据比针对所述第二图像数据具有更高的质量水平；并且其中，
所述确定器(205)被布置为响应于所述注视指示的注视距离指示来确定所述视觉关注区域。


2.根据权利要求1所述的装置，其中，所述确定器(205)被布置为将所述视觉关注区域确定为针对所述头部姿态在至少一个方向上具有不超过10度的延伸。


3.根据任一前述权利要求所述的装置，其中，所述视觉关注区域对应于场景对象。


4.根据权利要求3所述的装置，其中，所述确定器(205)被布置为跟踪所述场景中的所述场景对象的运动，并且所述确定器(205)被布置为响应于所跟踪的运动来确定所述视觉关注区域。


5.根据任一前述权利要求所述的装置，其中，所述确定器(205)被布置为响应于所存储的针对所述场景的用户观看行为来确定所述视觉关注区域。


6.根据权利要求5所述的装置，其中，所述确定器(205)被布置为将所述视觉关注区域朝向所述场景中如下的区域偏置：对于所述区域，所存储的用户观看行为指示较高的观看频率。


7.根据任一前述权利要求所述的装置，其中，所述确定器(205)被布置为响应于指示所述场景中的不同区域之间的先前观看行为关系的关系数据来确定预测的视觉关注区域；并且其中，所述生成器(209)被布置为在所述图像数据流中包括针对所述预测的视觉关注区域的第三图像数据；其中，所述生成器(209)被配置为将所述图像数据生成为针对所述第三图像数据比针对在所述预测的视觉关注区域之外的所述第二图像数据具有更高的质量水平。


8.根据权利要求7所述的装置，其中，所述关系数据指示至少一个观看者的先前注视移动；并且所述确定器(205)被布置为将所述预测...

【专利技术属性】
技术研发人员：W·H·A·布鲁斯，B·克龙，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：荷兰;NL