用于沉浸式视频格式的方法、装置和流制造方法及图纸

根据对象的图像生成流的方法和设备，包括：获得与表示所述对象的至少一部分的点云的点相关联的数据；根据与所述对象的所述至少一部分相关联的至少一个几何特性和用于获取至少一个图像的获取设备的姿态信息，获得参数表面；获得与参数表面相关联的高度图和一个或多个纹理图；通过将与至少一个参数相关的第一语法元素、与高度图相关的第二语法元素、与至少一个纹理图相关的第三语法元素和与获取设备的位置相关的第四语法元素组合在一起而生成流。本公开还涉及用于根据由此获得的流渲染对象的图像的方法和设备。

Methods, devices, and streams for immersive video formats

Including according to the method and apparatus, image generation object flow: associated with representing the object of at least a portion of the points of cloud data; according to the object and the at least a portion of the associated at least one of the geometric characteristics and used to obtain the pose information of at least one image acquisition device the parameters related with surface; surface parameters with a height map and one or more texture; through with at least one of the parameters related to the first, and the syntax element height map related second syntax elements, and at least one texture map of third related syntax elements and the position of the equipment and access the fourth syntax elements together to generate flow. The present disclosure also relates to a method and device for rendering an image of an object based on the resulting stream.

【技术实现步骤摘要】
用于沉浸式视频格式的方法、装置和流
本公开涉及沉浸式视频内容的领域。本公开内容也在表示沉浸式内容的数据的格式化的上下文中被理解，例如用于终端用户设备(例如移动设备或头戴式显示器)上的渲染。
技术介绍
本部分是为了向读者介绍可能与下文所述的和/或所要求保护的本公开的各个方面相关的现有技术的各个方面。相信本讨论有助于向读者提供背景信息，以便于更好地理解本专利技术的各个方面。因此，应当理解，这些陈述应鉴于此被解读，而不是作为对现有技术的承认。诸如头戴式显示器(HMD)或CAVE的显示系统允许用户浏览沉浸式视频内容。可以用CGI(计算机生成的影像)技术获得沉浸式视频内容。通过使用这种沉浸式视频内容，可以根据观看内容的用户的视点来计算内容，但是具有不切实际的图形质量。可以通过在诸如球体或立方体的表面上映射视频(例如，由多个相机获取的视频)来获得沉浸式视频内容。这种沉浸式视频内容提供了良好的图像质量，但出现了与视差、尤其是对于前景(即接近相机)的场景的对象的视差有关的问题。在沉浸式视频内容的上下文中，自由视点视频(FVV)是一种用于多视点视频的表示和编码以及后续从任何视点重新渲染的技术。在沉浸式上下文中增强用户体验的同时，要传送给渲染器的数据量非常重要并可能是一个问题。
技术实现思路
说明书中对“一个实施例”、“实施例”、“示例实施例”、“具体实施例”的参考指示所描述的实施例可以包括特定特征、结构或特性，但是每个实施例可以不必包括所述特定特征、结构或特性。此外，这种短语不必参照同一实施例。此外，当结合实施例来描述特定特征、结构、或特性时，应认为结合其他实施例(不管是否是显式描述的)来实现这种特征、结构、或特性是在本领域技术人员的知识内的。本公开涉及一种根据场景的对象的至少一个图像生成流的方法，所述方法包括：-获得与表示对象的至少一部分的点云的点相关联的数据；-根据与对象的至少一部分相关联的至少一个几何特性和用于获取至少一个图像的获取设备的姿态信息，获得表示参数表面的至少一个参数，所述至少一个几何特性是根据与点云的点相关联的表面获得的，点云的点与对象的至少一部分相关联；-根据所述数据获得与参数表面相关联的高度图，所述高度图包括表示所述对象的至少一部分与所述参数表面之间的距离的信息；-根据所述数据获得与参数表面相关联的至少一个纹理图；-通过将与至少一个参数相关的第一语法元素、与高度图相关的第二语法元素、与至少一个纹理图相关的第三语法元素和与获取设备的位置相关的第四语法元素组合在一起而生成流。根据具体特性，至少一个参数根据对象的至少一部分的变形随时间变化。根据具体特性，所述数据包括纹理信息和表示深度的信息。本公开还涉及一种设备，该设备被配置为实现上述根据场景的对象的至少一个图像生成流的方法。本公开还涉及携带表示场景的对象的数据的流，其中，数据包括：-第一语法元素，与根据与对象的至少一部分相关联的至少一个几何特性和用于获取至少一个图像的获取设备的姿态信息而获得的表示参数表面的至少一个参数相关，所述至少一个几何特性是根据与点云的点相关联的表面获得的，所述点云的点与对象的至少一部分相关联；-第二语法元素，与根据与表示所述对象的至少一部分的点云的点相关联的第二数据所获得的高度图相关，所述高度图包括表示所述对象的所述至少一部分与参数表面之间的距离的信息；-第三语法元素，与根据第二数据获得的至少一个纹理图相关；以及-第四语法元素，与获取设备的位置相关。根据具体特性，第一语法元素根据至少一个参数的变化而随时间变化，至少一个参数根据对象的至少一部分的变形而变化。根据具体特性，第二数据包括纹理信息和表示深度的信息。本公开还涉及一种根据携带表示所述对象的数据的流来渲染的对象的至少一部分的图像的方法，所述方法包括：-根据所述流的第一语法元素获得表示参数表面的至少一个参数；-根据所述流的第二语法元素获得高度图，所述高度图包括表示所述对象的所述至少一部分与参数表面之间的距离的信息；-根据所述流的第三语法元素获得至少一个纹理图；-根据参数表面、高度图和至少一个纹理图获得与表示所述对象的所述至少一部分的点云的点相关联的数据；-根据所述流的第四语法元素基于所述数据和表示获取设备的位置的信息来渲染图像。根据具体特性，所述数据包括纹理信息和表示深度的信息。根据具体特性，所述渲染包括对所述数据进行层片(splat)渲染。本公开还涉及一种设备，该设备被配置为实现根据携带表示所述对象的数据的流来渲染对象的至少一部分的图像的方法。本公开还涉及包括程序代码指令的计算机程序产品，当在计算机上执行该程序时，所述指令用于执行根据携带表示所述对象的数据的流来渲染对象的至少一部分的图像的方法的步骤。本公开还涉及包括程序代码指令的计算机程序产品，以执行根据场景的对象的至少一个图像生成流的方法的步骤。本公开还涉及(非瞬时性)处理器可读介质，所述处理器可读介质中存储有指令，所述指令用于使处理器执行至少上文提到的根据场景的对象的至少一个图像生成流的方法。本公开还涉及(非瞬时性)处理器可读介质，所述处理器可读介质中存储有指令，当在计算机上执行该程序时，所述指令用于使处理器执行至少上文提到的根据携带表示所述对象的数据的流来渲染对象的至少一部分的图像的方法。附图说明通过阅读参考附图的以下描述，将更好地理解本公开，并将清楚其它具体特征和优点，在附图中：图1示出了根据本原理的具体实施例的沉浸式内容；图2A和图2B示出了根据本原理的具体实施例被配置为获取场景的图像以获得图1的沉浸式内容的至少一部分的光场获取设备；图3示出了根据本原理的具体实施例用图2A和图2B的获取设备所获取的场景的对象的一部分的表示；图4示出了根据本原理的具体实施例用于表示图3的对象的过程中所使用的参数表面；图5A、图5B和图5C示出了图4的参数表面的采样的示例实施例；图6示出了根据本原理的具体实施例的图4的参数表面相对于图3的对象的变形的匹配；图7示出了根据本原理的第一具体实施例的纹理信息与图4的参数表面的关联；图8示出了根据本原理的第二具体实施例的纹理信息与图4的参数表面的关联；图9示出了根据本原理的示例被配置为实现图12和/或图13的方法的设备架构的示例；图10示出了根据本原理的示例通过通信网络通信的图9的两个远程设备；图11示出了根据本原理的示例的携带图3的对象的描述的信号的语法；图12示出了根据本原理的示例生成描述图3的对象的数据流的方法；图13示出了根据本原理的示例渲染图3的对象的图像的方法。具体实施方式因此，现在参考附图描述主题，其中，相似的附图标记用于贯穿完全表示相似的元素。在下文的描述中，为了解释的目的，阐述了许多具体细节，以提供对主题的透彻理解。然而，显而易见的是，没有这些具体细节也可以实施主题实施例。本说明书示意了本公开的原理。因此，将理解的是，本领域的技术人员将能够设计出虽然没有明确地在此描述或示出但体现了本公开的原理的各种布置。将参考生成表示场景的对象的数据流的方法和/或根据生成的数据流来渲染该对象的一个或多个图像的方法的具体实施例来描述本原理。根据用一个或多个获取设备获取的对象(或其一部分)的一个或多个图像确定表示对象(或其一部分)的点云。参数表面被计算为对象(或其一部分)的表示的基础，通过本文档来自技高网...

【技术保护点】
一种根据场景的对象的至少一个图像生成流的方法，所述方法包括：‑获得(1201)与表示所述对象的至少一部分的点云的点相关联的数据；‑根据与所述对象的所述至少一部分相关联的至少一个几何特性和用于获取所述至少一个图像的获取设备的姿态信息，获得(1202)表示参数表面的参数，所述至少一个几何特性是根据与所述点云的点相关联的所述数据获得的，所述点云的点与所述对象的所述至少一部分相关联；‑根据所述数据获得(1203)与所述参数表面相关联的高度图，所述高度图包括表示所述对象的所述至少一部分与所述参数表面之间的距离的信息；‑根据与所述点云的点相关联的颜色信息获得(1204)与所述参数表面相关联的至少一个颜色图，所述点云的点与所述对象的所述至少一部分相关联；‑通过将与所述参数相关的第一语法元素、与所述高度图相关的第二语法元素、与所述至少一个颜色图相关的第三语法元素和与所述获取设备的位置相关的第四语法元素组合在一起而生成(1205)所述流。

【技术特征摘要】
2016.05.24 EP 16305600.51.一种根据场景的对象的至少一个图像生成流的方法，所述方法包括：-获得(1201)与表示所述对象的至少一部分的点云的点相关联的数据；-根据与所述对象的所述至少一部分相关联的至少一个几何特性和用于获取所述至少一个图像的获取设备的姿态信息，获得(1202)表示参数表面的参数，所述至少一个几何特性是根据与所述点云的点相关联的所述数据获得的，所述点云的点与所述对象的所述至少一部分相关联；-根据所述数据获得(1203)与所述参数表面相关联的高度图，所述高度图包括表示所述对象的所述至少一部分与所述参数表面之间的距离的信息；-根据与所述点云的点相关联的颜色信息获得(1204)与所述参数表面相关联的至少一个颜色图，所述点云的点与所述对象的所述至少一部分相关联；-通过将与所述参数相关的第一语法元素、与所述高度图相关的第二语法元素、与所述至少一个颜色图相关的第三语法元素和与所述获取设备的位置相关的第四语法元素组合在一起而生成(1205)所述流。2.根据权利要求1所述的方法，其中，所述点云表示从视点范围来看的所述对象。3.根据权利要求1或2所述的方法，其中，所述参数根据所述对象的所述至少一部分的变形而随时间变化。4.一种被配置为根据场景的对象的至少一个图像生成流的设备，所述设备包括与至少一个处理器相关联的存储器，所述至少一个处理器被配置为：-获得与表示所述对象的至少一部分的点云的点相关联的数据；-根据与所述对象的所述至少一部分相关联的至少一个几何特性和用于获取所述至少一个图像的获取设备的姿态信息，获得表示参数表面的参数，所述至少一个几何特性是根据与所述点云的点相关联的所述数据获得的，所述点云的点与所述对象的所述至少一部分相关联；-根据所述数据获得与所述参数表面相关联的高度图，所述高度图包括表示所述对象的所述至少一部分与所述参数表面之间的距离的信息；-根据与所述点云的点相关联的颜色信息获得与所述参数表面相关联的至少一个颜色图，所述点云的点与所述对象的所述至少一部分相关联；-通过将与所述参数相关的第一语法元素、与所述高度图相关的第二语法元素、与所述至少一个颜色图相关的第三语法元素和与所述获取设备的位置相关的第四语法元素组合在一起而生成所述流。5.根据权利要求4所述的方法，其中，所述点云表示从视点范围来看的所述对象。6.根据权利要求4或5所述的设备，其中，所述至少一个参数根据所述对象的所述至少一部分的变形而随时间变化。7.一种携带表示场景的对象的第一数据的流，其中，所述数据包括：-第一语法元素(1102)，与根据与所述对象的至少一部分相关联的至少一个...

【专利技术属性】
技术研发人员：雷诺·多尔，朱利安·弗勒罗，蒂埃里·塔皮，弗兰克·图朵，
申请(专利权)人：汤姆逊许可公司，
类型：发明
国别省市：法国,FR