虚拟现实媒体内容的自适应流传输的方法、装置和计算机程序制造方法及图纸

本发明专利技术涉及表示场景的宽视图的捕获投影的媒体数据的流传输，流传输的媒体数据使得可以在3D几何显示面上渲染宽视图、或者根据不同视点在显示面上渲染宽视图，该渲染包括媒体数据的渲染投影。在接收到包括与媒体数据有关的信息的描述文件之后，将用以基于描述文件请求媒体数据流的请求消息发送至服务器，其中该信息包括与用于产生媒体数据的宽视图的捕获有关的描述性信息。响应于这些请求消息，接收与所请求的媒体数据流相对应的媒体数据。

【技术实现步骤摘要】
【国外来华专利技术】虚拟现实媒体内容的自适应流传输的方法、装置和计算机程序
本专利技术涉及视频流传输的
，并且更特别地涉及用于例如经由诸如使用http协议的因特网等的IP网络的虚拟现实媒体内容的自适应流传输的方法、装置和计算机程序。
技术介绍
媒体呈现通常包括诸如音频和视频等的数个媒体内容。可以将这些媒体内容从服务器发送至客户端以由客户端装置共同播放。为了改善用户体验并且特别是提供沉浸式体验，视频并且甚至音频可以是全向的(或者多方向的或多向的)。在应用于视频(也称为360°全景视频)时，用户感觉位于所显示的场景中。可以从360°照相机以及/或者通过对从例如安装在特殊装备上使得所有照相机具有公共节点的数个照相机所获得的视频流的图像进行组合来获得全向视频。这种图像组合已知为图像拼接或照相机拼接。可以经由头戴式显示器或者通过投影到围绕用户的曲面屏幕上来渲染这种全向视频。也可以在用户接口中具有导航菜单以平移到全向视频中的传统2D屏幕上显示这种全向视频。由于用户感觉处于虚拟世界中，因此这种全向视频经常被称为虚拟现实(VR)。在向全向视频添加虚拟对象时，这被称为增强现实(AR)。图1a示出用于从服务器向客户端捕获、发送和渲染全向媒体的数据流程的示例。如图所示，该媒体具有从照相机系统100获取到的并且经由服务器110、客户端115和网络120发送至头戴式显示器(HMD)105的视频内容。为了例示，所使用的照相机系统基于与立方体的各面相关联的一组六个标准照相机。该照相机系统用于获得表示照相机系统周围的真实场景的图像。如利用表示125所示，根据该配置，一个照相机提供前方图像，一个照相机提供后方图像，一个照相机提供左方图像，一个照相机提供右方图像，一个照相机提供底部图像，并且一个照相机提供顶部图像。在服务器110中对从照相机系统100获得的图像进行处理(步骤130)，以创建也称为全向视频流或虚拟现实媒体数据流的360视频流。虚拟现实媒体数据流可以是如图1c的全景图像流190那样的全景图像的流(即，360°图像的流)、或者标准视频流的流(例如，从照相机100中的各照相机所获得的视频流的流)。处理的类型取决于要创建的虚拟现实媒体数据流的类型。例如，如果虚拟现实媒体数据流是全景图像的流，则处理可以包括拼接步骤，并且如果虚拟现实媒体数据流是视频流的流(即，可拼接图像的流)，则处理可以包括映射步骤。在后者情况下，可以在客户端进行图像的拼接以用于图像渲染。在考虑场景的宽视图(例如，水平维度和垂直维度这两者上的360°视图)时，如利用图1b的附图标记180所示，宽视图的全景图像对应于利用一个图像传感器或一组图像传感器捕获到的该宽视图向2D图像的投影(表示为捕获投影)。因此，捕获投影方案与各全景图像相关联，例如以保存所记录的场景中的适当比例。特别地，所使用的捕获投影方案可能没有反映现实，而是可以是宽视图的艺术表现((例如，如基于立体投影https://en.wikipedia.orf/wiki/Stereographic_projection的“小星球”摄影效果那样)。应当注意，360°视图可以是与沿着水平面的360°视图和沿着垂直面的360°视图相对应的真实360°视图、或者是例如与沿着水平面的360°视图和沿着垂直面的210°以下的视图相对应的伪360°视图。例如，一旦视野大于或等于人眼的视野，水平维度的180°全景也可被视为宽视图，以创建沉浸式体验。在所记录的场景对应于真实世界序列或合成序列时，通常使用术语360°视图或360°视频。为了例示，如利用全景表示135(或者利用图1c的全景图像流190)所示，对从照相机100所获得的图像进行组合以创建包括一组连续的全景图像的虚拟现实媒体数据流。在创建了虚拟现实媒体数据流之后，在步骤140中将该虚拟现实媒体数据流编码到视频位流中，然后在步骤141中将该虚拟现实媒体数据流打包(或封装)在文件或片段文件中，以经由网络120(例如经由使用http(超文本传输协议)协议的因特网)发送至客户端115。为了例示，打包可以包括将视频位流封装到ISOBMFF中。如此得到的文件或片段文件可以是mp4文件或mp4片段。在打包期间，可以将音频流添加到视频位流以及提供与视频或音频流有关的信息的元数据轨。这里可以使用提供媒体数据流的描述性元数据和定时信息的任何打包或封装格式。例如，这些格式可以是MPEG-2传输流、公共媒体应用格式、WebM、以及可以提取描述性信息以帮助流媒体客户端选择媒体数据的最合适版本的任何格式。在接收时，在步骤142期间对打包的虚拟现实媒体文件或媒体片段进行解析，以提取在步骤145中进行解码的数据流。在步骤142中接收到的ISOBMFF文件或片段的情况下，解析通常由从描述性元数据可以提取视频位流或视频子位流的mp4读取器或mp4解析器来进行处理。根据例示示例，解码后的全景图像的全景表示135’对应于全景表示135。接着，对解码后的虚拟现实媒体数据流进行处理以用于视频渲染(步骤150)。应当注意，视频渲染取决于用户的观看点、视点和用于创建全景图像的投影等的数个参数。如利用渲染表示155所示，渲染视频包括再投影解码后的全景图像的步骤。将从这种再投影(表示为渲染投影)所获得的图像显示在HMD105中。为了处理立体视图，可以复制参考图1a所述的处理。这里应当注意，存在虚拟现实媒体数据流的数个标准(例如，ISO/IEC23000-19)，并且用于创建全景图像的投影通常是以下(作为非限制性列表)：-球体；-扁球体；-立方体；-圆柱；-圆锥；和-无。根据所使用的投影的类型，在真实场景中的真实世界坐标和全景图像中的2D坐标之间存在数学关系。实际上，这样的投影是要显示的场景从一个或多个参考点向周围表面(其可以采用球体、扁球体、立方体、圆柱或圆锥的形状)上的投影。例如利用附图标记135所示的等矩形表示那样，可以将场景被投影到的该表面再映射到中间表示上，以简化视频渲染。应当注意，如图1d所示，渲染投影取决于与场景被投影到的表面中的场景宽视图的观察方向相对应的视点。结合参考点，该视点定义了参考框架或参考视图。可以利用与考虑到(对应于例如默认视点的)绝对参考框架的参考框架的转动参数相对应的横摆值、俯仰值和侧倾值(如图1e所示)来定义视点。通常，对于HMD系统，横摆角对应于头部的从左向右或从右向左的转动，俯仰角对应于从顶部向底部或从底部向顶部的转动，并且侧倾对应于头部绕观看方向轴的转动(倾斜)。在球体投影或扁球体投影的情况下，2D全景投影的中心点通常对应于沿着被定义为仰角取向的主视点取向(例如，沿着(x,y,z)右手坐标系中的z轴)向着参考点(例如，图1b的球体180的中心181)的投影。该视点还使得可以确定球体的极点。同样，对于立方体投影，视点使得可以确定立方体在空间中的位置，并由此确定立方体的正面的位置(通常，该正面的中心对应于参考点沿着主视点取向的投影)、以及立方体的顶面、底面、左面、右面和后面的位置。还应当注意，全景图像可以由如利用图1c的附图标记191所示的全景区域构成，其中各区域对应于特定投影。各区域是一组像素。各区域的形状可以是矩形或者可以不是矩形。一些投影可能生成像素的非连续图。例如，可以按各自与立方体本文档来自技高网...

【技术保护点】
1.一种用于从服务器接收表示场景的宽视图的捕获投影的媒体数据的方法，所接收到的媒体数据使得能够在3D几何显示面上渲染所述宽视图的至少一部分、或者根据至少两个不同视点在显示面上渲染所述宽视图的至少一部分，所述渲染包括表示所述宽视图的至少一部分的捕获投影的媒体数据的至少一个渲染投影，所述方法在客户端中进行，并且包括：从所述服务器接收包括与表示所述宽视图的捕获投影的媒体数据有关的信息的描述文件，所述信息包括与用于产生所述媒体数据的所述宽视图的捕获有关的描述性信息；将用以基于所述描述文件来请求至少一个媒体数据流的至少一个请求消息发送至所述服务器；以及响应于所述至少一个请求消息，从所述服务器接收与所请求的至少一个媒体数据流相对应的媒体数据。

【技术特征摘要】
【国外来华专利技术】2016.05.23 GB 1609056.51.一种用于从服务器接收表示场景的宽视图的捕获投影的媒体数据的方法，所接收到的媒体数据使得能够在3D几何显示面上渲染所述宽视图的至少一部分、或者根据至少两个不同视点在显示面上渲染所述宽视图的至少一部分，所述渲染包括表示所述宽视图的至少一部分的捕获投影的媒体数据的至少一个渲染投影，所述方法在客户端中进行，并且包括：从所述服务器接收包括与表示所述宽视图的捕获投影的媒体数据有关的信息的描述文件，所述信息包括与用于产生所述媒体数据的所述宽视图的捕获有关的描述性信息；将用以基于所述描述文件来请求至少一个媒体数据流的至少一个请求消息发送至所述服务器；以及响应于所述至少一个请求消息，从所述服务器接收与所请求的至少一个媒体数据流相对应的媒体数据。2.一种用于从服务器向客户端流传输表示场景的宽视图的捕获投影的媒体数据的方法，流传输的媒体数据使得所述客户端能够在3D几何显示面上渲染所述宽视图的至少一部分、或者根据至少两个不同视点在显示面上渲染所述宽视图的至少一部分，所述渲染包括表示所述宽视图的至少一部分的捕获投影的媒体数据的至少一个渲染投影，所述方法在所述服务器中进行，并且包括：向所述客户端发送包括与表示所述宽视图的捕获投影的媒体数据有关的信息的描述文件，所述信息包括与用于产生所述媒体数据的所述宽视图的捕获有关的描述性信息；从所述客户端接收用以基于所述描述文件来请求至少一个媒体数据流的至少一个请求消息；以及响应于所述至少一个请求消息，将与所请求的至少一个媒体数据流相对应的媒体数据发送至所述客户端。3.根据权利要求2所述的方法，其中，与用于产生所述媒体数据的所述宽视图的捕获有关的描述性信息与所述捕获投影有关。4.根据权利要求2或3所述的方法，其中，所述描述性信息至少部分地设置在至少一个描述符内。5.根据权利要求2至4中任一项所述的方法，其中，表示所述宽视图的捕获投影的所述媒体数据包括图像，所述图像至少之一是全景图像，所述全景图像包括单个全景区域或多个全景区域、或者是一组不同的全景区域。6.根据权利要求5所述的方法，其中，所述描述性信息至少部分地设置在至少一个特定描述符内，该一个特定描述符与一个全景图像或与一个全景区域相关联。7.根据权利要求6所述的方法，其中，所述捕获投影是具有至少一个预定类型的几何投影，以及所述全景区域是根据所述几何投影的所述至少一个预定类型确定的。8.根据权利要求2至7中任一项所述的方法，其中，所述描述性信息至少部分地设置在与信令信息相关联的至少一个描述符或一个特定描述符内，所述信令信息用信号通知在能够渲染所接收到的媒体数据的情况下所述客户端是否能够丢弃与该描述符或特定描述符内的描述性信息相对应的媒体数据。9.根据权利要求2至8中任一项所述的方法，其中，所述描述性信息包括用于标识与所述媒体数据有关的资源的信息。10.根据权利要求2至9中任一项所述的方法，其中，所述捕获投影具有至少一个预定类型，所述描述文件包括所述至少一个预定类型的捕获投影，以及所述至少一个预定类型的捕获投影是球体类型、扁球体类型、立方体类型、圆柱类型和圆锥类型至少之一的几何投影。11.根据权利要求2至10中任一项所述的方法，其中，标识符...

【专利技术属性】
技术研发人员：乔纳森·泰奎特，弗兰克·德诺奥，内尔·奥德拉奥果，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本,JP