将沉浸式视频格式化以用于传统呈现设备和沉浸式呈现设备的方法、装置和流制造方法及图纸

本公开涉及用于将向后兼容沉浸式视频流格式化的方法、装置或系统。从从源获得的沉浸式视频捕获至少一个传统矩形视频(82)。使用相机控制数据的集合来确定沉浸式视频的哪些部分将构成传统视频(84)。从沉浸式视频中移除这些部分(83)，并且将每个准备的视频打包在流中(85)。来自流的结构是容器。可以在流中添加关于移除部分的位置和大小的信息数据。

Methods, devices and streams for formatting immersive video for traditional and immersive presentation devices

The present disclosure relates to a method, device or system for formatting backward compatible immersive video streams. At least one traditional rectangular video (82) is captured from the immersive video obtained from the source. Use a collection of camera control data to determine which parts of immersive video will constitute traditional video (84). Remove these parts (83) from immersive video and pack each prepared video in a stream (85). The structure from which flows is a container. You can add information about the location and size of the removed part to the stream.

【技术实现步骤摘要】
【国外来华专利技术】将沉浸式视频格式化以用于传统呈现设备和沉浸式呈现设备的方法、装置和流
本公开涉及将代表沉浸式视频的向后兼容流格式化的领域，例如当这样的流被分发到各种各样的客户端设备的集合时，一些客户端设备被配置为显示传统矩形视频，而另一些客户端设备被配置为显示沉浸式视频。
技术介绍
沉浸式视频与传统视频的不同之处在于，它们显示在用户周围，而不是投影在用户前面的矩形屏幕上。一些设备被配置用于仅呈现传统视频(例如TV机、视频投影仪)，一些设备被配置用于仅呈现沉浸式视频(例如洞穴(cave)、晶洞(geode))，以及一些设备可以根据它们包括的解码器来呈现两种类型的视频(例如头戴式显示设备(HMD)、平板、智能电话)。在本文档中，我们将被配置用于呈现沉浸式视频并包括适配解码器的设备称为沉浸式视频呈现设备，以及将不被配置用于呈现沉浸式视频或不包括适配解码器的设备称为传统视频呈现设备。视频是至少一个图像的序列。实际上，图像可以视为静止视频。视频被编码在矩形帧上，该矩形帧是二维像素(即色彩信息的元素)阵列。为了进行呈现，将帧首先映射在映射表面上，其次投影在屏幕上。立体视频被编码在一个或两个矩形帧上，该矩形帧被映本文档来自技高网...

【技术保护点】
1.一种从准备用于凸映射表面的视频(20，30)生成流(100)的方法(80)，所述方法包括：‑生成(82)从所述凸映射表面的中心处的视点捕获的至少一个第一视频(61，63)，每个第一视频代表所述沉浸式视频(20，30)的一部分；‑从已经从中移除所述至少一个部分的沉浸式视频(20，30)生成(83)第二视频(60)；以及‑通过将与所述至少一个第一视频(61，63)相关的第一语法元素(102，103)和与所述第二视频(60)相关的第二语法元素(104)组合在一起来生成(85)所述流(100)。

【技术特征摘要】
【国外来华专利技术】2016.03.22 EP 16305321.81.一种从准备用于凸映射表面的视频(20，30)生成流(100)的方法(80)，所述方法包括：-生成(82)从所述凸映射表面的中心处的视点捕获的至少一个第一视频(61，63)，每个第一视频代表所述沉浸式视频(20，30)的一部分；-从已经从中移除所述至少一个部分的沉浸式视频(20，30)生成(83)第二视频(60)；以及-通过将与所述至少一个第一视频(61，63)相关的第一语法元素(102，103)和与所述第二视频(60)相关的第二语法元素(104)组合在一起来生成(85)所述流(100)。2.如权利要求1所述的方法，还包括将第三语法元素(105)添加到所述流(100)中，所述第三语法元素与代表所述至少一个部分的描述的信息数据相关。3.如权利要求2所述的方法，其中所述信息数据随时间改变。4.如权利要求2所述的方法，其中所述生成(82)至少一个第一视频还包括校正由所述(虚拟)相机捕获的图像。5.如权利要求2或4所述的方法，其中所述生成(82)至少一个第一视频还包括根据所述信息数据将所述映射表面重新取向。6.一种被配置为从准备用于凸映射表面的视频(20，30)生成流(100)的设备，所述设备包括：-视频生成器，用于生成(82)从所述凸映射表面的中心处的视点捕获的至少一个第一视频(61，63)，每个第一视频代表所述沉浸式视频(20，30)的一部分；-视频生成器，用于从已经从中移除所述至少一个部分的沉浸式视频(20，30)生成(83)第二视频；以及-流生成器，用于通过将与所述至少一个第一视频相关的第一语法元素(102，103)和与所述第二视频相关的第二语法元素(104)组合在一起来生成(85)所述流(100)。7.如权利要求6所述的设备，所述流生成器还被配置为将第三语法元素(105)添加到所述流(100)中，所述第三语法元素与代表所述至少一个部分的描述的信息数据相关。8.如权利要求7所述的设备，其中所述信息数据随时间改变。9.一种携带代表准备用于凸映射表面的视频(20，30)的数据的流(100)，所述数据包括：-第一语法元素(102，103)，其与从所述凸映射表面的中心处的视点捕获的至少一个第一视频(61，63)相关，所述至少一个第一视频中的每一个代表所述沉浸式视频的一部分；以及-第二语法元素(104)，其与从已经从中移除所述至少一个部分的沉浸式视频生成的第二视频(60)相关。10.如权利要求9所述的流，还包括与代表所述至少一个部分的描述的信息数据相关的第三语法元素(105)。11.如权利要求10所述的流，其中所述信息数据随时间改变。...

【专利技术属性】
技术研发人员：R多尔，J弗勒雷奥，T塔皮，
申请(专利权)人：交互数字VC控股公司，
类型：发明
国别省市：美国,US