视窗自适应360度视频传送的方法和设备技术

公开了用于客户端中心服务质量控制的系统、方法和工具。可以确定360度视频的第一视窗。360度视频可以包括等距矩形、立方体贴图、柱体、锥体和/或球面投影映射中的一个或多个。第一视窗可以与360度视频的空间区域相关联。可以确定围绕空间区域延伸的相邻区域。可以确定360度视频的第二视窗。可以接收与360度视频相关联的比特流。一个或多个增强区域可以包括在所述比特流中。一个或多个增强区域可以对应于所述第一和/或第二视窗。高编码比特率可以与所述第一视窗和/或第二视窗相关联。

Method and Equipment of Windows Adaptive 360 Degree Video Transmission

Systems, methods and tools for quality control of client-centric services are disclosed. The first window of 360 degree video can be determined. 360-degree video may include one or more of equidistant rectangular, cube mapping, cylinder, cone and/or spherical projection mappings. The first window can be associated with the spatial area of 360-degree video. The adjacent areas extending around the spatial area can be determined. The second window of 360 degree video can be determined. Bit streams associated with 360-degree video can be received. One or more enhancement regions may be included in the bit stream. One or more enhancement areas may correspond to the first and/or second windows. A high coding bit rate may be associated with the first and/or second windows.

【技术实现步骤摘要】
【国外来华专利技术】视窗自适应360度视频传送的方法和设备相关申请的交叉引用本申请要求2016年5月26日提交的美国临时申请No.62/342158的优先权和权益，其通过引用而被结合于此。
技术介绍
360°视频是媒体行业中出现的快速增长的格式。随着虚拟现实(VR)设备的不断增长，360°视频得以实现。360°视频可以为观看者提供新的存在感。当与直线型视频(例如，2D或3D)相比时，360°视频可能对视频处理和/或传送造成困难的工程挑战。实现舒适和/或沉浸式用户体验可能需要高视频质量和/或非常低的延迟。360°视频的大视频尺寸可能妨碍大规模地以高质量方式提供360°视频。360°视频应用和/或服务可将整个360°视频编码成符合标准的流，以用于渐进式下载和/或自适应流传输。向客户端传送整个360°视频可以实现低延迟渲染(例如，客户端可以访问整个360°视频内容和/或可以选择在没有进一步约束的情况下渲染它希望看到的部分)。从服务器的角度来看，相同的流可以支持具有可能不同视窗(viewport)的多个用户。视频尺寸可能非常高，在传送视频时会导致高传输带宽(例如，因为整个360°视频必须以高质量编码，例如每眼睛4K@60fps或6K@90fps)。例如，因为用户可能仅观看整个图片的一小部分(例如，视窗)，所以在传送期间的高带宽消耗可能被浪费。
技术实现思路
公开了用于视窗自适应360°视频传送的系统、方法和工具。可以传送和/或发信号通知基于视窗增强的360度视频。可以使用基于层的视窗覆盖(overlay)来传送360度视频。可以提供关于360度视频映射的信令。可以确定360度视频的第一视窗。所述360度视频可以包括以下投影映射中的一者或多者：等距矩形(equirectangular)、立方体贴图(cube-map)投影映射、柱体投影映射、柱体投影映射和/或球面(spherical)投影映射。第一视窗可以与360度视频的空间区域相关联。可以确定围绕所述空间区域延伸的相邻区域。可以确定360度视频的第二视窗。可以接收与360度视频相关联的比特流。该比特流可以包括一个或多个增强区域。该一个或多个增强区域可以对应于第一和/或第二视窗。高编码比特率可以与第一视窗和/或第二视窗相关联。可以接收指示与360度视频传送相关联的一个或多个视窗属性的信令。用于处理360度视频的WTRU可以包括处理器，该处理器被配置为(例如，利用保存在存储器中的可执行指令)用于以下中的一个或多个：(i)接收与360度视频相关联的媒体呈现描述(MPD)，该MPD包含基本属性元素，该基本属性元素指示媒体片段的多面几何投影格式的面打包布局(face-packinglayout)；(ii)接收所述媒体片段；(iv)基于所述基本属性元素，从一组面打包布局中确定用于所接收的媒体片段的至少一个面打包布局；(iv)基于所确定的至少一个面打包布局，构建所接收的媒体片段。所述一组面打包布局包括：可利(platecarree)、侧极半高(polesonthesidehalfheight)、侧极全高(polesonthesidefullheight)、单行、两乘三和180度。所述基本属性元素可以处于适应级和表示级之一。WTRU处理器可以被配置(例如，利用保存在存储器中的可执行指令)以确定与MPD相关联的媒体表示，以请求未来的媒体片段并发送对所确定的媒体表示的请求。MPD可以包括用于媒体片段的从一组视频类型中选择的视频类型。该组视频类型可以包括直线型格式、全景格式、球体(sphere)格式和光场格式。WTRU处理器可以被配置(例如，利用保存在存储器中的可执行指令)以确定所接收的媒体片段的视频类型和/或使用所确定的视频类型构建所接收的媒体片段。MPD可以包括用于将360度视频从全向格式投影到直线型视频帧的至少一种投影格式。该投影格式可以包括以下之一：等距矩形、立方体、偏移立方体、被压扁的球体、锥体和柱体。WTRU处理器可以被配置(例如，利用保存在存储器中的可执行指令)为确定用于接收视频文件的投影格式，和/或发送对所确定的投影格式的请求。所述360度视频可以包括全向媒体应用格式(OMAF)文件。使用WTRU处理360度视频的方法可以包括以下中的一个或多个：(i)接收与360度视频相关联的媒体呈现描述(MPD)，该MPD包括指示用于媒体片段的多面几何投影格式的面打包布局的基本属性元素；(ii)接收所述媒体片段；(iii)基于所述基本属性元素，从一组面打包布局中确定用于所接收的媒体片段的至少一个面打包布局；(iv)基于所确定的至少一个面打包布局，构建所接收的媒体片段。使用WTRU的方法可以包括确定与MPD相关联的媒体表示，以请求将来接收的视频文件和/或发送对所确定的媒体表示的请求。该方法可以包括确定所接收的媒体片段的视频类型和/或使用所确定的视频类型来构建所接收的媒体片段。该方法可以包括确定视频文件的投影格式和/或发送对所确定的投影格式的请求。用于处理360度视频文件的WTRU可以包括处理器，该处理器被配置为(例如，利用保存在存储器中的可执行指令)用于以下中的一个或多个：接收与360度视频相关联的媒体呈现描述(MPD)，该MPD包括指示了用于媒体片段的多面几何投影格式的第一面打包布局的第一基本属性元素以及指示了用于媒体片段的多面几何投影格式的第二面打包布局的第二基本属性元素；确定是对所述媒体片段使用第一面打包布局还是第二面打包布局；请求所确定的至少第一或第二面打包布局；接收所述媒体片段；以及基于所请求的面打包布局，重建与所接收的媒体片段相关联的所述360度视频。附图说明图1描绘了在头戴式设备(HMD)上显示的360°视频的示例部分。图2描绘了用于360°视频的示例性等距矩形投影。图3描绘了示例360°视频映射。图4描绘了示例媒体呈现描述(MPD)分层数据模型。图5描绘了用于视频的示例性HTTP动态自适应流传输(DASH)空间关系描述(SRD)。图6描绘了基于示例图块(tile)的视频分区。图7描绘了示例性时间运动约束图块集。图8描绘了示例性360°视频流传输质量降级。图9描绘了具有相关联的相邻区域的示例视窗区域。图10A-10D描绘了示例立方体贴图布局。图11A描绘了示例性的等距矩形坐标视窗映射。图11B描绘了示例立方体贴图坐标视窗映射。图12描绘了示例球面坐标视窗映射。图13A和13B描绘了示例视窗增强表示。图14描绘了示例性基于层的360°视频覆盖。图15描绘了示例性基于层的360°视频表示。图16描绘了示例性基于层的360°视频覆盖。图17描绘了示例性基于层的360°视频覆盖的流程图。图18描绘了具有多个视窗的示例性基于层的360°视频覆盖。图19描绘了侧极半高的示例性等距矩形表示。图20描绘了侧极全高的示例性等距矩形表示。图21描绘了示例单行布局立方体表示。图22描绘了示例2x3布局立方体表示。图23描绘了示例180°立方体贴图布局。图24A是可以实施所公开的一个或多个实施例的例示通信系统的系统图示。图24B是可以在图24A所示的通信系统内部使用的例示无线发射/接收单元(WTRU)的系统图示。图24C是可以在图24A所示的通信系统内部使用的例示无线电接入网络和例示核心网络的系统图示。图2本文档来自技高网...

【技术保护点】
1.一种用于处理360度视频的WTRU，包括：处理器，被配置为：接收与所述360度视频相关联的媒体呈现描述(MPD)，该MPD包括指示媒体片段的多面几何投影格式的第一面打包布局的基本属性元素；接收所述媒体片段；基于所述第一基本属性元素，从一组面打包布局确定用于所接收的媒体片段的第一面打包布局；以及基于所确定的第一面打包布局，重建与所接收的媒体片段相关联的所述360度视频。

【技术特征摘要】
【国外来华专利技术】2016.05.26 US 62/342,1581.一种用于处理360度视频的WTRU，包括：处理器，被配置为：接收与所述360度视频相关联的媒体呈现描述(MPD)，该MPD包括指示媒体片段的多面几何投影格式的第一面打包布局的基本属性元素；接收所述媒体片段；基于所述第一基本属性元素，从一组面打包布局确定用于所接收的媒体片段的第一面打包布局；以及基于所确定的第一面打包布局，重建与所接收的媒体片段相关联的所述360度视频。2.根据权利要求1所述的WTRU，其中所述一组面打包布局包括：可利、侧极半高、侧极全高、单行、两乘三和180度。3.根据权利要求1所述的WTRU，其中所述基本属性元素处于自适应集级和表示级之一。4.根据权利要求1所述的WTRU，其中所述MPD还包括针对所述媒体片段的来自一组视频类型的视频类型。5.根据权利要求4所述的WTRU，其中所述一组视频类型包括直线型、全景、球体和光场。6.根据权利要求5所述的WTRU，其中所述处理器还被配置为：确定所接收的媒体片段的视频类型，并使用所确定的视频类型重建所接收的媒体片段。7.根据权利要求1所述的WTRU，其中所接收的MPD还包括用于将所述360度视频从全向格式投影到直线型视频帧的至少一种投影格式。8.根据权利要求7所述的WTRU，其中所述投影格式包括以下之一：等距矩形、立方体、偏移立方体、压扁的球体、锥体和柱体。9.根据权利要求8所述的WTRU，其中所述处理器还被配置为：确定用于接收后续视频文件的投影格式，以及发送对所确定的投影格式的请求。10.根据权利要求1所述的WTRU，其中所述360度视频包括全向媒体应用格式(OMAF)文件。11.一种使用WTRU处理360度视频的方法，包括：接收与所述360度视频相关联的媒体呈现描述(MPD)，该MPD包括指示媒体片段的多面几何投影格式的面打包布局的基本属性元素；接收所述媒体片段；基于所述基本属性元素，从一组面打包布局确定用于所接收的媒体片段的至少一个面打包布局；以及基于所确定的至少一个面打包布局来构建所接收的媒体...

【专利技术属性】
技术研发人员：贺勇，叶艳，斯里尼瓦斯·古杜马苏，爱德华多·阿斯邦，阿赫麦德·哈姆扎，
申请(专利权)人：VID拓展公司，
类型：发明
国别省市：美国,US