用于用信号通知360度视频信息的方法和系统技术方案

描述用于360度视频的译码技术。编码器选择投影格式，并使用所选择的投影格式将360度视频映射到2D平面视频。编码器对比特流中的2D平面视频进行编码，并且在比特流中进一步的用信号通知标识投影格式的参数。标识投影格式的参数可以在比特流的视频参数集、序列参数集和/或图片参数集中被用信号通知。可能用信号通知的不同投影格式包括使用如等距柱状、立方体贴图、等面积、八面体、二十面体、圆柱体和用户指定的多边形的几何的格式。可能用信号通知的其他参数包括用于几何面的不同布置或不同面的不同编码质量。还描述了相应的解码器。在一些实施方式中，投影参数还可以包括限定投影几何形状的方位的相对几何旋转参数。

【技术实现步骤摘要】
【国外来华专利技术】用于用信号通知360度视频信息的方法和系统相关申请的交叉引用本申请是根据35U.S.C.§119(e)要求于2016年9月2日提交、名称为“用于用信号通知360度视频信息的方法和系统”的美国临时专利申请序列号62/383,367和于2016年10月12日提交、名称为“用于用信号通知360度视频信息的方法和系统”的美国临时专利申请序列号62/407,337的权益，其全部内容通过引用并入本文。
技术介绍
虚拟现实(VR)正在从研究实验室走出并进入我们的日常生活中。VR有很多应用领域：医疗保健、教育、社交网络、行业设计/培训、游戏、电影、购物、娱乐等。它受到行业和消费者的高度关注，因为VR能够带来身临其境的观看体验。它创建一个围绕着观看者的虚拟环境，并可能产生一种“正在存在”的真实感觉。如何在VR环境中提供完整的真实感觉对于用户的体验很重要。例如，VR系统应该通过姿态、手势、眼睛凝视、声音等来支持交互。为了允许用户以自然的方式与VR世界中的对象交互，系统还可以向用户提供触觉反馈。现今的VR系统使用360度视频来为用户提供从水平方向360度角度和垂直方向180度角度观看场景的能力。同时，VR和360度视频被视为超出超高清(UHD)服务的媒体消费的未来方向。为了提高VR中360度视频的质量，规范VR客户端互操作性的处理链，2016年初，属于MPEG-A(多媒体应用程序格式)部分-19的adhoc组已在ISO/IEC/MPEG建立，以致力于全方位媒体应用格式的要求和潜在技术。另一个adhoc组，免费观看电视(FTV)，发布了360度3D视频应用的探索实验。FTV的一个主要目标是测试两种解决方案的性能：(1)基于360度视频(全向视频)的系统；(2)基于多视图的系统。来自MPEG和ITU-T的联合视频探索团队(JVET)正在探索下一代视频译码标准的新技术，发布了包括VR在内的测试序列的召集。在2016年6月的会议上，adhoc组(AHG8)成立，AHG8组的任务是制定360视频译码的常用测试条件、测试序列格式和评估标准。AHG8还将研究应用不同投影方法时对压缩的影响，以及转换软件时对压缩的影响。行业正在努力提高VR处理链中各个方面的质量和用户体验，包括捕获、处理、显示和应用。在捕获方面，VR系统使用多个摄像机系统从不同的视图捕获场景(例如，在某些情况下，大约6到12个视图)。将这些视图缝合(stitch)在一起形成高分辨率(例如4K或8K)的360度视频。在客户端或用户侧，当前的虚拟现实系统通常包括计算平台、头戴式显示器(HMD)和头部跟踪传感器。计算平台负责接收和解码360度视频，并生成视口进行显示。两张照片(每个眼睛一个)针对视口而呈现。这两张照片显示在HMD中，用于立体观看。可以使用透镜来放大显示在HMD中的图像以便更好地观看。头跟踪传感器可以不断地跟踪观看者的头部方位(orientation)，并且将方位信息馈送到系统以显示用于该方位的视口图片。一些VR系统可以为观看者提供专门的触摸设备来与虚拟世界中的对象进行交互。存在市场上可获得的现有的VR系统。一种是Oculus提供的Rift，以及来自三星和Oculus的GearVR。Rift由具有良好的GPU支持的强大的工作站驱动。GearVR是一种轻型VR系统，它使用作为计算平台的智能手机、HMD显示器和头部跟踪传感器。第二种VR系统是HTCVive系统。Rift和Vive具有相似的性能。空间HMD分辨率为2160×1200，刷新率为90Hz，视场(FOV)约为110度。头跟踪传感器的采样率为1000Hz，可以捕获非常快的运动。谷歌也有一个简单的VR系统叫做纸盒(cardboard)。Google纸盒有一个镜头和纸盒组件，类似于GearVR，它是由智能手机驱动的。索尼也提供了用于游戏的PlayStationVR。在360度视频流服务方面，YouTube和Facebook跻身于早期的供应商之中。在这些当前的VR系统中，诸如互动和触觉反馈等体验的质量仍然需要进一步改进。例如，现今的HMD仍然太大，不方便穿戴。此外，由HMD提供的立体视图的当前分辨率2160×1200是不够的，并且可能导致一些用户头晕和不适。因此，增加分辨率将是有益的。此外，将VR环境中的视觉感觉与现实世界中的力量反馈相结合，是增强VR体验的一个选择。VR过山车是一示例应用。许多公司正在开展360度视频压缩和传送系统，他们有自己的解决方案。例如，GoogleYouTube为基于DASH的360度视频流提供了渠道。Facebook还拥有360度视频传送解决方案。本文的系统和方法旨在解决与360度视频数据编码和解码有关的问题。
技术实现思路
在编码360度视频的示例性方法中，编码器选择投影格式，其中投影格式包括诸如几何类型和/或几何方位的信息。编码器使用所选投影格式将360度视频映射到2D平面视频。编码器对比特流中的2D平面视频进行编码，并且在比特流中进一步的用信号通知标识投影格式的参数。可以使用各种几何类型并且可以在比特流中用信号通知，包括等距柱状(equirectangular)、立方体贴图贴图(cubemap)、等面积、八面体、二十面体、圆柱体和用户指定的多边形。对于与多个面相关联的几何类型，可以用信号通知帧打包参数以标识2D平面视频中那些面的位置和/或方位。可以用不同的尺寸和/或不同的质量水平对不同的面进行编码。标识几何方位的参数可以包括偏航参数、俯仰参数和滚动参数中的至少一者。标识投影格式的参数可以在比特流的视频参数集、序列参数集和/或图片参数集中被用信号通知。可以基于速率失真优化来选择投影参数。视频中的不同图片或不同序列可以使用不同的投影格式进行编码(例如，当不同的图片或序列对于不同投影格式具有较高的速率失真性能时)，在适当的参数集处提供用信号通知投影格式参数。还描述了相应的解码技术。在本公开中描述的是用于360度视频译码的示例性语法。语法元素可以用于指定投影几何和/或使用网格系统来指定在帧打包图片中的面的布置。面可以具有不同的尺寸和/或方位。在一些实施方式中，2-D平面上的面布置可以具有各种特征，例如沿着每列/行的恒定的面宽度/高度。在一些实施方式中，使用任何基于多边形的表示来描述用户指定几何体的示例性语法。在一些实施方式中使用的附加特征可以包括：使用标志来跳过用于填充帧打包图片的样本、在逐个面的级别上用信号通知增量量化参数(QP)、使能/禁用特定面之间的环路滤波器的标志、和/或仅对360视频的特定区域进行译码语法。在一些实施方式中，投影参数还可以包括相对几何旋转参数。这样的参数可以限定投影几何的方位。投影几何可以被选择性地定向，使得感兴趣的对象基本上完全包括在投影几何的单个面内。在以不同质量水平(例如不同QP值)编码不同面的实施方式中，投影几何可以被定向成使得感兴趣对象基本上完全包含在用相对高质量水平编码的面内。附图说明从以下结合附图通过示例提供的描述可以具有更详细地理解，其中：图1A示出了球体几何上的使用在经度和纬度上的球体采样的等距柱状投影。图1B示出了针对图1A中的采样的2D平面等距柱状投影，其中在图1A中的球体上的点P被投影到2D平面中的点q。图1C是具有等距柱状投影的示例图片的本文档来自技高网...

【技术保护点】
1.一种用于解码在比特流中编码的360度视频的方法，该方法包括：接收编码2D平面视频的比特流，所述比特流包括标识投影几何格式的参数；以及使用所标识的投影几何格式将所述2D平面视频映射到360度视频。

【技术特征摘要】
【国外来华专利技术】2016.09.02 US 62/383,367;2016.10.12 US 62/407,3371.一种用于解码在比特流中编码的360度视频的方法，该方法包括：接收编码2D平面视频的比特流，所述比特流包括标识投影几何格式的参数；以及使用所标识的投影几何格式将所述2D平面视频映射到360度视频。2.根据权利要求1所述的方法，其中，所述比特流还包括指示所述比特流是否编码360度视频的参数，其中仅当所述参数指示所述比特流表示360度视频时，才执行所述2D平面视频到所述360度视频的映射。3.根据权利要求1所述的方法，其中，所述投影格式包括投影几何类型，并且其中所述标识所述投影格式的参数包括标识所述投影几何类型的参数。4.根据权利要求3所述的方法，其中，所述标识所述投影几何类型的参数包括所标识的投影几何类型的索引。5.根据权利要求3所述的方法，其中，所述标识所述投影几何类型的参数标识从以下中的一者或多者中选择的几何类型：等距柱状、立方体贴图、等面积、八面体、二十面体、圆柱体和用户指定的多边形。6.根据权利要求3所述的方法，其中，所标识的投影几何类型具有多个面，并且其中所述标识所述投影几何类型的参数包括面数的指示。7.根据权利要求3所述的方法，其中，所标识的投影几何类型具有多个面，并且其中所述标识所述投影几何类型的参数包括标识所述2D平面视频中的所述面的布置的帧打包参数。8.根据权利要求1所述的方法，其中，所标识的投影格式具有多个面，并且其中所述比特流还包括标识所述2D平面视频中的所述面的质量水平的参数。9.根据权利要求1所述的方法，其中，所述投影几何格式包括投影几何的几何方位，并且其中所述标识所述投影几何格式的参数包括标识所述几何方位的参数。10.根据权利要求9所述的方法，其中，所述标识所述几何方位的参数包括以下至少一者：偏航参数、俯仰参数和滚动参数。11.根据权利要求9所述的方法...

【专利技术属性】
技术研发人员：菲利普·汉哈特，贺玉文，叶艳，
申请(专利权)人：VID拓展公司，
类型：发明
国别省市：美国,US