虚拟现实视频中的用信号表示的感兴趣区域或视点的优选呈现制造技术

一种处理视频数据的方法包含：接收360度视频数据；接收指示所述360度视频数据的优选感兴趣区域或优选视点的一或多个第一语法元素；接收指示用于呈现所述优选感兴趣区域或优选视点的优选呈现操作的一或多个第二语法元素；及基于所述优选呈现操作而呈现所述360度视频数据。

Optimum Presentation of Region of Interest or View Represented by Signals in Virtual Reality Video

【技术实现步骤摘要】
【国外来华专利技术】虚拟现实视频中的用信号表示的感兴趣区域或视点的优选呈现本申请主张2016年12月19日提交的第62/436,245号美国临时申请的权益，所述申请的全部内容以引用的方式并入本文中。
本公开涉及虚拟现实(VR)视频，例如360度视频的处理及传输。
技术介绍
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置等。数字视频装置实施视频译码技术，例如描述于以下标准中的那些技术：由MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)、也称为高效视频译码(HEVC)的ITU-TH.265定义的标准，及此类标准的扩展。视频装置可通过实施这些视频译码技术而更有效率地传输、接收、编码、解码及/或存储数字视频信息。视频译码技术包含空间(图片内)预测及/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码，视频切片(例如，视频帧或视频帧的一部分)可分割成视频块，针对一些技术，视频块还可称为树块、译码单元(CU)及/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可称为帧，且参考图片可称为参考帧。空间或时间预测产生待译码块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据来编码。经帧内译码块根据帧内译码模式及残余数据来编码。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，可接着量化所述残余变换系数。可扫描最初布置成二维阵列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现甚至更多压缩。近年来，已开发用于译码及传输360度视频(例如，对于VR应用)的技术。由于VR视频技术的最新发展，用户所体验的视频环境已变得与视频本身的主题一样重要。此种VR视频技术可使用360度视频技术，所述360度视频技术涉及360度视频图形的实时流式传输及/或360度视频从360度摄像机或网站实时流式传输到实时视频显示器，例如，VR头戴式显示器。VRHMD允许用户通过转头改变视角来体验在其周围发生的动作。为了创建360度视频，可使用一组特殊的相机同时记录场景的全部360度，或多个视图(例如，视频及/或计算机产生的图像)可拼接在一起以形成图像。在已对视频数据进行编码之后，可将视频数据包化以用于传输或存储。视频数据可汇编到符合多种标准中的任一者，例如国际标准化组织(ISO)基础媒体文件格式及其扩展，例如AVC文件格式的视频文件中。
技术实现思路
本公开大体上描述与虚拟现实(VR)视频中的感兴趣区域或视点的译码(例如，编码或解码)有关的技术。在一些实例中，本公开描述用于用信号表示虚拟现实视频(例如，360度视频)中的优选感兴趣区域(ROI)或优选视点的优选或优先化呈现操作的技术。此种优选呈现操作可用于调整优选ROI或视点(例如，在导演的3D视频剪辑中)以适合用户显示器的大小及/或纵横比的情况。在本公开的一个实例中，处理视频数据的方法包括：接收360度视频数据；接收指示所述360度视频数据的优选感兴趣区域或优选视点的一或多个第一语法元素；接收指示用于呈现所述优选感兴趣区域或优选视点的优选呈现操作的一或多个第二语法元素；及基于所述优选呈现操作而呈现所述360度视频数据。在本公开的另一实例中，经配置以处理视频数据的设备包括：存储器，其经配置以存储360度视频数据；及一或多个处理器，其与所述存储器通信，所述设备经配置以接收360度视频数据；接收指示所述360度视频数据的优选感兴趣区域或优选视点的一或多个第一语法元素；接收指示用于呈现所述优选感兴趣区域或优选视点的优选呈现操作的一或多个第二语法元素；及基于所述优选呈现操作而呈现所述360度视频数据。在另一实例中，本公开描述一种非暂时性计算机可读存储媒体，所述非暂时性计算机可读存储媒体存储指令，所述指令在执行时使经配置以处理视频数据的装置的一或多个处理器执行以下操作：接收360度视频数据；接收指示所述360度视频数据的优选感兴趣区域或优选视点的一或多个第一语法元素；接收指示用于呈现所述优选感兴趣区域或优选视点的优选呈现操作的一或多个第二语法元素；及基于所述优选呈现操作而呈现所述360度视频数据。在本公开的另一实例中，处理视频数据的方法包括：对360度视频数据进行编码；产生指示所述360度视频数据的优选感兴趣区域或优选视点的一或多个第一语法元素；产生指示用于呈现所述优选感兴趣区域或优选视点的优选呈现操作的一或多个第二语法元素；及通过所述经编码360度视频数据用信号表示所述一或多个第一语法元素及所述一或多个第二语法元素。附图及以下描述中阐述了一或多个实例的细节。其它特征、目标及优点将从描述及图式以及权利要求书中显而易见。附图说明图1是说明实施用于在网络上发送媒体数据的技术的实例系统的框图。图2是更详细地说明图1的系统的框图。图3是说明可经配置以执行本公开的技术的视频编码器的实例的框图。图4是说明可经配置以执行本公开的技术的视频解码器的实例的框图。图5是说明本公开的实例方法的流程图。图6是说明本公开的另一实例方法的流程图。具体实施方式本公开涉及虚拟现实(VR)视频。更具体来说，本公开描述用于用信号表示VR视频中的优选感兴趣区域(ROI)及/或视点(也称为最感兴趣区域)的技术。本公开还描述用信号表示及接收用于VR视频数据中的用信号表示的ROI及/或视点的优选呈现及/或解码的指示的技术。本公开的一或多个技术可包含用于在VR视频中创建一组一或多个ROI的技术；用于用信号表示及重构ROI的信息的技术；及用于在VR视频内容的编码、流式传输、播放及管理时使用所述信息的技术。一般来说，本公开描述用于产生视频内容的技术，所述视频内容包含表示视频数据(例如，360度VR视频数据)的图像的一或多个优选感兴趣区域或优选视点的数据。导演或制作者可选择一或多个最感兴趣区域，或计算装置可从服务或内容提供商的用户统计数据中导出一或多个最感兴趣区域，例如，当通过流式传输服务提供全向视频内容时，通过已请求/用户看到最多的哪些区域的统计数据。在任何情况下，客户端装置可使用一或多个最感兴趣区域来预提取一或多个最感兴趣区域的视频数据，以改进视频，例如还称为360度视频的虚拟现实视频的播放。在一些实例中，本公开描述用于用信号表示虚拟现实视频(例如，360度视频)中的优选感兴趣区域(ROI)或优选视点的优选或优先化呈现操作的技术。此种优选呈现操作可用于调整优选ROI或视点(例如，在导演的3D视频剪辑中)以适合用户显示器的大小及/或纵横比的情况。举例来说，客户端装置可使用在标头或消息中接收的用于本文档来自技高网...

【技术保护点】
1.一种处理视频数据的方法，所述方法包括：接收360度视频数据；接收指示所述360度视频数据的优选感兴趣区域或优选视点的一或多个第一语法元素；接收指示用于呈现所述优选感兴趣区域或优选视点的优选呈现操作的一或多个第二语法元素；及基于所述优选呈现操作而呈现所述360度视频数据。

【技术特征摘要】
【国外来华专利技术】2016.12.19 US 62/436,245;2017.12.18 US 15/845,8621.一种处理视频数据的方法，所述方法包括：接收360度视频数据；接收指示所述360度视频数据的优选感兴趣区域或优选视点的一或多个第一语法元素；接收指示用于呈现所述优选感兴趣区域或优选视点的优选呈现操作的一或多个第二语法元素；及基于所述优选呈现操作而呈现所述360度视频数据。2.根据权利要求1所述的方法，进一步包括：对所述接收到的360度视频数据进行解码。3.根据权利要求1所述的方法，其中所述一或多个第二语法元素包含以下指示：所述优选呈现操作包含呈现所述优选感兴趣区域或优选视点，而不改变所述优选感兴趣区域或优选视点的纵横比，及其中呈现所述360度视频数据呈现所述优选感兴趣区域或优选视点，而不改变所述优选感兴趣区域或优选视点的所述纵横比。4.根据权利要求1所述的方法，其中所述一或多个第二语法元素包含以下指示：所述优选呈现操作包含通过最小化未由所述优选感兴趣区域或优选视点覆盖的所述360度视频数据的呈现部分来呈现所述优选感兴趣区域或优选视点，及其中呈现所述360度视频数据包括通过最小化未由所述优选感兴趣区域或优选视点覆盖的所述360度视频数据的呈现部分来呈现所述优选感兴趣区域或优选视点。5.根据权利要求1所述的方法，其中所述一或多个第二语法元素包含以下指示：所述优选呈现操作包含通过保持所述优选感兴趣区域或优选视点的纵横比不变，及通过剪切所述优选感兴趣区域或优选视点以适合显示器的纵横比来最小化未由所述优选感兴趣区域或优选视点覆盖的所述360度视频数据的呈现部分而呈现所述优选感兴趣区域或优选视点，及其中呈现所述360度视频数据包括通过保持所述优选感兴趣区域或优选视点的所述纵横比不变，及通过剪切所述优选感兴趣区域或优选视点以适合所述显示器的所述纵横比来最小化未由所述优选感兴趣区域或优选视点覆盖的所述360度视频数据的呈现部分而呈现所述360度视频数据。6.根据权利要求1所述的方法，其中所述一或多个第二语法元素包含以下指示：所述优选呈现操作包含通过保持所述优选感兴趣区域或优选视点的纵横比不变，及通过呈现所述360度视频的相邻区域以适合显示器的纵横比来最小化未由所述优选感兴趣区域或优选视点覆盖的所述360度视频数据的呈现部分而呈现所述优选感兴趣区域或优选视点，及其中呈现所述360度视频数据包括通过保持所述优选感兴趣区域或优选视点的所述纵横比不变，及通过呈现所述360度视频的相邻区域以适合所述显示器的所述纵横比来最小化未由所述优选感兴趣区域或优选视点覆盖的所述360度视频数据的呈现部分而呈现所述360度视频数据。7.根据权利要求1所述的方法，其中所述一或多个第二语法元素包含以下指示：所述优选呈现操作包含通过保持所述优选感兴趣区域或优选视点的纵横比不变，及通过将横幅添加到所述优选感兴趣区域或优选视点以适合显示器的纵横比来最小化未由所述优选感兴趣区域或优选视点覆盖的所述360度视频数据的呈现部分而呈现所述优选感兴趣区域或优选视点，及其中呈现所述360度视频数据包括通过保持所述优选感兴趣区域或优选视点的所述纵横比不变，及通过将横幅添加到所述优选感兴趣区域或优选视点以适合所述显示器的所述纵横比来最小化未由所述优选感兴趣区域或优选视点覆盖的所述360度视频数据的呈现部分而呈现所述360度视频数据。8.根据权利要求1所述的方法，其中所述一或多个第二语法元素包含以下指示：所述优选呈现操作包含通过使用非线性翘曲技术修改所述优选感兴趣区域或优选视点的纵横比以适合显示器的纵横比来呈现所述优选感兴趣区域或优选视点，及其中呈现所述360度视频数据包括通过使用非线性翘曲技术修改所述优选感兴趣区域或优选视点的所述纵横比以适合所述显示器的所述纵横比来呈现所述360度视频数据。9.根据权利要求1所述的方法，其中接收所述一或多个第二语法元素包括接收全向视点辅助增强信息SEI消息中的preferred_rendering_operation语法元素，其中所述preferred_rendering_operation语法元素的值指示未指定呈现偏好、呈现所述优选感兴趣区域或优选视点的相邻区域、将横幅添加在所述优选感兴趣区域或优选视点周围，或剪切所述优选感兴趣区域或优选视点中的一者。10.一种经配置以处理视频数据的设备，所述设备包括：存储器，其经配置以存储360度视频数据；及与所述存储器通信的一或多个处理器，所述设备经配置以：接收360度视频数据；接收指示所述360度视频数据的优选感兴趣区域或优选视点的一或多个第一语法元素；接收指示用于呈现所述优选感兴趣区域或优选视点的优选呈现操作的一或多个第二语法元素；及基于所述优选呈现操作而呈现所述360度视频数据。11.根据权利要求10所述的设备，其中所述一或多个处理器进一步经配置以：对所述接收到的360度视频数据进行解码。12.根据权利要求10所述的设备，其中所述一或多个第二语法元素包含以下指示：所述优选呈现操作包含呈现所述优选感兴趣区域或优选视点，而不改变所述优选感兴趣区域或优选视点的纵横比，及其中所述一或多个处理器进一步经配置以呈现所述优选感兴趣区域或优选视点，而不改变所述优选感兴趣区域或优选视点的所述纵横比。13.根据权利要求10所述的设备，其中所述一或多个第二语法元素包含以下指示：所述优选呈现操作包含通过最小化未由所述优选感兴趣区域或优选视点覆盖的所述360度视频数据的呈现部分来呈现所述优选感兴趣区域或优选视点，及其中所述一或多个处理器进一步经配置以通过最小化未由所述优选感兴趣区域或优选视点覆盖的所述360度视频数据的呈现部分来呈现所述优选感兴趣区域或优选视点。14.根据权利要求10所述的设备，其中所述一或多个第二语法元素包含以下指示：所述优选呈现操作包含通过保持所述优选感兴趣区域或优选视点的纵横比不变，及通过剪切所述优选感兴趣区域或优选视点以适合显示器的纵横比来最小化未由所述优选感兴趣区域或优选视点覆盖的所述360度视频数据的呈现部分而呈现所述优选感兴趣区域或优选视点，及其中所述一或多个处理器进一步经配置以...

【专利技术属性】
技术研发人员：王业奎，G·范德奥维拉，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国,US