感兴趣区的信号发送的系统和方法技术方案

本发明专利技术提供用于处理视频数据的技术和系统。在一个实例中，能够获得与360度视频数据相关联的媒体文件。所述360度视频数据能够包含场景的球面表示。所述媒体文件能够包含对应于所述球面表示中的感兴趣区ROI的视口区的第一信令信息和第二信令信息。所述第一信令信息能够包含在与所述球面表示相关联的球面空间中所测量的所述视口区的中心位置和尺寸。所述第二信令信息能够指示包括所述视口区的图片的区，所述图片是通过将包含所述ROI的所述球面表示投影到平面上而形成。来自所述图片的数据的对应于所述视口区的像素能够基于所述第一信令信息和所述第二信令信息而提取，且能够经提供以用于显现。

System and Method of Signal Transmitting in Region of Interest

【技术实现步骤摘要】
【国外来华专利技术】感兴趣区的信号发送的系统和方法
本申请案涉及视频译码和压缩。更确切地说，本申请案涉及产生和处理用于用信号发送感兴趣区的文件的系统和方法。
技术介绍
许多装置和系统允许处理并输出视频数据以供消耗。数字视频数据包含大量数据以满足消费者和视频提供者的需求。举例来说，视频数据的消费者需要具有最优质量(具有高保真度、分辨率、帧速率和其类似者)的视频。结果，满足这些需求所需的大量视频数据对处理和存储视频数据的通信网络和装置造成负担。各种视频译码技术可用于压缩视频数据。视频译码是根据一或多个视频译码标准执行。举例来说，视频译码标准包含高效视频译码(HEVC)、高级视频译码(AVC)、移动图片专家组(MPEG)译码，或其类似者。视频译码通常使用利用存在于视频图像或序列中的冗余的预测方法(例如，帧间预测、帧内预测或其类似者)。视频译码技术的重要目标是将视频数据压缩成促进视频数据的发射以及视频数据的显现两者的形式。
技术实现思路
在一些实例中，本文中描述用于产生针对360度视频内容的媒体文件的技术和系统，所述媒体文件包含所述360度视频内容中的一或多个感兴趣区(ROI)的信令信息。本文中还描述用于处理包含于媒体文件中的信令信息以提取来自视频内容的一或多个ROI以用于显现的技术和系统。360度视频内容可为通过拼接在某一时间点处俘获场景的一组图像形成的球面视频。360度视频图片的ROI可为俘获场景的某一部分的预定图片区(例如，基于导演剪切用以引导观众观看的区、统计上最可能在图片的呈现时间向用户显现的区，或其它预定感兴趣区)。还可基于(例如)观看者的定向动态地确定ROI。信令信息可用于各种用途，例如用于360度视频自适应流式传输中的数据预提取，用于在转码360度视频时的转码优化，用于高速缓存管理，用于促进360度视频的显现，外加其它。媒体文件可包含任何合适的流式传输媒体文件，例如用于根据经由超文本传送协议(HTTP)的动态自适应流式传输(称为DASH)的自适应位速率流式传输媒体的媒体呈现描述(MPD)，或根据任何其它合适的自适应流式传输协议的其它合适文件。在一些实例中，提供一种处理视频数据的方法。所述方法可包括获得与360度视频数据相关联的媒体文件，所述360度视频数据包含场景的球面表示，所述媒体文件包含对应于所述球面表示中的感兴趣区(ROI)的视口区的第一信令信息和第二信令信息，所述第一信令信息包含在与所述球面表示相关联的球面空间中所测量的所述视口区的中心位置和尺寸，且所述第二信令信息指示包括所述视口区的图片的区，所述图片是通过将包含所述ROI的所述球面表示投影到平面上而形成。所述方法可进一步包括基于所述第一信令信息和所述第二信令信息而提取来自所述图片的数据的对应于视口区的像素，和提供所述像素以显现所述视口区用于显示。在一些方面中，所述第一信令信息可包含所述视口区的中心相对于所述场景的所述球面表示的球面中心的第一角和第二角，所述第一角形成于第一平面上且所述第二角形成于第二平面上，所述第一平面垂直于所述第二平面。在一些方面中，所述第一信令信息可进一步包含与所述视口区的宽度相关联的第三角和与所述视口区的高度相关联的第四角。在一些方面中，所述第三角可形成于所述视口区的第一边缘与第二边缘之间；且其中所述第四角形成于所述视口区的第三边缘与第四边缘之间。在一些方面中，所述ROI可由与所述球面表示相交的至少四个平面界定；且其中所述四个平面中的每一个也与所述球面中心相交。在一些方面中，所述视口区的形状可基于所述至少四个平面与所述球面表示的相交区而确定。在一些方面中，对应于所述视口区的所述像素是基于所述形状而提取。在一些方面中，所述图片可包含多个图块。所述第二信令信息可定义包含所述视口区的所述图片的一或多个图块。在一些方面中，所述方法可进一步包括基于所述第二信令信息而从所述多个图块获得所述一或多个图块，和从所述一或多个图块提取所述像素。在一些方面中，所述第二信令信息可包含与所述图片中的所述一或多个图块相关联的一或多个坐标。所述一或多个图块可形成图块组，且所述第二信令信息可包含与所述图块组相关联的一组识别符。在一些方面中，所述多个图块为运动受限的图块。在一些方面中，所述第二信令信息可包含与视口区内的通过将所述ROI投影于平面上所形成的预定位置相关联的像素坐标、所述视口区的宽度和所述视口区的高度。所述媒体文件可基于国际标准组织(ISO)基本媒体文件格式(ISOBMFF)。所述媒体文件可识别包含对应于所述球面视频场景的视频样本的一样本组；且其中所述第一信令信息和所述第二信令信息包含于所述样本组的一或多个语法元素中。在一些方面中，所述媒体文件可基于媒体呈现描述(MPD)格式且包含一或多个适应集合。所述一或多个适应集合中的每一个可包含一或多个表示。所述第一信令信息、所述第二信令信息和到所述图片的链接可包含在与包含于所述一或多个表示中的所述ROI相关联的一或多个元素中。在一些方面中，所述方法可进一步包括基于包含于所述媒体文件中的所述链接而获得所述图片。在一些方面中，所述一或多个表示可为基于图块的表示，且所述第二信令信息可包含与图块相关联的识别符，所述图块包含所述一或多个基于图块的表示中所包含的所述ROI。在一些方面中，所述场景的所述球面表示可使用直线投影而投影到所述平面上。在一些方面中，所述方法可进一步包括基于所述第一信令信息和所述第二信令信息而提取来自所述图片的多个ROI的像素。在一些实例中，提供一种用于处理视频数据的设备。所述设备可包括：存储器，其被配置成存储360度视频数据；和处理器，其被配置成执行以下操作：获得与所述360度视频数据相关联的媒体文件，所述360度视频数据包含场景的球面表示，所述媒体文件包含对应于所述球面表示中的感兴趣区(ROI)的视口区的第一信令信息和第二信令信息，所述第一信令信息包含在与所述球面表示相关联的球面空间中所测量的所述视口区的中心位置和尺寸，且所述第二信令信息指示包括所述视口区的图片的区，所述图片是通过将包含所述ROI的所述球面表示投影到平面上而形成。所述处理器可被进一步配置成基于所述第一信令信息和所述第二信令信息而提取来自所述图片的数据的对应于所述视口区的像素，且提供所述像素以显现所述视口区用于显示。在一些方面中，所述处理器被进一步配置成从所述第一信令信息确定所述视口区的中心相对于所述场景的所述球面表示的球面中心的第一角和第二角，所述第一角形成于第一平面上且所述第二角形成于第二平面上，所述第一平面垂直于所述第二平面。在一些方面中，所述处理器被进一步配置成从所述第一信令信息确定与所述视口区的宽度相关联的第三角和与所述视口区的高度相关联的第四角。在一些方面中，所述第三角形成于所述视口区的第一边缘与第二边缘之间；且其中所述第四角形成于所述视口区的第三边缘与第四边缘之间。在一些方面中，所述ROI是由与所述球面表示相交的至少四个平面界定；且其中所述四个平面中的每一个也与所述球面中心相交。在一些方面中，所述处理器被进一步配置成基于所述至少四个平面与所述球面表示的相交区而确定所述视口区的形状。在一些方面中，所述处理器被配置成基于所述形状而提取对应于所述视口区的所述像素。在一些方面中，所述图片可包含多个图块，且所述第二信令本文档来自技高网...

【技术保护点】
1.一种处理视频数据的方法，所述方法包括：获得与360度视频数据相关联的媒体文件，所述360度视频数据包含场景的球面表示，所述媒体文件包含对应于所述球面表示中的感兴趣区ROI的视口区的第一信令信息和第二信令信息，所述第一信令信息包含在与所述球面表示相关联的球面空间中所测量的所述视口区的中心位置和尺寸，且所述第二信令信息指示包括所述视口区的图片的区，所述图片是通过将包含所述ROI的所述球面表示投影到平面上而形成；基于所述第一信令信息和所述第二信令信息而提取来自所述图片的数据的对应于所述视口区的像素；以及提供所述像素以显现所述视口区用于显示。

【技术特征摘要】
【国外来华专利技术】2016.12.07 US 62/431,375;2017.11.30 US 15/828,2811.一种处理视频数据的方法，所述方法包括：获得与360度视频数据相关联的媒体文件，所述360度视频数据包含场景的球面表示，所述媒体文件包含对应于所述球面表示中的感兴趣区ROI的视口区的第一信令信息和第二信令信息，所述第一信令信息包含在与所述球面表示相关联的球面空间中所测量的所述视口区的中心位置和尺寸，且所述第二信令信息指示包括所述视口区的图片的区，所述图片是通过将包含所述ROI的所述球面表示投影到平面上而形成；基于所述第一信令信息和所述第二信令信息而提取来自所述图片的数据的对应于所述视口区的像素；以及提供所述像素以显现所述视口区用于显示。2.根据权利要求1所述的方法，其中所述第一信令信息包含所述视口区的中心相对于所述场景的所述球面表示的球面中心的第一角和第二角，所述第一角形成于第一平面上且所述第二角形成于第二平面上，所述第一平面垂直于所述第二平面。3.根据权利要求1所述的方法，其中所述第一信令信息进一步包含与所述视口区的宽度相关联的第三角和与所述视口区的高度相关联的第四角。4.根据权利要求3所述的方法，其中所述第三角形成于所述视口区的第一边缘与第二边缘之间；且其中所述第四角形成于所述视口区的第三边缘与第四边缘之间。5.根据权利要求2所述的方法，其中所述ROI是由与所述球面表示相交的至少四个平面界定；且其中所述四个平面中的每一个也与所述球面中心相交。6.根据权利要求5所述的方法，其进一步基于所述至少四个平面与所述球面表示的所述相交而确定所述视口区的形状。7.根据权利要求6所述的方法，其中对应于所述视口区的所述像素是基于所述形状而提取。8.根据权利要求1所述的方法，其中所述图片包含多个图块；其中所述第二信令信息定义包含所述视口区的所述图片的一或多个图块；其中所述方法进一步包括：基于所述第二信令信息而从所述多个图块获得所述一或多个图块；以及从所述一或多个图块提取所述像素。9.根据权利要求8所述的方法，其中所述第二信令信息包含与所述图片中的所述一或多个图块相关联的一或多个坐标。10.根据权利要求8所述的方法，其中所述一或多个图块形成图块组，且其中所述第二信令信息包含与所述图块组相关联的组识别符。11.根据权利要求8所述的方法，其中所述多个图块为运动受限的图块。12.根据权利要求1所述的方法，其中所述第二信令信息包含与视口区内的通过将所述ROI投影于平面上所形成的预定位置相关联的像素坐标、所述视口区的宽度和所述视口区的高度。13.根据权利要求1所述的方法，其中所述媒体文件是基于国际标准组织ISO基本媒体文件格式ISOBMFF。14.根据权利要求13所述的方法，其中所述媒体文件识别包含对应于所述场景的所述球面表示的视频样本的样本组；且其中所述第一信令信息和所述第二信令信息包含于所述样本组的一或多个语法元素中。15.根据权利要求1所述的方法，其中：所述媒体文件是基于媒体呈现描述MPD格式且包含一或多个适应集合；所述一或多个适应集合中的每一个包含一或多个表示；且所述第一信令信息、所述第二信令信息和到所述图片的链接包含在与包含于所述一或多个表示中的所述ROI相关联的一或多个元素中；且其中所述方法包括：基于包含于所述媒体文件中的所述链接而获得所述图片。16.根据权利要求15所述的方法，其中所述一或多个表示为基于图块的表示，且其中所述第二信令信息包含与包含在所述基于图块的表示中所包含的所述ROI的图块相关联的识别符。17.根据权利要求1所述的方法，其中所述场景的所述球面表示是使用直线投影而投影到所述平面上。18.根据权利要求1所述的方法，其进一步包括：基于所述第一信令信息和所述第二信令信息而提取来自所述图片的多个ROI的像素。19.一种用于处理视频数据的设备，其包括：存储器，其被配置成存储360度视频数据；以及处理器，其被配置成执行以下操作：获得与所述360度视频数据相关联的媒体文件，所述360度视频数据包含场景的球面表示，所述媒体文件包含对应于所述球面表示中的感兴趣区ROI的视口区的第一信令信息和第二信令信息，所述第一信令信息包含在与所述球面表示相关联的球面空间中所测量的所述视口区的中心位置和尺寸，且所述第二信令信息指示包括所述视口区的图片的区，所述图片是通过将包含所述ROI的所述球面表示投影到平面上而形成；基于所述第一信令信息和所述第二信令信息而提取来自所述图片的数据的对应于所述视口区的像素；以及提供所述像素以显现所述视口区用于显示。20.根据权利要求19所述的设备，其中所述处理器被进一步配置成：从所述第一信令信息确定所述视口区的中心相对于所述场景的所述球面表示的球面中心的第一角和第二角，所述第一角形成于第一平面上且所述第二角形成于第二平面上，所述第一平面垂直于所述第二平面。21.根据权利要求19所述的设备，其中所述处理器被进一步配置成：从所述第一信令信息确定与所述视口区的宽度相关联的第三角和与所述视口区的高度相关联的第四角。22.根据权利要求20所述的设备，其中所述第三角形成于所述视口区的第一边缘与第二边缘之间；且其中所述第四角形成于所述视口区的第三边缘与第四边缘之间。23.根据权利要求19所述的设备，其中所述ROI是由与所述球面表示相交的至少四个平面界定；且其中所述四个平面中的每一个也与所述球面中心相交。24.根据权利要求23所述的设备，其中所述处理器被进一步配置成基于所述至少四个平面与...

【专利技术属性】
技术研发人员：G·范德奥维拉，王业魁，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国,US