在流媒体中推导和用信号发送区域和视口制造技术

本发明专利技术的方面提供一种来自参考媒体展示的其他子区域的用户选择的子区域(例如，视口或感兴趣的区域)的动态构建的方法或系统。参考媒体展示的分量被编码为分量轨道。流解码器接收参考媒体展示的流媒体文件并显示参考媒体展示的任意选择的子区域。流媒体文件具有(i)参考多个分量轨道中的一个或多个分量轨道并且(ii)基于所参考的分量轨道的媒体样本指定用于构建媒体样本的一组操作的推导轨道流解码器通过取回参考的分量轨道并执行由推导轨道指定的一组操作来为选择的子区域提供媒体样本。

Derivation and Use of Signal Transmitting Area and Viewport in Streaming Media

Aspects of the present invention provide a method or system for dynamically constructing user-selected sub-regions (e.g., viewports or regions of interest) from other sub-regions displayed in reference media. The components shown in the reference media are coded as component orbits. The stream decoder receives streaming media files displayed by the reference media and displays arbitrarily selected sub-regions displayed by the reference media. Streaming media files have (i) reference to one or more component orbits in multiple component orbits and (ii) derivation orbital stream decoders specify a set of operations for constructing media samples based on the media samples of the reference component orbits to provide media samples for selected sub-regions by retrieving the reference component orbits and performing a set of operations specified by the derivation orbits.

【技术实现步骤摘要】
【国外来华专利技术】在流媒体中推导和用信号发送区域和视口交叉引用本专利技术主张在2016年10月17日提出的申请号为62/408,867的美国临时专利申请的优先权；主张在2016年10月20日提出的申请号为62/410,414的美国临时专利申请的优先权，其内容整体以引用方式并入本文中。
本专利技术涉及媒体内容的传送，且更具体而言，涉及对于感兴趣区域(regionofinterest，ROI)的支持或者360度虚拟现实(360-degreevirtualreality，360VR)视频展示的视口。
技术介绍
除非此处另有说明外，本部分所描述的方法相对于权利要求保护的范围来说不是现有技术，并且本部分包含的内容不被承认是现有技术。视频编码被广泛地应用，应用范围包括多媒体信息发送、通过行动电视的视频通话和视频会议、无线和因特网视频流、标清和高清电视广播以及虚拟现实(virtualreality，VR)。此外，视频内容被传送到各种具有异构显示和计算能力的解码设备。360度虚拟现实(360-degreeVirtualReality，360VR)是具有可变的、增强的或者可代替的环境的视听仿真。虚拟现实视频环绕着用户，允许用户从任意方向或任意视角观看，就像他或她在现实生活中能做的一样。360VR视频生成超级高质量和高分辨率的全景视频，其可用于例如娱乐、飞行员训练、外科手术以及太空或者深水探测之类的各种应用的印刷和全景虚拟旅游产品。
技术实现思路
以下概述仅用于说明，并不用于以任意方式限制本专利技术。也就是说，提供以下概述用于介绍本文中描述的新颖且非显而易见的技术的概念、亮点、益处和优点。在接下来的描述中将详细描述选择的而不是所有的实施方式。因此，下面的概述不是为了标识所要保护的主题的基本特征，也不是用于确定所要保护的主题的范围。流媒体编码器接收用于参考媒体展示的媒体内容。流编码器将接收到的媒体内容编码为多个分量轨道。每个分量轨道包含用于参考媒体展示的分量的媒体或元数据样本。流编码器对推导轨道进行编码，该推导轨道(i)参考多个分量轨道中的一个或多个并且(ii)基于来自分量参考轨道的媒体或元数据样本指定用于构建该参考媒体展示的子区域的该媒体和元数据样本的一组操作。流编码器存储编码的分量轨道和编码的推导轨道以用于(例如，通过流、下载等)作为流媒体文件取回。流解码器接收包括用于参考媒体展示的推导轨道的流媒体文件。流解码器选择参考媒体展示中的子区域(例如，ROI)。流解码器从流媒体文件中取回推导轨道。流解码器接收由推导轨道参考的参考分量轨道。流解码器然后通过执行由推导轨道指定的一组操作来为选择的子区域提供媒体样本。在一些实施例中，指定的一组操作可以包括根据存储在一个或多个参考分量轨道中的元数据样本来构建子区域轨道的指令。该指令可以包括对存储媒体样本的一个或多个分量轨道和存储元数据样本的一个或多个分量轨道的轨道参考。该指令还可以包括调用对存储媒体样本的一个或多个分量轨道和存储元数据样本的一个或多个分量轨道的轨道参考的构造器。该指令还可以包括对存储媒体样本的一个或多个分量轨道的轨道参考以及用于指示元数据样本存储在推导轨道中的指示符。附图说明提供下列图式以进一步理解本专利技术公开的内容，并且这些图式被纳入且构成本专利技术公开的一部分。这些图式说明了本专利技术的实施方式，并与说明书一起用以解释本专利技术的原理。为了清楚地说明本专利技术的概念，由于与实际实施方式中的尺寸相比，一些组件可以不按照比例被示出，这些图式无需按照比例绘制。图1是对于参考媒体展示任意选择的子区域的动态构建。图2是支持所选子区域的动态构建的生成的媒体文件的编码、传输和解码。图3是流编码器的示例。图4是流解码器的示例。图5是基于轨道构建器的信号机制。图6是基于视口或ROI定义元数据的信号机制。图7是基于视口/ROI定义样本描述的信号机制。图8是样本ROI转换属性的语法示例。图9是样本视口转换属性的语法示例。图10是参数shape的可能值的表格。图11示出了用于生成分量轨道和至少一个参考至少部分分量轨道的推导轨道的过程。图12是用于基于流媒体文件中的推导轨道动态构建指定的子区域(例如，视口或ROI)的过程。图13是实现流编码器中的视频编码器中的至少部分的视频编码器的示例。图14是实现流编码器中的视频解码器中的至少部分的视频解码器的示例。图15是实现本专利技术的一些实施例的电子系统。具体实施方式在下面的详细描述中，为了提供对相关教导的透彻理解，通过举例说明许多具体细节。基于本文描述的教导的任意变化、推导出的和/或扩展都在本专利技术的保护范围内。在某些情况下，可以在相对较上位的级别上描述与本文中公开的一个或多个实施方式示例有关的众所周知的方法、程序、分量和/或电路，以免不必要的模糊本专利技术教导的方面。I.基于推导出的路径的动态ROI构建对于例如虚拟现实(virtualreality，VR)、自由视口电视(freeviewpointtelevision，FTV)、感兴趣区域(regionofinterest，ROI)以及视频图块(videotile)组成的应用，本专利技术的一些实施例提供了一种支持用户从参考媒体展示的其他子区域中选择的子区域(例如视口或ROI)的动态构建方法和/或系统。在系统的流媒体编码器和/或发送器一侧，不同的空间对象(例如不同的子区域、视图、角度、视口、ROI等等)可以被编码并作为流媒体文件中的不同的分量轨道传输。在系统的解码器和/或接收器的一侧，用户可以从参考媒体展示的子区域中动态地或者任意地选择一个子区域，解码器从流媒体文件中的不同的分量轨道中构建动态选择的子区域的内容。参考媒体展示可以是视频、音频和/或其他类型的媒体内容(例如标题和定时文本)的展示，其可以包括几种不同的分量。这些分量可以是视频分量或者音频分量，其占据了参考媒体展示的不同的空间和/或时间位置。这样的分量的示例可以包括图形迭加、视频片段、音频片段或者定义的子区域。定义的子区域可对应于更多的参考媒体展示的指定的方面、角度、视图、区域、视口或ROI。例如，参考媒体展示可以是包括柏拉图立体投影格式(例如，立方体映射投影、八面体投影)或其他类型的投影格式(例如，球面投影、等面积投影)的全方位图像的360度虚拟现实(360-degreeVirtualReality，360VR)展示。在这些情况下，不同的分量可以对应于全方位图像的不同面或子区域。不同的分量还可以对应于360度虚拟现实(360-degreeVirtualReality，360VR)展示的不同部分上的不同ROI或视口(例如，由参考媒体展示的作者预定义)。每个分量具有对应的媒体样本和/或元数据，其可以被存储在流媒体文件的相应分量轨道中。分量的媒体样本可以包括该分量的压缩的视觉或音频值的样本。分量的元数据样本定义分量的元数据，包括分量的空间和时间属性，例如位置，时间信息或转换属性或ROI。图1是对于参考媒体展示110任意选择的子区域的动态构建。参考媒体展示110是具有若干分量111-119的360VR展示。该图将分量111-119示出为在参考媒体展示110上的预定义的ROI或视口。在一些实施例中，分量111-119也可以是360VR展示中的全方位图像的不同视图或面。参考媒体展示的分量111-11本文档来自技高网...

【技术保护点】
1.一种方法，其特征在于，包括：接收用于参考媒体展示的媒体内容；对接收到的该媒体内容编码为多个分量轨道，每个分量轨道包括用于该参考媒体展示的分量的媒体或元数据样本；对推导轨道进行编码，该推导轨道(i)参考该多个分量轨道中的一个或多个，并且(ii)基于该媒体或元数据样本指定用于构建该参考媒体展示的子区域的该媒体和元数据样本的一组操作；以及存储编码的该分量轨道和编码的该推导轨道以供取回。

【技术特征摘要】
【国外来华专利技术】2016.10.17 US 62/408,867;2016.10.20 US 62/410,414;1.一种方法，其特征在于，包括：接收用于参考媒体展示的媒体内容；对接收到的该媒体内容编码为多个分量轨道，每个分量轨道包括用于该参考媒体展示的分量的媒体或元数据样本；对推导轨道进行编码，该推导轨道(i)参考该多个分量轨道中的一个或多个，并且(ii)基于该媒体或元数据样本指定用于构建该参考媒体展示的子区域的该媒体和元数据样本的一组操作；以及存储编码的该分量轨道和编码的该推导轨道以供取回。2.如权利要求1所述的方法，其特征在于，该子区域对应于视口或感兴趣区域，并且该多个分量轨道中的每个分量轨道是为一个子区域提供媒体样本的子区域轨道。3.如权利要求1所述的方法，其特征在于，该方法进一步包括：接收对该多个分量轨道的子集的请求；以及仅仅传输该请求的分量轨道。4.如权利要求1所述的方法，其特征在于，该组操作包括根据一个或多个该参考分量轨道的元数据样本来构建用于该推导轨道的子区域轨道的媒体样本的指令。5.如权利要求4所述的方法，其特征在于，该指令包括对存储媒体样本的一个或多个分量轨道的以及存储元数据样本的一个或多个分量轨道的轨道参考。6.如权利要求4所述的方法，其特征在于，该指令包括构造器，该构造器调用对存储媒体样本的一个或多个分量轨道和存储元数据样本的一个或多个分量轨道的该轨道参考。7.如权利要求4所述的方法，其特征在于，该指令包括对存储媒体样本的一个或多个分量轨道的该轨道参考以及用于指示该元数据样本被存储在该推导轨道中的指示符。8.如权利要求1所述的方法，其特征在于，由该推导轨道指定的该组操作包括要在输入图像的有序列表上执行的操作的有序列表或来自用于该参考媒体展示的该多个分量轨道的样本。9.如权利要求8所述的方法，其特征在于，该参考分量轨道中的一个或多个是存储元数据样本的元数据轨道，其中参考的元数据轨道的每个元数据样本指定该参考媒体演示中的子区域的维度和子区域的位置以用于执行操作的该有序列表。10.如权利要求9所述的方法，其特征在于，该子区域对应于视口，并且该参考媒体展示是360度虚拟现实视频展示，并且其中每个元数据样本还指定该视口与该参考媒体展示相关的一组角度，用于执行操作的该有序列表。11.如权利要求9所述的方法，其特征在于，每个元数据样本还指定该子区域的形状。12.一种方法，其特征在于，包括：接收用于包括多个分量的参考媒体展示的流媒体文件，该多个分量中的每一个具有对应的分量轨道，每个分量轨道包括媒体或元数据样本，其中该流媒体文件包括推导轨道，该推导轨道(i)参考该多个分量轨道中的一个或多个并且(ii)基于该参考分量轨道的媒体样本指定用于构建媒体样本的一组操作；在...

【专利技术属性】
技术研发人员：王新，赖柏霖，陈鲁林，刘杉，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71