用于轨道合成的方法及装置制造方法及图纸

本发明专利技术一方面提供了包括接口电路以及处理电路的装置。所述接口电路用于接收携带元数据的信号，所述元数据用于来自多个视觉轨道的视觉轨道合成的，所述视觉轨道合成包括α合成，以及可以包括空间合成以及背景合成。所述处理电路用于解析所述元数据来提取用于所述视觉轨道合成的配置信息。进一步地，所述处理电路接收来自第一视觉轨道的第一取样以及来自第二视觉轨道的第二取样，以及基于有关于所述视觉轨道合成的所述配置信息，组合所述第一取样以及所述第二取样来生成合成取样。

Methods and devices for orbit synthesis

【技术实现步骤摘要】
【国外来华专利技术】用于轨道合成的方法及装置相关引用本专利技术要求提交于2017年3月23日，号码为62/475,244的标题为“MethodandapparatusofcarriageanddeliveryofalphacompositingmetadatainMPEGfileformatformediaapplications”美国临时申请案、提交于2017年6月13日，号码为62/518,637的标题为“Methodandapparatusofmatrixandsub-picturetrackcompositionforOMAF”的美国临时申请案、提交于2017年7月12日，号码为62/531,378的标题为“MethodofSub-PictureTrackCompositionProcessing”的美国临时申请案以及提交于2017年10月11日，号码为62/570,697的标题为“Methodofusingthematrixsyntaxelementforsub-picturecomposition”的美国临时申请案的优先权，在先申请的全部内容在此以引用的方式纳入其中。
本专利技术所描述的多个实施例大体涉及视频编解码方法以及装置，更具体地涉及多轨道(multi-track)视觉数据处理技术。
技术介绍
此处所提供的背景描述用于总体上呈现本专利技术的背景的目的。在本背景部分中所描述的范围内的当前署名的专利技术者的工作，以及在提交时可能不符合现有技术的说明书的各方面，这些内容既不明示地承认为本专利技术的现有技术也不暗示地承认为本专利技术的现有技术。可以使用多个媒体轨道(mediatrack)的文件格式来存储以及递送媒体内容。在一个示例中，大的帧区域(frameregion)可被拆分成多个子图像(sub-picture)区域，以及用于大的帧区域的视频可以被存储为分别用于所述多个子图像区域的多个视觉轨道(visualtrack)。多个视觉轨道可以被递送以及组合来渲染视频用于大的帧区域。
技术实现思路
本专利技术一方面提供了一种包括接口电路以及处理电路的一种装置。所述接口电路用于接收携带元数据的信号，所述元数据用于来自多个视觉轨道的视觉轨道合成的，所述视觉轨道合成包括α合成，以及可以包括空间合成以及背景合成。所述处理电路用于解析所述元数据来提取用于视觉轨道合成的配置信息。进一步地，所述处理电路接收来自第一视觉轨道的第一取样以及来自第二视觉轨道的第二取样，以及基于用于所述视觉轨道合成的所述配置信息，将所述第一取样与所述第二取样组合来生成合成取样。在一个实施例中，所述处理电路用于解析转换性能箱中的所述元数据来提取用于所述视觉轨道合成的所述配置信息。在另一实施例中，所述处理电路用于解析子图像合成箱中的所述元数据来提取用于所述视觉轨道合成的所述配置信息。根据本专利技术一方面，所述处理电路用于解析所述元数据来提取指示空间合成的第一旗标、指示所述α合成的第二旗标以及指示背景合成的第三旗标。在一实施例中，所述处理电路用于当所述第二旗标表明在所述视觉轨道合成中使用所述α合成时，解析所述元数据来提取α合成模式以及与所述α合成模式有关的参数。进一步地，在一个示例中，所述处理电路用于当所述第一旗标表明在所述视觉轨道合成中使用所述空间合成时，解析所述元数据来提取用于所述空间合成的矩阵。所述矩阵可以提供于至少一个电影数据头、轨道数据头以及子图像数据头中。在另一示例中，其中所述处理电路用于当所述第三旗标表明在所述视觉轨道合成中使用所述背景合成时，解析所述元资料来提取用于所述背景合成的参数。本专利技术的一方面提供了另一种装置，所述装置包括处理电路以及内存电路。所述处理电路用于形成视觉数据的多个视觉轨道用于不同的视觉视图，以及决定元数据用于形成来自所述多个视觉轨道的视觉轨道合成。所述视觉轨道合成包括α合成，以及可以包括背景合成以及空间合成。进一步地，所述处理电路将所述元数据与所述多个视觉轨道封装到文件中，以及将所述文件存储于所述内存电路中。在一个实施例中，所述处理电路用于将转换性能箱中的所述元数据封装到所述文件中。在另一个实施例中，所述处理电路用于将子图像合成箱中的所述元数据封装到所述文件中。根据本专利技术一方面，所述处理电路用于在所述元数据中包括指示空间合成的第一旗标、指示所述α合成的第二旗标以及指示背景合成的第三旗标。在一个实施例中，所述处理电路用于当所述第二旗标表明在所述视觉轨道合成中使用所述α合成时，包括所述元数据的α合成模式以及与所述α合成模式有关的多个参数。在另一实施例中，所述处理电路用于当所述第一旗标表明在所述视觉轨道合成中使用所述空间合成时，包括用于所述空间合成的矩阵。所述矩阵可以包括于至少一个电影数据头箱、轨道头箱以及子图像合成箱中。进一步地，在一个示例中，所述处理电路用于当所述第三旗标表明在所述视觉轨道合成中使用所述背景合成时，将用于背景合成的多个参数包括于所述元数据中。本专利技术的一方面提供用于图像处理的一种方法，所述方法包括由装置的接口电路接收携带元数据的信号，所述元数据用于来自多个视觉轨道的视觉轨道合成，所述视觉轨道合成包括α合成，以及可以包括空间合成以及背景合成。进一步地，所述方法包括由所述装置的处理电路解析所述元数据来提取用于所述视觉轨道合成的配置信息。然后所述方法包括接收来自第一视觉轨道的第一取样以及来自第二视觉轨道的第二取样，以及基于用于所述视觉轨道合成的所述配置信息，将所述第一取样与所述第二取样组合来生成合成取样。附图说明作为示例提出的本专利技术的各种实施例将参考后续的附图详细描述，其中，相同的附图标记表示相同的组件，其中：图1示出了根据本专利技术实施例的媒体系统100的框图。图2-3示出了根据本专利技术一些实施例的多个媒体文件的图式。图4-8示出了根据本专利技术实施例的多个子图像组合箱(sub-picturecompositionboxes)的示例。图9示出了根据本专利技术实施例的概括进程示例900的流程图。图10示出了根据本专利技术实施例的概括进程示例1000的流程图。具体实施方式视觉内容，例如原始视频以及全景视频/360视频内容，可以在时间上被表示为多个媒体流(mediastream)。当以如ISO基础媒体文件格式(ISObasemediafileformat，ISOBMFF)的文件格式表示或捕获多个媒体流的时候，多个媒体流也称多个为轨道。在一些实施例中，视觉轨道(visualtrack)包括以时间顺序的一序列图像取样，以及视觉轨道具有与视觉轨道相关的空间属性(spatialattribute)，如视觉视图(例如，所述轨道中视觉数据的可见范围)。例如，主要视觉轨道包括相对的大视觉视图(largevisualview)的一序列图像取样(例如，全局场景(panoramascene))，以及区域视觉轨道包括大视觉视图中区域(例如，图块场景(tilescene)、分割(partition)、子图像)的一序列图像取样。媒体文件可以包括具有各自本文档来自技高网...

【技术保护点】
1.一种装置，其特征在于，包括：/n接口电路，用于接收携带元数据的信号，所述元数据用于来自多个视觉轨道的视觉轨道合成的，所述视觉轨道合成包括α合成；以及/n处理电路，用于：/n解析所述元数据来提取用于所述视觉轨道合成的配置信息；/n接收来自第一视觉轨道的第一取样以及来自第二视觉轨道的第二取样；/n基于用于所述视觉轨道合成的所述配置信息，将所述第一取样与所述第二取样组合来生成合成取样。/n

【技术特征摘要】
【国外来华专利技术】20170323 US 62/475,244;20170613 US 62/518,637;20171.一种装置，其特征在于，包括：
接口电路，用于接收携带元数据的信号，所述元数据用于来自多个视觉轨道的视觉轨道合成的，所述视觉轨道合成包括α合成；以及
处理电路，用于：
解析所述元数据来提取用于所述视觉轨道合成的配置信息；
接收来自第一视觉轨道的第一取样以及来自第二视觉轨道的第二取样；
基于用于所述视觉轨道合成的所述配置信息，将所述第一取样与所述第二取样组合来生成合成取样。


2.如权利要求1所述的装置，其特征在于，其中所述处理电路用于解析转换性能箱中的所述元数据来提取用于所述视觉轨道合成的所述配置信息。


3.如权利要求1所述的装置，其特征在于，其中所述处理电路用于解析子图像合成箱中的所述元数据来提取用于所述视觉轨道合成的所述配置信息。


4.如权利要求1所述的装置，其特征在于，其中所述处理电路用于解析所述元数据来提取指示空间合成的第一旗标、指示所述α合成的第二旗标以及指示背景合成的第三旗标。


5.如权利要求4所述的装置，其特征在于，其中所述处理电路用于当所述第二旗标表明在所述视觉轨道合成中使用所述α合成时，解析所述元数据来提取α合成模式以及与所述α合成模式有关的参数。


6.如权利要求4所述的装置，其特征在于，其中所述处理电路用于当所述第一旗标表明在所述视觉轨道合成中使用所述空间合成时，解析所述元数据来提取用于所述空间合成的矩阵。


7.如权利要求6所述的装置，其特征在于，其中所述处理电路用于解析至少一个电影数据头箱、轨道头箱以及子图像合成箱中的所述元数据来提取所述矩阵。


8.如权利要求4所述的装置，其特征在于，其中所述处理电路用于当所述第三旗标表明在所述视觉轨道合成中使用所述背景合成时，解析所述元资料来提取用于所述背景合成的参数。


9.一种装置，其特征在于，包括：
处理电路，用于：
形成视觉数据的多个视觉轨道用于不同的视觉视图；
决定用于来自所述多个视觉轨道的视觉轨道合成的元数据，所述视觉轨道合成包括α合成；以及
将所述元数据与所述多个视觉轨道封装到文件中，以及
内存电路，用于存储所述文件。


10.如权利要求9所述的装置，其特征在于，其中所述处理电路用于将转换性能箱中的所...

【专利技术属性】
技术研发人员：陈鲁林，王新，赵帅，赖柏霖，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾;71