在处理来自于多个媒体源的媒体内容中指定、发信和使用独立编解码的码点的方法及装置制造方法及图纸

本发明专利技术提供一种方法，其在处理来自于多个媒体源的媒体内容中指定、发信和使用独立编解码的码点。一种实施这个方法的装置接收由一个或多个集群中的多个媒体源所捕获的多个媒体内容。这个装置处理该多个媒体内容以提供用于该多个媒体源的多个独立编解码的码点。这个装置也编码该多个媒体内容以提供至少一个基础流。

Method and device for specifying, sending and using codepoints independently coded and decoded in processing media content from multiple media sources

【技术实现步骤摘要】
【国外来华专利技术】在处理来自于多个媒体源的媒体内容中指定、发信和使用独立编解码的码点的方法及装置【交叉引用】本申请要求如下申请的优先权：2016年09月23日提出的申请号为62/398,549的美国专利申请案和在2016年09月29日提出的申请号为62/401,276的美国专利申请案的非临时申请案的一部分。且上述列出的应用的内容以引用方式整体并入本文中。
本专利技术涉及多个媒体源的媒体处理。具体而言，本专利技术涉及在处理来自于多个媒体源的媒体内容中指定、发信和使用独立于编解码的码点(coding-independentcodepoints，CICP)的系统及方法。
技术介绍
除非此处另有说明外，本部分所描述的方法相对于下面列出的权利要求而言不是现有技术，并且本部分包含的内容不被承认是现有技术。当前，在大范围的几何结构中，存在多样性的摄像机和图像或光学感测器，其允许捕获具有多种空间维度的更丰富形式的视觉媒体数据。这种多样性包括多视图阵列(multi-viewarray)(例如，线状、弧状、平面、圆顶状)、360°虚拟现实(virtualreality，VR)摄像机设置、光场摄像机(例如摄像机阵列)、6自由度(6-degree-of-freedom，6DoF)摄像机或者深度摄像机。不同摄像机设置捕获三维(three-dimensional，3D)空间的光辐射的不同表示，并且不同表示可以形成从宽基线和稀疏多视图阵列到窄基线和密集的光场数据的光谱。ISO/IEC23001-8的说明意图定义各种码点和码场(codefield)，其建立独立于压缩编码和比特位速率的视频流或者音频流的特性。但是，在其最新版本中，缺乏用于多个媒体源，特别是这些由摄像机和图像感测器或者光感测器所捕获的媒体源的码点，以在信号由相应的编码器以一种适合压缩这类输入信号的方式促进压缩之前，提供来自于多个媒体源的信号的特征。也缺乏用于多个媒体源，特别是这些由摄像机和图像感测器或者光感测器所捕获的媒体源的码点，以提供可以描述解码视频数据或者解码音频数据的合适说明的特性。没有这些所指定和发信(signaled)的独立编解码的码点，很难定义依赖于这些码点的其他面向应用的规范和系统。
技术实现思路
以下
技术实现思路
仅是说明性的，不打算以任何方式加以限制。也就是说，以下
技术实现思路
被提供以介绍此处所描述的新且非显而易见的技术的概念、重点、好处和优势。选择而不是所有的实施方式在下面的详细说明中进行进一步描述。因此，以下
技术实现思路
不用于确定所要求主题的本质特征，也不用于确定所要求主题的范围。在一方面中，一种方法可以涉及接收由一个或多个集群中的多个媒体源所捕获的多个媒体内容。这个方法也可以涉及处理该多个媒体内容以提供用于该多个媒体源的多个独立编解码的码点。这个方法还可以涉及编码该多个媒体内容以提供至少一个基础流。在一方面中，一种装置可以包括处理电路和编码电路。处理电路可以用于接收由一个或多个集群中的多个媒体源所捕获的多个媒体内容。该处理电路也可以用于处理该多个媒体内容以提供用于该多个媒体源的多个独立编解码的码点。编码电路可以用于编码该多个媒体内容以提供至少一个基础流。在一方面中，一种装置可以包括解码电路和渲染电路。解码电路可以用于解码包含由一个或多个集群中多个媒体源所捕获的编码视频内容的至少一个基础流和用于该多个媒体源多个独立编解码的码点，以提供一个或多个解码媒体内容流。渲染电路可以用于基于解码媒体内容流中的多个视频内容，渲染一个或多个视口、一个或多个区域及其组合。【附图说明】提供下列图式以进一步理解本专利技术公开的内容，并且这些图式被纳入且构成本专利技术公开的一部分。这些图式说明了本专利技术的实施方式，并与说明书一起用以解释本专利技术的原理。为了清楚地说明本专利技术的概念，由于与实际实施方式中的尺寸相比，一些元件可以不按照比例被示出，这些图式无需按照比例绘制。图1是根据本专利技术的各种示例可实现的示例情景的示意图。图2是根据本专利技术的各种示例可实现的n维空间中的自由度的示意图。图3包括示出根据本专利技术的一些示例形状的视口(viewport)的表格。图4是根据本专利技术的n维空间中示例视口的示意图。图5是根据本专利技术的由沿着环移动的摄像机生成的动态视口的示意图。图6包括示出根据本专利技术的可形成视口的几何形状的示例类型的表格。图7是根据本专利技术的示例流程的示意图。图8是根据本专利技术的用于球形视口的示例等角投影和映射的示意图。图9是根据本专利技术的用于立方形视口的示例立方体投影和映射的示意图。图10是根据本专利技术的用于矩形区域的示例环形投影和映射的示意图。图11包括显示根据本专利技术的示例集群几何类型的表格。图12包括显示根据本专利技术的示例视图特征的表格。图13包括显示根据本专利技术的示例投影类型的表格。图14包括显示根据本专利技术的示例映射类型的表格。图15包括显示根据本专利技术的示例逆映射类型的表格。图16包括显示根据本专利技术的示例逆投影类型的表格。图17是根据本专利技术的具有规范化流程的新内容流流程的示意图。图18是根据本专利技术的示例装置的示意图。图19是根据本专利技术的流程的流程图。【具体实施方式】在下面详细的说明书中，为了透彻理解相关教示内容，透过举例的方式进行说明大量具体的细节。基于本文所描述的教示内容的任何改变、推导和/或拓展均在本专利技术的保护范围内。在一些例子中，为了避免不必要地混淆本专利技术的教示内容的方面，在相对较高的级别而无细节上描述已知的方法、程序、元件和/或关于此处所公开的一个或者多个示例性实施方式的电路。概述本专利技术提出了一种系统及方法，其用于在编码之前的不同的媒体处理阶段，以及在解码之后的传输和处理期间，指定、发信和使用用于多个集群(或者集合)中多个媒体源的独立编解码的码点。本专利技术也提出了一种系统及方法，其先透过规范化(canonicalization)，变换自在球面上排列成不同几何类型的媒体源(例如摄像机)而获得的源内容，然后使用用于球面内容的传统内容流流程和新内容流流程，处理规范化的内容。图1示出了根据本专利技术的各种示例可实现的示例情景100的示意图。在情景100中，提供视频(序列或者图像序列)、静止图像和/或其他类型媒体(例如音频、文本)的多个媒体源S0(0)～SM-1(NM-1-1)可以概念上或者物理上组成多个集群C0～CM-1，其中M和N中的每个为大于1的正整数。一个或多个类型的媒体源的集群C0～CM-1提供在编码之前的处理阶段110中待处理的一种或多种类型的媒体。为了简化，由处理阶段110后处理(postprocess)的一个或多个具有给定类型(例如，视频)的处理过的媒体(processedmedia)被示出作为多个媒体源s0(0)～sm-1(nm-1-1)。它们被组成多个集群c0～cm-1以提供给定类型的媒体，以用于在提供多个基础流ES0～ESm-1的编码阶段120进行编码。如图1所示，在处理阶段110和编码阶段120中的每个之前，可以使用根据本专利技术的有关于CICP的方案、概念、方法及技术。可以在广泛范围的目标应用中使用本专利技术所提出的方案、概念、方法、系统及技术，从而允许编码之前的对媒体源内容集合的媒体处理。这些目标应用包括，例如但不限于，360°(全向)视频、自由视点电视(freeviewpointtelevision本文档来自技高网...

【技术保护点】
1.一种方法，包括：接收由一个或多个集群中的多个媒体源所捕获的多个媒体内容；处理该多个媒体内容以提供用于该多个媒体源的多个独立编解码的码点；以及编码该多个媒体内容以提供至少一个基础流。

【技术特征摘要】
【国外来华专利技术】2016.09.23 US 62/398,549;2016.09.29 US 62/401,276;1.一种方法，包括：接收由一个或多个集群中的多个媒体源所捕获的多个媒体内容；处理该多个媒体内容以提供用于该多个媒体源的多个独立编解码的码点；以及编码该多个媒体内容以提供至少一个基础流。2.根据权利要求1所述的方法，其特征在于，处理该多个媒体内容以提供用于该多个媒体源的多个独立编解码的码点，包括：产生该多个独立编解码的码点作为来自于该多个媒体源的多个媒体内容的多个信号的特征。3.根据权利要求1所述的方法，其特征在于，该多个媒体内容包括多个视频内容，其中该多个独立编解码的码点表征投影类型，该投影类型表示视口清单到区域清单的投影的类型，并且该投影的类型包括球面展开、立方体展开或者环展开。4.根据权利要求3所述的方法，其特征在于，该多个独立编解码的码点还表征逆投影类型，该逆投影类型表示该区域清单到该视口清单的逆投影的类型，其中该逆投影的类型包括球面形成、立方体形成或环形成。5.根据权利要求1所述的方法，其特征在于，该多个媒体内容包括多个视频内容，其中该多个独立编解码的码点表征映射类型，该映射类型表示第一区域清单到第二区域清单的映射的类型，且该映射的类型包括阵列覆盖、T覆盖或者线覆盖。6.根据权利要求5所述的方法，其特征在于，该多个独立编解码的码点还表征逆映射类型，该逆映射类型表示该第二区域清单到该第一区域清单的逆映射的类型，且该逆映射的类型包括阵列去覆盖、T去覆盖或者线去覆盖。7.根据权利要求1所述的方法，其特征在于，该多个独立编解码的码点表征该多个独立编解码的码点的一个或多个应用类型的一个或多个配置。8.根据权利要求7所述的方法，其特征在于，该一个或多个配置中的每个配置包括表示多个方面中一个或多个方面，其中该多个方面包括：该多个媒体源的几何类型；几何表面识别；一个或多个视口中的每个的各自数量的平移；该一个或多个视口中的每个的各自数量的旋转；一个或多个区域中的每个的各自的位置；该一个或多个视口和该一个或多个区域中的每个的各自视图；投影的类型；映射的类型；在不被该映射的类型暗示时的逆映射的类型；以及在不被该投影的类型暗示时的逆投影的类型。9.根据权利要求7所述的方法，其特征在于，该一个或多个应用类型包括虚拟现实，且该一个或多个配置包括球面虚拟现实配置或者立方体虚拟现实配置。10.根据权利要求7所述的方法，其特征在于，该一个或多个应用类型包括自由视点电视，且该一个或多个配置包括自由视点电视配置。11.根据权利要求1所述的方法，其特征在于，该多个独立编解码的码点包括用于与该一个或多个集群相关的多个方面中的一个或多个方面的多个码点，其中该多个方面包括：该一个或多个集群中的每个的集群识别值；该一个或多个集群中的每个的集群尺寸；表示该一个或多个集群中每个集群内的该多个媒体源的各自的位置的集群位置索引；表示该一个或多个集群中每个集群内的该多个媒体源的各自子集的几何排列的类型的集群几何类型；一个或多个视口中的每个的各自数量的平移；该一个或多个视口中的每个的各自数量的旋转；一个或多个区域中的每个的各自的位置；该一个或多个视口和该一个或多个区域中的每个的各自视图；投影的类型；映射的类型；在不被该映射的类型暗示时的逆映射的类型；以及在不被该投影的类型暗示时的逆投影的类型。12.一种装置，包括：处理电路，用于接收由一个或多个集群中的多个媒体源所捕获的多个媒体内容；该处理电路还用于处理该多个媒体内容以提供用于该多个媒体源的多个独立编解...

【专利技术属性】
技术研发人员：王新，陈鲁林，赖柏霖，刘杉，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71