对包括所生成的内容的媒体数据进行编码的方法和设备技术

本发明专利技术涉及一种用于对包括多个样本的媒体数据进行编码的方法，所述方法包括：利用服务器装置：对所述媒体数据进行编码，以获得编码后的媒体数据；将编码后的媒体数据封装在至少一个第一轨的集合中；生成第二轨；其中，所述第二轨描述表示将至少一个变换算子的集合应用于至少一个第一轨的样本的结果的样本；所述第二轨包括对所述第一轨至少之一的参考；以及所述第二轨将所述变换算子的集合的描述包括在元数据部分中。

Method and device for encoding media data including generated content

The invention relates to a method for encoding the media data including a plurality of samples, the method includes: using a server device: encoding the media data to obtain the encoded media data; encapsulating the encoded media data in a set of at least one first track; generating a second track; wherein, the second track description means at least one change The set of conversion sub is applied to a sample of the result of the sample of at least one first track; the second track includes a reference to at least one of the first tracks; and the second track includes a description of the set of conversion operators in the metadata section.

【技术实现步骤摘要】
【国外来华专利技术】对包括所生成的内容的媒体数据进行编码的方法和设备
本专利技术通常涉及如下领域：例如根据如MPEG标准化组织所定义的ISO基媒体文件格式来对定时媒体数据进行封装和解析，以提供便于媒体数据的互换、管理、编辑和呈现的灵活且可扩展的格式并且改善流管理。
技术介绍
国际标准化组织基媒体文件格式(ISOBMFF,ISO/IEC14496-12)是描述供本地存储或者供经由网络或经由另一位流传递机制进行传输的编码定时媒体数据位流的众所周知的灵活且可扩展的格式。该文件格式是面向对象的。该文件格式包括被称为框(box)的构建块，其中这些框是顺次或层级组织的，并且定义编码定时媒体数据位流的诸如定时参数和结构参数等的参数。在该文件格式中，整个呈现被称为动画(movie)。动画在逻辑上被分割成轨。各轨表示媒体数据(例如，视频的帧)的定时序列。在各轨内，数据的各定时单元被称为样本；这可以是视频或音频的帧。样本按顺序隐含地编号。动画可被组织为动画和轨片段(trackfragment)的列表。动画片段在时间上扩展了呈现。这些动画片段提供先前已存在于被称为MovieBox(动画框)的框中的信息。实际样本在被称为MediaDataBox(媒体数据框)的框中。在动画片段内，存在轨片段的集合(针对各轨存在零个或多个轨片段)。而轨片段包含零个或多个轨运行(trackrun)，各轨运行记录该轨的样本的连续运行。文件格式具有描述用于各种基于NAL(网络抽象层)单元的视频编码格式的封装工具的另一部分(Part-5，ISO/IEC14496-15)。这种编码格式的示例是AVC(高级视频编码)、SVC(可分级视频编码)、HEVC(高效率视频编码)或L-HEVC(分层HEVC)。HEVC和类似的视频编码格式定义样本(例如，图片)的不同空间细分：区块(tile)、条带(slice)和条带分段(slicesegment)。区块定义包含整数个编码树单元(CTU)或编码块(以下全部称为编码单元)的图片的矩形区域。如此，区块是表示关注区域(ROI)的良好候选。然而，在句法方面的编码视频数据(位流)组织及其到NAL单元(或NALU)中的封装是基于条带和条带分段(如在AVC中那样)。HEVC中的条带是条带分段的集合，其中至少第一条带分段是独立条带分段，其它条带分段(在存在的情况下)是依赖条带分段。条带分段包含整数个连续(按光栅扫描顺序)CTU。条带不必一定具有矩形形状(因而，对于ROI表现不如区块适合)。将条带分段作为以下编码在HEVC位流中：slice_segment_header，之后是slice_segment_data。独立条带分段(ISS)和依赖条带分段(DSS)的不同之处在于这两者的头部：依赖条带分段由于重复使用来自独立条带分段的头部的信息，因而具有较短的头部。独立条带分段和依赖条带分段这两者都包含位流中的进入点的列表。在利用区块对视频位流进行编码时，在MPEG文件格式的第15部分中存在描述工具以描述NAL单元到区块的映射。该第15部分描述用以将区块封装为如下的工具：·单个视频轨中的所有区块；或者·区块基轨内所存储的区块轨中的具有公共信息的区块轨中的各HEVC区块；或者·区块基轨内所存储的区块轨中的具有公共信息的区块轨中的形成矩形区域的HEVC区块的集合。媒体内容创建者想要提供不同版本的视频，即通过应用于所记录视频样本的复合、图像特效或操作而从同一原始视频生成的数个视频。问题是在不会使如此得到的媒体文件的大小增加得过大的情况下提供媒体内容的这些不同呈现。
技术实现思路
设计了本专利技术以解决上述问题中的一个或多个。所提出的方案进行媒体轨的标准封装，并且进一步根据所输入的媒体轨来构建仅包含生成规则和参数的被称为生成轨(generatedtrack)的一个或多个特定轨。因而，媒体数据被存储一次并在生成轨中被引用。各生成轨在于其轨头部中描述的变换算子和参数的集合，其中指针在所使用的原始轨上。根据变换参数是静态的(对于所有样本都相同)还是动态的(基于样本而改变)，存在变换参数的替代描述和存储。例如，一个可能性是将算子或变换参数在样本级别存储在“mdat”框(媒体数据框)中。根据本专利技术的第一方面，提供一种用于对包括多个样本的媒体数据进行编码的方法，所述方法包括：利用服务器装置，-对所述媒体数据进行编码，以获得编码后的媒体数据；-将编码后的媒体数据封装在至少一个第一轨的集合中；-生成第二轨；其中，-所述第二轨描述表示将至少一个变换算子的集合应用于至少一个第一轨的样本的结果的样本；-所述第二轨包括对所述第一轨至少之一的参考；以及-所述第二轨将所述变换算子的集合的描述包括在元数据部分中。在实施例中，所述方法还包括：-将用于表征至少一个变换算子的一个或多个参数封装在所述第二轨的元数据部分中。在实施例中，所述方法还包括：-将用于表征至少一个变换算子的一个或多个参数封装在所述第二轨的元数据部分的头部部分中。在实施例中，所述方法还包括：-将用于表征至少一个变换算子的一个或多个参数封装在所述第二轨的所述元数据部分的样本表框中。在实施例中，所述方法还包括：-将所述第二轨中描述的特定样本所要使用的用于表征至少一个变换算子的一个或多个特定参数封装在所生成的轨的媒体数据部分中。在实施例中，所述方法还包括：-将所述第二轨中描述的特定样本所要使用的用于表征至少一个变换算子的一个或多个特定参数封装在所述第二轨的元数据部分中；以及在所述第二轨的媒体数据部分中提供对这些特定参数的一些参考。在实施例中，所述方法还包括：-在第三轨中提供用于表征至少一个变换算子的一个或多个参数，所述第二轨还包括对所述第三轨的参考。在实施例中，所述一个或多个参数包括在所述第三轨的媒体数据部分中。在实施例中，所述第二轨还将表示将至少一个变换算子的集合应用于所述至少一个第一轨的样本的结果的样本包括在所述媒体数据中。在实施例中，所述变换算子其中之一允许表示拍摄投影的空间部分。在实施例中，所生成的轨的数据部分被标记为空。根据本专利技术的另一方面，提供一种用于对包括多个样本的媒体数据进行解码的方法，所述方法包括：利用客户端装置，-接收第一轨，所述第一轨包括对至少一个第二轨的参考和至少一个变换算子的集合的描述；-接收所述至少一个第二轨；以及-通过将所述变换算子的集合应用于在所述至少一个第二轨中所接收到的样本，来生成所述媒体数据的样本。根据本专利技术的另一方面，提供一种服务器装置，用于对包括多个样本的媒体数据进行编码，所述服务器装置包括处理器，所述处理器被配置为：-对所述媒体数据进行编码，以获得编码后的媒体数据；-将编码后的媒体数据封装在至少一个第一轨的集合中；-生成第二轨；其中，-所述第二轨描述表示将至少一个变换算子的集合应用于至少一个第一轨的样本本文档来自技高网...

【技术保护点】
1.一种用于对包括多个样本的媒体数据进行编码的方法，所述方法包括：利用服务器装置，/n-对所述媒体数据进行编码，以获得编码后的媒体数据；/n-将编码后的媒体数据封装在至少一个第一轨的集合中；/n-生成第二轨；/n其中，/n-所述第二轨描述表示将至少一个变换算子的集合应用于至少一个第一轨的样本的结果的样本；/n-所述第二轨包括对所述第一轨至少之一的参考；以及/n-所述第二轨将所述变换算子的集合的描述包括在元数据部分中。/n

【技术特征摘要】
【国外来华专利技术】20170327 GB 1704882.81.一种用于对包括多个样本的媒体数据进行编码的方法，所述方法包括：利用服务器装置，
-对所述媒体数据进行编码，以获得编码后的媒体数据；
-将编码后的媒体数据封装在至少一个第一轨的集合中；
-生成第二轨；
其中，
-所述第二轨描述表示将至少一个变换算子的集合应用于至少一个第一轨的样本的结果的样本；
-所述第二轨包括对所述第一轨至少之一的参考；以及
-所述第二轨将所述变换算子的集合的描述包括在元数据部分中。


2.根据权利要求1所述的方法，还包括：
-将用于表征至少一个变换算子的一个或多个参数封装在所述第二轨的元数据部分中。


3.根据权利要求2所述的方法，还包括：
将用于表征至少一个变换算子的一个或多个参数封装在所述第二轨的元数据部分的头部部分中。


4.根据权利要求3所述的方法，还包括：
将用于表征至少一个变换算子的一个或多个参数封装在所述第二轨的所述元数据部分的样本表框中。


5.根据权利要求2至4中任一项所述的方法，还包括：
-将所述第二轨中描述的特定样本所要使用的用于表征至少一个变换算子的一个或多个特定参数封装在所生成的轨的媒体数据部分中。


6.根据权利要求2至4中任一项所述的方法，还包括：
将所述第二轨中描述的特定样本所要使用的用于表征至少一个变换算子的一个或多个特定参数封装在所述第二轨的元数据部分中；以及
在所述第二轨的媒体数据部分中提供对这些特定参数的一些参考。


7.根据权利要求1至4中任一项所述的方法，还包括：
-在第三轨中提供用于表征至少一个变换算子的一个或多个参数，所述第二轨还包括对所述第三轨的参考。


8.根据权利要求7所述的方法，其中，所述一个或多个参数包括在所述第三轨的媒体数据部分中。


9.根据权利要求1所述的方法，其中，所述第二轨还将表示将至少一个变...

【专利技术属性】
技术研发人员：弗兰克·德诺奥，弗雷德里克·梅兹，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本;JP