用于生成媒体数据的方法技术

本发明专利技术涉及一种用于从视频序列生成媒体文件的方法，所述方法利用服务器包括：从所述视频序列获得包括多个样本的视频数据；基于所获得的视频数据来生成视频轨，各视频轨包括视频序列的样本，并且所述视频轨与描述性元数据相关联，所述描述性元数据包括：与关联的视频轨中的一个或多个样本有关的空间信息；以及用于组织所生成的视频轨以在由客户端显示时获得完整图片的复合信息；以及生成包括所生成的视频轨的媒体文件。

Method used to generate media data

The invention relates to a method for generating a media file from a video sequence, the method uses a server including: obtaining video data including a plurality of samples from the video sequence; generating a video track based on the obtained video data, each video track including a sample of the video sequence, and the video track is associated with descriptive metadata, the descriptive metadata including : spatial information related to one or more samples in the associated video track; composite information used to organize the generated video track to obtain the complete picture when displayed by the client; and media files including the generated video track are generated.

【技术实现步骤摘要】
【国外来华专利技术】用于生成媒体数据的方法
本专利技术通常涉及如下领域：例如根据如MPEG标准化组织所定义的ISO基媒体文件格式来对定时媒体数据进行封装和解析，以提供便于媒体数据的互换、管理、编辑和呈现的灵活且可扩展的格式并且改善流管理。
技术介绍
国际标准化组织基媒体文件格式(ISOBMFF,ISO/IEC14496-12)是描述供本地存储或者供经由网络或经由另一位流传递机制进行传输的编码定时媒体数据位流的众所周知的灵活且可扩展的格式。该文件格式是面向对象的。该文件格式包括被称为框(box)的构建块，其中这些框是顺次或层级组织的，并且定义编码定时媒体数据位流的诸如定时参数和结构参数等的参数。在该文件格式中，整个呈现被称为动画(movie)。动画在逻辑上被分割成轨。各轨表示媒体数据(例如，视频的帧)的定时序列。在各轨内，数据的各定时单元被称为样本；这可以是视频或音频的帧。样本按顺序隐含地编号。动画可被组织为动画和轨片段(trackfragment)的列表。动画片段在时间上扩展了呈现。这些动画片段提供先前已存在于被称为MovieBox(动画框)的框中的信息。实际样本在被称为MediaDataBox(媒体数据框)的框中。在动画片段内，存在轨片段的集合(针对各轨存在零个或多个轨片段)。而轨片段包含零个或多个轨运行(trackrun)，各轨运行记录该轨的样本的连续运行。文件格式具有描述用于各种基于NAL(网络抽象层)单元的视频编码格式的封装工具的另一部分(Part-5，ISO/IEC14496-15)。这种编码格式的示例是AVC(高级视频编码)、SVC(可分级视频编码)、HEVC(高效率视频编码)或L-HEVC(分层HEVC)。HEVC和类似的视频编码格式定义样本(例如，图片)的不同空间细分：区块(tile)、条带(slice)和条带分段(slicesegment)。区块定义包含整数个编码树单元(CTU)或编码块(以下全部称为编码单元)的图片的矩形区域。如此，区块是表示关注区域(ROI)的良好候选。然而，在句法方面的编码视频数据(位流)组织及其到NAL单元(或NALU)中的封装是基于条带和条带分段(如在AVC中那样)。HEVC中的条带是条带分段的集合，其中至少第一条带分段是独立条带分段，其它条带分段(在存在的情况下)是依赖条带分段。条带分段包含整数个连续(按光栅扫描顺序)CTU。条带不必一定具有矩形形状(因而，对于ROI表现不如区块适合)。将条带分段作为以下编码在HEVC位流中：slice_segment_header，之后是slice_segment_data。独立条带分段(ISS)和依赖条带分段(DSS)的不同之处在于这两者的头部：依赖条带分段由于重复使用来自独立条带分段的头部的信息，因而具有较短的头部。独立条带分段和依赖条带分段这两者都包含位流中的进入点的列表。在利用区块对视频位流进行编码时，在MPEG文件格式的第15部分中存在描述工具以描述NAL单元到区块的映射。该第15部分描述用以将区块封装为如下的工具：·单个视频轨中的所有区块；或者·区块基轨内所存储的区块轨中的具有公共信息的区块轨中的各HEVC区块；或者·区块基轨内所存储的区块轨中的具有公共信息的区块轨中的形成矩形区域的HEVC区块的集合。媒体内容创建者想要提供不同版本的视频，即通过应用于所记录视频样本的复合、图像特效或操作而从同一原始视频生成的数个视频。问题是在不会使如此得到的媒体文件的大小增加得过大的情况下提供媒体内容的这些不同呈现。
技术实现思路
设计了本专利技术以解决上述问题中的一个或多个。所提出的方案进行媒体轨的标准封装，并且进一步根据所输入的媒体轨来构建仅包含生成规则和参数的被称为生成轨(generatedtrack)的一个或多个特定轨。因而，媒体数据被存储一次并在生成轨中被引用。各生成轨在于其轨头部中描述的变换算子和参数的集合，其中指针在所使用的原始轨上。根据变换参数是静态的(对于所有样本都相同)还是动态的(基于样本而改变)，存在变换参数的替代描述和存储。例如，一个可能性是将算子或变换参数在样本级别存储在“mdat”框(媒体数据框)中。根据本专利技术的第一方面，提供一种用于对包括多个样本的媒体数据进行编码的方法，所述方法包括：利用服务器装置，-对所述媒体数据进行编码，以获得编码后的媒体数据；-将编码后的媒体数据封装在至少一个第一轨的集合中；-生成第二轨；其中，-所述第二轨描述表示将至少一个变换算子的集合应用于至少一个第一轨的样本的结果的样本；-所述第二轨包括对所述第一轨至少之一的参考；以及-所述第二轨将所述变换算子的集合的描述包括在元数据部分中。在实施例中，所述方法还包括：-将用于表征至少一个变换算子的一个或多个参数封装在所述第二轨的元数据部分中。根据本专利技术的另一方面，提供一种用于对包括多个样本的媒体数据进行解码的方法，所述方法包括：利用客户端装置，-接收第一轨，所述第一轨包括对至少一个第二轨的参考和至少一个变换算子的集合的描述；-接收所述至少一个第二轨；以及-通过将所述变换算子的集合应用于在所述至少一个第二轨中所接收到的样本，来生成所述媒体数据的样本。根据本专利技术的另一方面，提供一种服务器装置，用于对包括多个样本的媒体数据进行编码，所述服务器装置包括处理器，所述处理器被配置为：-对所述媒体数据进行编码，以获得编码后的媒体数据；-将编码后的媒体数据封装在至少一个第一轨的集合中；-生成第二轨；其中，-所述第二轨描述表示将至少一个变换算子的集合应用于至少一个第一轨的样本的结果的样本；-所述第二轨包括对所述第一轨至少之一的参考；以及-所述第二轨将所述变换算子的集合的描述包括在元数据部分中。根据本专利技术的另一方面，提供一种客户端装置，用于对包括多个样本的媒体数据进行解码，所述客户端装置包括处理器，所述处理器被配置为：-接收第一轨，所述第一轨包括对至少一个第二轨的参考和至少一个变换算子的集合的描述；-接收所述至少一个第二轨；以及-通过将所述变换算子的集合应用于在所述至少一个第二轨中所接收到的样本，来生成所述媒体数据的样本。根据本专利技术的另一方面，提供一种可编程设备所用的计算机程序产品，所述计算机程序产品包括指令序列，所述指令序列用于在被载入所述可编程设备并由所述可编程设备执行的情况下，实现根据本专利技术的方法。根据本专利技术的另一方面，提供一种存储有计算机程序的指令的计算机可读存储介质，所述指令用于实现根据本专利技术的方法。如前面所述，HEVC和类似的视频编码格式定义了样本(例如，图片)的不同空间细分：区块、条带和条带分段。HEVC提供用于构成客户端想要显示的区块的隐式规则。其它类似的视频编码格式(如AVC或OMAF那样)不受益于这些隐式规则，并且需要提供复合信息，以使得客户端可以显示由子部分构成的视频。复合信息与同要进行构成的本文档来自技高网...

【技术保护点】
1.一种用于基于视频数据来生成媒体文件的方法，所述视频数据包括多个样本，所述方法包括：/n基于所述视频数据来生成一个或多个视频轨；以及/n生成包括所述一个或多个视频轨以及描述性元数据的所述媒体文件，所述描述性元数据包括以下两者：/n(i)一个或多个第一框，用于描述与同所述一个或多个视频轨中的各视频轨相对应的空间区域有关的空间信息；以及/n(ii)除所述第一框以外的一个或多个第二框，用于描述与同所述一个或多个视频轨相对应的重建视频数据有关的空间信息。/n

【技术特征摘要】
【国外来华专利技术】20170327 GB 1704882.8;20170524 GB 1708337.91.一种用于基于视频数据来生成媒体文件的方法，所述视频数据包括多个样本，所述方法包括：
基于所述视频数据来生成一个或多个视频轨；以及
生成包括所述一个或多个视频轨以及描述性元数据的所述媒体文件，所述描述性元数据包括以下两者：
(i)一个或多个第一框，用于描述与同所述一个或多个视频轨中的各视频轨相对应的空间区域有关的空间信息；以及
(ii)除所述第一框以外的一个或多个第二框，用于描述与同所述一个或多个视频轨相对应的重建视频数据有关的空间信息。


2.根据权利要求1所述的方法，其中，在所述第一框中描述的空间信息表示与所述一个或多个视频轨相对应的各视频的空间宽度和空间高度，以及在所述第二框中描述的空间信息表示基于所述视频数据的重建视频数据的空间宽度和空间高度。


3.根据权利要求1所述的方法，其中，在所述第一框中描述的空间信息表示与所述一个或多个视频轨相对应的各视频的空间宽度和空间高度。...

【专利技术属性】
技术研发人员：弗兰克·德诺奥，弗雷德里克·梅兹，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本;JP