用于改进媒体内容的封装的方法、装置和计算机程序制造方法及图纸

根据实施例，本发明专利技术提供一种用于对分区定时媒体数据进行封装的方法，分区定时媒体数据包括定时样本，进而包括子样本，定时样本被分组成组，该方法包括：获得空间轨，各个空间轨包括第一定时样本的至少一个子样本和其他定时样本的一个相应子样本，该相应子样本在其自己的定时样本中位于与该至少一个子样本相同的空间位置；创建参考空间轨中的至少一部分空间轨的基础轨，基础轨包括重构指令，各个重构指令与定时样本组相关联，从而使得能够从空间轨的属于同一定时样本组的子样本生成位流的一部分；以及将各个轨独立地封装在至少一个媒体文件中。文件中。文件中。

【技术实现步骤摘要】
【国外来华专利技术】用于改进媒体内容的封装的方法、装置和计算机程序


[0001]本专利技术涉及一种用于改进媒体数据的封装和解析的方法、装置和计算机程序，使得可以优化经封装媒体内容的部分的传输。

技术介绍

[0002]本专利技术涉及例如根据由MPEG标准化组织定义的ISO基本媒体文件格式来封装、解析和流式传输媒体内容，以提供便于交换、管理、编辑和呈现媒体内容组的灵活且可扩展的格式，并且改进其在例如通过使用自适应http流式传输协议的IP网络(诸如互联网等)的递送。
[0003]国际标准化组织基本媒体文件格式(ISO BMFF，ISO/IEC 14496
‑
12)是众所周知的灵活且可扩展的格式，其描述用于本地存储或者经由网络或经由其他位流传递机制的传输的经编码定时媒体数据位流。该文件格式具有数个扩展，例如第15部分，ISO/IEC 14496
‑
15，其描述用于基于各种NAL(网络抽象层)单元的视频编码格式的封装工具。这种编码格式的示例是AVC(高级视频编码)、SVC(可缩放视频编码)、HEVC(高效视频编码)或L
‑
HEVC(分层HEVC)。该文件格式是面向对象的。其由称为框(或数据结构，它们各自由四字符码标识)的构建块组成，这些构建块被顺序地或分层地组织并且定义经编码定时媒体数据位流的描述性参数(诸如定时和结构参数等)。在文件格式中，随时间的整体呈现被称为动画。动画由媒体或呈现文件的顶层处的动画框(具有四字符码“moov”)描述。该动画框表示含有描述呈现的各种框的集合的初始化信息容器。其可以在逻辑上被分割为由轨框(具有四字符码“trak”)表示的轨。各个轨(由轨标识符(track_ID)唯一地标识)表示与呈现有关的媒体数据的定时序列(例如，视频帧)。在各个轨内，各个定时数据单元被称为样本；这可以是视频、音频或定时元数据的帧。样本按顺序隐式编号。实际样本数据在与动画框相同级别的被称为媒体数据框(具有四字符码“mdat”)的框中。动画也可以被分片段，即，在时间上被组织为包含用于整个呈现的信息、随后是动画片段和媒体数据框对的列表的动画框。在动画片段(具有四字符码“moof”的框)内，存在轨片段的集合(具有四字符码“traf”的框)，每个动画片段为零个或多个。轨片段继而包含零个或多个轨运行框(“trurn”)，其各自记录该轨片段的样本的连续运行。
[0004]用ISOBMFF封装的媒体数据可以用于使用HTTP的自适应流式传输。例如，MPEG DASH(用于“HTTP上的动态自适应流式传输”)和平滑流式传输是HTTP自适应流式传输协议，该HTTP自适应流式传输协议实现媒体文件的基于区段(segment)或片段(fragment)的递送。MPEG DASH标准(参见“ISO/IEC 23009
‑
1,Dynamic adaptive streaming over HTTP(DASH),Part1：Media presentation description and segment formats”)使得可以在媒体呈现的内容的紧凑描述与HTTP地址之间建立链接。通常，在称为清单文件或描述文件的文件中描述该关联。在DASH的上下文中，该清单文件是也称为MPD文件(用于媒体呈现描述)的文件。当客户端装置获得MPD文件时，客户端可以容易地确定媒体内容的各个编码和可递送版本的描述。通过读取或解析清单文件，客户端知道在媒体呈现中提及的媒体内容成分
的种类，并且知道用于下载相关联的媒体内容成分的HTTP地址。因此，可以决定(经由HTTP请求)下载和播放(在接收到媒体数据区段之后解码和播放)哪些媒体内容成分。DASH定义数个类型的区段，主要是初始化区段、媒体区段或索引区段。初始化区段包含设置信息和描述媒体内容的元数据，通常至少是ISOBMFF媒体文件的“ftyp”和“moov”框。媒体区段包含媒体数据。可以是例如ISOBMFF文件的一个或多于一个“moof”加“mdat”框或ISOBMFF文件的“mdat”框中的字节范围。媒体区段还可以细分为子区段(也对应于一个或多于一个完整的“moof”加“mdat”框)。DASH清单可以向文件提供具有到区段的字节范围的区段URL或基URL，以供流式传输客户端通过HTTP请求来寻址这些区段。字节范围信息可以由索引区段或由特定的ISOBMFF框(诸如区段索引框“sidx”或子区段索引框“ssix”)提供。
[0005]图1示出了从服务器向客户端流式传输媒体数据的示例。
[0006]如图所示，服务器100包括经由网络接口(未示出)连接到通信网络110的封装模块105，客户端120的解封装模块115也经由网络接口(未示出)连接到通信网络110。
[0007]服务器100处理数据(例如视频和/或音频数据)以供流式传输或用于存储。为此，服务器100获得或接收包括例如由一个或多于一个照相机对场景的记录(被称为源视频)的数据。源视频作为原始图片序列125由服务器接收。服务器使用未表示的媒体编码器(例如，视频编码器)将图片序列编码在媒体数据(即，位流)中，并且使用封装模块105将媒体数据封装在一个或多于一个媒体文件或媒体区段130中。封装模块105包括用于封装媒体数据的写入器或打包器中的至少一个。媒体编码器可以在封装模块105内实现以编码所接收的数据，或者可以与封装模块105分离。
[0008]客户端120用于处理从通信网络110接收到的数据，例如用于处理媒体文件130。在解封装模块115(也称为解析器)中已经解封装所接收的数据之后，解码对应于媒体数据位流的经解封装数据(或经解析数据)，形成例如可以存储、显示或输出的音频和/或视频数据。媒体解码器可以在解封装模块115内实现，或者可以与解封装模块115分离。媒体解码器可以被配置为并行地解码一个或多于一个视频位流。
[0009]注意，媒体文件130可以以不同的方式被传送到解封装模块115。具体地，封装模块105可以生成具有媒体描述(例如，DASH MPD)的媒体文件130，并且在从客户端120接收到请求时将其直接传送(或流式传输)到解封装模块115。
[0010]为了说明起见，媒体文件130可以根据ISO基本媒体文件格式(ISOBMFF、ISO/IEC 14496
‑
12及ISO/IEC 14496
‑
15标准)将媒体数据(例如，经编码音频或视频)封装在框中。在这种情况下，媒体文件130可以对应于一个或多于一个媒体文件(由FileTypeBox“ftyp”指示)或者一个或多个区段文件(由SegmentTypeBox“styp”指示)。根据ISOBMFF，媒体文件130可以包括两种框，标识为“mdat”的包含媒体数据的“媒体数据框”、以及包含定义媒体数据的放置和定时的元数据的“元数据框”(例如“moof”)。在优选实施例中，根据通用视频编解码器规范ISO/IEC 23090
‑
3对图片序列125进行编码或压缩。
[0011]虽然基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于在服务器中封装分区视频数据的方法，所述分区视频数据包括多个帧，各个帧包括多个分区，所述帧被分组成多个组，所述方法包括：获得多个空间轨，各个空间轨包括第一帧的至少一个分区和所述多个帧中的与所述第一帧不同的帧各自的一个相应分区，各个相应分区在其自己的帧中位于与所述第一帧中的所述至少一个分区相同的空间位置；创建对所述空间轨中的至少一部分空间轨进行参考的基础轨，所述基础轨包括多个重构指令，各个重构指令与帧组相关联，并且各个重构指令使得能够从空间轨的属于同一帧组的分区生成位流的一部分；以及将各个轨封装在至少一个媒体文件中。2.根据权利要求1所述的方法，其中，各个重构指令对应于空间轨参考的有序列表。3.根据权利要求1或2所述的方法，其中，所述重构指令属于所述基础轨的元数据部分。4.根据权利要求1至3中任一项所述的方法，还包括生成所述多个空间轨。5.根据权利要求4所述的方法，其中，生成所述多个空间轨包括：从所述帧中的一个帧的所述多个分区中选择分区；以及针对所选择的各个分区，创建一个空间轨，该一个空间轨包括所选择的分区和相应分区，该相应分区在其自己的帧中位于与所选择的分区相同的空间位置。6.根据权利要求4或5所述的方法，还包括确定帧内的分区的布局。7.根据权利要求4至6中任一项所述的方法，还包括确定封装布局，所述多个空间轨是根据所述封装布局生成的。8.一种用于在客户端装置中从经封装分区视频数据生成位流的方法，所述分区视频数据包括多个帧，各个帧包括多个分区，所述帧被分组成多个组，所述方法包括：获得至少一个媒体文件，所述至少一个媒体文件包括至少一个基础轨和多个空间轨，各个空间轨包括第一帧的至少一个分区和所述多个帧中的与所述第一帧不同的帧各...

【专利技术属性】
技术研发人员：弗兰克，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：