用于对定时媒体数据进行封装和解析的方法、装置和计算机程序制造方法及图纸

本发明专利技术根据其实施例其中之一涉及一种用于对分区定时媒体数据进行封装的方法，所述分区定时媒体数据包括定时样本，至少一个定时样本包括至少一个子样本。所述方法包括：从所述定时样本中的至少一个定时样本获得至少一个子样本；创建包括所获得的至少一个子样本的第一轨；从所述定时样本中的所述至少一个定时样本获得至少另一子样本；创建包括所获得的至少另一子样本的第二轨；以及生成描述性元数据，所述描述性元数据包括统一描述符，所述统一描述符包括：第一参数，其在设置为1的情况下，指示所获得的至少一个子样本是完整帧；以及至少一个第二参数，其指定所获得的至少一个子样本和所获得的至少另一子样本之间的编码依赖性。

【技术实现步骤摘要】
【国外来华专利技术】用于对定时媒体数据进行封装和解析的方法、装置和计算机程序
本专利技术大体涉及如下领域：例如根据如MPEG标准化组织所定义的基媒体文件格式(BaseMediaFileFormat)来对定时媒体数据进行封装和解析，以提供便于媒体数据的互换、管理、编辑和呈现的灵活且可扩展的格式，并且改善特别是与压缩视频流中的用户所选择的关注区域的HTTP(超文本传输协议)和RTP(实时传输协议)流传输有关的流传递。
技术介绍
国际标准化组织基媒体文件格式(ISOBMFF)是描述供本地存储或者供经由网络或经由其它位流传递机制进行传输的编码定时媒体数据位流的、众所周知的灵活且可扩展的格式。该文件格式是面向对象的。该文件格式包括被称为框(box)的构建块，其中这些框是顺次或层级组织的，并且定义编码定时媒体数据位流的诸如定时参数和结构参数等的参数。该文件格式可以描述诸如SVC(ScalableVideoCoding，可分级视频编码)、HEVC(HighEfficiencyVideoCoding，高效率视频编码)或分层HEVC(L-HEVC)等的各种视频格式。根据这些视频格式，将诸如包括定时样本(例如，图像)的多层区块化定时媒体数据(例如，可分级区块化或多视图区块化视频数据)等的单层或多层分区定时媒体数据作为一组多个定时媒体数据轨(通常为基本区块轨和区块轨)来发送。在多层变体中，基本区块轨包括基本层基本轨和至少一个增强层基本区块轨，并且区块轨包括基本层区块轨和增强层区块轨。各定时媒体数据轨包括多个定时样本的一个空间子样本(例如，多个NAL单元或NAL单元中的连续字节范围)。这样的一组定时媒体数据轨使得能够对单层或多层空间视频区块进行选择、合成和高效流传输。可以将各轨作为一组媒体片段文件从服务器装置发送到客户端装置。可以使用初始化片段文件来发送对媒体片段文件进行解码所需的元数据。根据ISOBMFF文件格式，可以将轨的样本分组以与一组共同的性质相关联：这是涉及SampleToGroupBox(样本到组框)和SampleGroupDescriptionBox(样本组描述框)这两个框的样本分组机制。这两者都可以通过grouping_type值关联。轨具有多个框以及框和子框的层级结构，该层级结构用以描述这些框和子框在它们包含的媒体方面、它们包含的样本(通常为样本表框)方面、以及与其它轨的关系或依赖性方面的性质。上述框的定义以及在这些框中所包括的子框的定义在文献“DrafttextofISO/IECDIS14496-15第四版,ISO/IECJTC1/SC29/WG11,W15928,2016年2月，美国圣地亚哥”(以下称为“w15928”)中进行了描述。区块描述所用的当前框或元数据可能导致ISOBMFF元数据的组织变复杂且不够高效。特别地，w15928定义了区块的描述符：一个描述符被称为具有标识码“trif”的TileRegionGroupEntry(区块区域组条目)或RectTileRegionGroupEntry，并且另一描述符被称为具有标识码“tsif”的TileSetGroupEntry(区块集合组条目)或UnconstrTileRegionGroupEntry。这两者都意图被声明为SampleGroupDescriptionBox(样本组描述框)中的样本组性质(被称为VisualSampleGroupEntries(视觉样本组条目))。“trif”从位置、大小、相对于其它区块有无独立性方面描述区块样本，并且指示这些区块样本是否覆盖完整视频。各trif具有唯一标识符。“tsif”构建在“trif”之上，以通过聚合一个或多个“trif”来描述区块集合(经由这些区块的groupID来参考)。例如在区块依赖于另一区块时(例如，在用以预测区块的数据块的一些运动矢量使用来自相邻区块的数据块时)，“tsif”还为区块提供编码依赖性列表。同样，在媒体是分层媒体时，层中的区块可以依赖于另一层中的区块：第二依赖列表可以提供该依赖性列表。区块轨的概念也被定义，并且包括仅在轨中放置与所选择的区块或区块集合有关的样本或样本部分。在存在一个或多个区块轨的情况下，这些区块轨可以参考包含参数集信息的公共区块基本轨、即解码器的初始化数据。这些区块轨是利用特定代码(样本条目)来标识的：“hvt1”或“lhv1”(在分层媒体的情况下)。即使区块轨和trif被设计成容易描述以及访问独立可解码的区块(除共同位于参考图片中的区块外的、不依赖于任何其它区块的区块)，这两个描述符的解析也不是最高效的，因为这需要解析区块描述符、tsif描述符的列表并且在tsif的列表中找到包含在trif中声明的区块的信息的tsif。此外，在分层编码上下文中，来自增强层的区块将始终具有对整个图片或下层中的一些区块的依赖性，这意味着：-TileRegionGroupEntry的independent_idc字段始终为0，并且在“trif”级处依赖性是未知的(FDIS草案，w15928)；或者-independent_idc字段仅描述各层的依赖性(ISO/IECFDIS14496-15的草案第四版,ISO/IECJTC1/SC29/WG11,w15640)，其中在这种情况下，向较低层的依赖性在“trif”级处是未知的。在任意情况下，为了找到区块依赖性，需要检查TileSetGroupEntry并找到完全包括该区块的区块集；然后，区块集将提供适当的依赖性：-适用于与条带和/或NALU类型有关的所有NALU的依赖性-可选地，依赖性仅适用于IRAPNALU，以适应较高层仅在IRAP图片上(通常在GOP的开始处)使用来自较低层的参考的情况。如从以上的论述可以看出，描述分层HEVC中的层间区块化依赖性可以利用当前DIS文本进行，但需要TileSetGroupEntry和TileRegionGroupEntry之间的额外的间接级别。尽管这些区块描述通常是恒定的并且可以使区块轨中的样本组描述成为默认，但这种额外的复杂性不是非常有用。为了解决这些问题，提供特别适合多层视频流的分层HEVC中的空间区块、可分级层和多个视图的高效的数据组织和轨描述方案。这确保了ISOBMFF解析的结果更加高效并且适用于单层和/或多层HEVC。
技术实现思路
本专利技术的广义目的是改善如上所述的现有技术的不足之处。根据本专利技术的第一方面，提供一种用于对分区定时媒体数据进行封装的方法，所述分区定时媒体数据包括定时样本，至少一个定时样本包括至少一个子样本，所述方法包括：从所述定时样本中的至少一个定时样本获得至少一个子样本；创建包括所获得的至少一个子样本的第一轨；从所述定时样本中的所述至少一个定时样本获得至少另一子样本；创建包括所获得的至少另一子样本的第二轨；以及生成描述性元数据，所述描述性元数据包括统一描述符，所述统一描述符包括：第一参数，其在设置为1的情况下，指示所获得的至少一个子样本是完整帧；以及至少一个第二参数，其指定所获得的至少一个子样本和所获得的至少另一子样本之间的编码依赖性。根据本专利技术的第二方面，提供一种用于对分区定时媒体数据进行解析的方法，所述分区定时媒体数据包括定时样本，至少一个定时样本包括至少一个子样本，对所述分区定时媒体数据进本文档来自技高网...

【技术保护点】
1.一种用于对分区定时媒体数据进行封装的方法，所述分区定时媒体数据包括定时样本，至少一个定时样本包括至少一个子样本，所述方法包括：从所述定时样本中的至少一个定时样本获得至少一个子样本；创建包括所获得的至少一个子样本的第一轨；从所述定时样本中的所述至少一个定时样本获得至少另一子样本；创建包括所获得的至少另一子样本的第二轨；以及生成描述性元数据，所述描述性元数据包括统一描述符，所述统一描述符包括：第一参数，其在设置为1的情况下，指示所获得的至少一个子样本是完整帧；以及至少一个第二参数，其指定所获得的至少一个子样本和所获得的至少另一子样本之间的编码依赖性。

【技术特征摘要】
【国外来华专利技术】2016.05.24 GB 1609145.61.一种用于对分区定时媒体数据进行封装的方法，所述分区定时媒体数据包括定时样本，至少一个定时样本包括至少一个子样本，所述方法包括：从所述定时样本中的至少一个定时样本获得至少一个子样本；创建包括所获得的至少一个子样本的第一轨；从所述定时样本中的所述至少一个定时样本获得至少另一子样本；创建包括所获得的至少另一子样本的第二轨；以及生成描述性元数据，所述描述性元数据包括统一描述符，所述统一描述符包括：第一参数，其在设置为1的情况下，指示所获得的至少一个子样本是完整帧；以及至少一个第二参数，其指定所获得的至少一个子样本和所获得的至少另一子样本之间的编码依赖性。2.根据权利要求1所述的方法，还包括：在所述至少一个子样本属于非区块化层的情况下，在所述统一描述符中将所述第一参数设置为1。3.根据权利要求1或2所述的方法，其中，所述统一描述符是VisualSampleGroupEntry描述符即“trif”描述符。4.根据前述权利要求中任一项所述的方法，其中，所述分区定时媒体数据是多层分区定时媒体数据。5.根据前述权利要求中任一项所述的方法，其中，所述子样本对应于区块区域。6.根据权利要求4和5所述的方法，其中，所述至少一个第二参数指定该区块区域与当前图片和参考图片中的其它区块区域之间的编码依赖性，无论这些区块区域是否来自相同的层。7.根据前述权利要求中任一项所述的方法，其中，一个描述模式中的所述至少一个第二参数包括：第一依赖性列表，其描述所获得的至少一个子样本和另一子样本之间的一个或多个第一依赖性；以及第二依赖性列表，其与所述第一依赖性列表分开，并且描述所获得的至少一个子样本和另一子样本之间的一个或多个第二依赖性。8.根据前述权利要求中任一项所述的方法，其中，所述统一描述符是根据ISO基媒体文件格式的描述符。9.一种用于对分区定时媒体数据进行解析的方法，所述分区定时媒体数据包括定时样本，至少一个定时样本包括至少一个子样本，对所述分区定时媒体数据进行封装，以包括：第一轨，其包括从所述定时样本中的至少一个定时样本获得的至少一个子样本；第二轨，其包括从所述定时样本中的所述至少一个定时样本获得的至少另一子样本；以及描述性元数据，其包括统一描述符，所述统一描述符包括：第一参数，其在设置为1的情况下，指示所获得的至少一个子样本是完整帧；以及至少一个第二参数，其指定所获得的至少一个子样本和所获得的至少另一子样本之间的编码依赖性，所述方法包括：获得封装后的分区定时媒体数据的所述统一描述符，...

【专利技术属性】
技术研发人员：弗兰克·德诺奥，弗雷德里克·梅兹，内尔·奥德拉奥果，西里尔·康克拉托，简·勒菲弗，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本,JP