用于视频编码和解码的装置、方法和计算机程序制造方法及图纸

一种方法包括：在容器文件中写入包括切片分段报头的第一部分的至少一个第一条目；在容器文件中指示针对样本应用了至少一个第一条目中的哪个条目；以及在没有切片分段报头的第一部分的情况下制作样本。

【技术实现步骤摘要】
【国外来华专利技术】用于视频编码和解码的装置、方法和计算机程序
本专利技术涉及用于视频编码和解码的装置、方法和计算机程序。
技术介绍
最近，各种多媒体流应用、尤其是360度视频或虚拟现实(VR)应用的开发取得了长足的进步。在视口自适应流传输中，旨在降低比特率，例如使得主视口(即，当前观看取向(orientation))将以最佳质量/分辨率被传输，而其余360度视频以较低质量/分辨率被传输。当观看取向改变时，例如，当用户在利用头戴式显示器(HMD)观看内容时转动头时，需要流传输内容的另一版本，以匹配新观看取向。有几种备选方案来传递视口相关全向视频。例如，可以将其作为具有运动约束图块集(motion-constrainedtilesets,MCTS)的等分辨率高效视频编码(HEVC)比特流进行传递。因此，使用运动受限图块集以相同分辨率但不同质量和比特率对相同全向源内容的若干HEVC比特流进行编码。360°视频的基于图块的视口相关传递涉及大量图块或子图片轨道(track)，每个轨道包含独立切片分段的切片分段报头。例如，可以以立方图投影(cubemapprojection)格式使用产生为96个图块或子图片轨道的96个图块。类似地，期望为了实现适应观看位置和/或观看定位的点云或体积视频流，将使用大量图块或子图片轨道，每个轨道包含一组补丁。独立切片分段报头的长度有所不同，但通常至少为4个字节。图块轨道的切片分段报头可能更大。因此，由切片分段报头引起的开销比特率很大。
技术实现思路
现在，为了至少减轻上述问题，本文中介绍一种增强的编码方法。根据第一方面的一种方法包括：在容器文件中写入包括切片分段报头的第一部分的至少一个第一条目；在容器文件中指示针对样本应用了至少一个第一条目中的哪个条目；以及在没有切片分段报头的第一部分的情况下制作(author)样本。根据第二方面的一种装置包括：用于在容器文件中写入包括切片分段报头的第一部分的至少一个第一条目的部件；用于在容器文件中指示针对样本应用了至少一个第一条目中的哪个条目的部件；以及在没有切片分段报头的第一部分的情况下制作样本的部件。根据一个实施例，该装置还包括用于在容器文件中写入包括切片分段报头的第二部分的集合的至少一个第二条目的部件，其中第二部分包括与第一部分不同的语法元素；用于在容器文件中指示针对样本应用了至少一个第二条目中的哪个条目的部件；以及用于在没有切片分段报头的第二部分的集合的情况下制作样本的部件。根据一个实施例，该装置还包括：用于在容器文件中写入具有样本的切片分段数据轨道的部件，该切片分段数据轨道包括切片分段数据而没有切片分段报头；用于在没有切片分段数据的情况下制作样本的部件；以及用于在容器文件中指示针对样本的切片分段数据驻留在切片分段数据轨道中的部件。根据一个实施例，关于样本的切片分段数据驻留在切片分段数据轨道中的指示包括以下之一：-对切片分段数据轨道的特定类型的轨道参考-对包括切片分段数据轨道的轨道组的特定类型的轨道参考。根据一个实施例，切片分段数据轨道的样本结构包括一个或多个切片分段NAL单元状结构，该结构包括以下中的一项或多项：-对第一条目列表中的条目和/或第二条目列表中的条目的隐式参考-对切片分段数据轨道中的相关联的样本的隐式参考。根据一个实施例，至少一个第一条目和/或至少一个第二条目包括以下结构之一：-样本组描述框-MovieBox和/或(多个)MovieFragmentBox中包含的框-样本到组框-SampleTableBox和/或(多个)TrackFragmentBox中包含的框。根据一个实施例，该装置还包括用于将独立切片分段的每个序列封装为被指示为属于同一轨道组的图块轨道的部件；以及用于创建图块基本轨道(tilebasetrack)的部件，其中图块基本轨道的每个样本包括一个或多个编码图片，该个或多个编码图片包括或被推断为包括N个独立切片分段，其中N在图块基本轨道之间可以不同，并且其中图块基本轨道包括关于轨道组应用于每个切片分段的指示。根据第三方面的一种方法包括：从容器文件中解析包括切片分段报头的第一部分的至少一个第一条目；从容器文件中解析针对样本应用了至少一个第一条目中的哪个条目；以及根据第一至少一个条目中的所应用的条目和切片分段数据来重构样本的切片分段。根据第四方面的一种装置包括：用于从容器文件中解析包括切片分段报头的第一部分的至少一个第一条目的部件；用于从容器文件中解析针对样本应用了至少一个第一条目中哪个条目的部件；以及用于根据第一至少一个条目中的所应用的条目和切片分段数据来重构样本的切片分段的部件。根据一个实施例，该装置还包括用于从容器文件中解析包括切片分段报头的第二部分的集合的至少一个第二条目的部件，其中第二部分包括与第一部分不同的语法元素；用于从容器文件中解析针对样本应用了至少一个第二条目中哪个条目的部件；以及用于根据至少一个第二条目中的所应用的条目来重构切片分段的部件。根据一个实施例，该装置还包括：用于从容器文件中解析针对样本的切片分段数据驻留在具有样本的切片分段数据轨道中的指示的部件，切片分段数据轨道包括切片分段数据而没有切片分段报头；用于从容器文件中读取切片分段数据轨道的时间对准样本的部件；以及用于基于时间对准样本中承载的切片分段数据来重构切片分段的部件。根据一个实施例，该装置还包括：用于从容器文件中解析具有合适的解码能力要求的图块基本轨道的部件；用于推断切片分段数据轨道包含的独立切片分段的数目的部件；参考从轨道组中选择至少覆盖视口的一个或多个图块轨道的部件；以及用于根据原始字节序列有效载荷(RBSP)的重构过程来重构编码图片的部件。另外的方面涉及其上存储有代码的装置和计算机可读存储介质，该代码被布置为执行以上方法和与之有关的一个或多个实施例。附图说明为了更好地理解本专利技术，现在将通过示例的方式参考附图，在附图中：图1示意性地示出了采用本专利技术的实施例的电子设备；图2示意性地示出了适合于采用本专利技术的实施例的用户设备；图3进一步示意性地示出了使用无线和有线网络连接而连接的采用本专利技术的实施例的电子设备；图4示意性地示出了适合于实现本专利技术的实施例的编码器；图5示出了MPEG全向媒体格式(OMAF)概念的示例；图6a和图6b示出了将360度视频内容打包成2D打包的图片以进行编码的两种备选方法；图7示出了形成单视场等角全景图片的过程；图8示出了OMAF坐标系的示例；图9示出了将球形图片转换为打包的2D图片的示例；图10示出了多分辨率图块合并的示例方案；图11示出了根据本专利技术的实施例的编码/写入方法的流程图；图12示出了根据本专利技术的实施例的容器文件中的映射的示例；图13示出了根据本专利技术的实施例的容器文件结构的示例；图14示出了根据本专利技术的实施例的容器文件结本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n在容器文件中写入至少一个第一条目和至少一个第二条目，所述第一条目包括切片分段报头的第一部分，所述第二条目包括切片分段报头的第二部分的集合，其中所述第二部分包括与所述第一部分不同的语法元素；/n在所述容器文件中写入具有样本的一个或多个切片分段数据轨道，所述一个或多个切片分段数据轨道包括切片分段数据而没有切片分段报头，其中所述切片分段数据包括具有彼此相同的宽度和彼此相同的高度的多个独立切片分段；/n在所述容器文件中指示针对样本应用了所述至少一个第一条目和所述至少一个第二条目中的哪个条目并且指示针对所述样本的所述切片分段数据驻留在所述切片分段数据轨道中；/n在没有切片分段数据并且没有所述切片分段报头的所述第一部分和所述第二部分的集合的情况下制作所述样本。/n

【技术特征摘要】
【国外来华专利技术】20180912 FI 201857591.一种方法，包括：
在容器文件中写入至少一个第一条目和至少一个第二条目，所述第一条目包括切片分段报头的第一部分，所述第二条目包括切片分段报头的第二部分的集合，其中所述第二部分包括与所述第一部分不同的语法元素；
在所述容器文件中写入具有样本的一个或多个切片分段数据轨道，所述一个或多个切片分段数据轨道包括切片分段数据而没有切片分段报头，其中所述切片分段数据包括具有彼此相同的宽度和彼此相同的高度的多个独立切片分段；
在所述容器文件中指示针对样本应用了所述至少一个第一条目和所述至少一个第二条目中的哪个条目并且指示针对所述样本的所述切片分段数据驻留在所述切片分段数据轨道中；
在没有切片分段数据并且没有所述切片分段报头的所述第一部分和所述第二部分的集合的情况下制作所述样本。


2.根据权利要求1所述的方法，还包括：
在所述容器文件中指示所有切片分段数据轨道属于同一轨道组。


3.根据权利要求1或2所述的方法，还包括：
在所述容器文件中写入一个或多个图块基本轨道，其中所述图块基本轨道的每个样本包含或被推断为包含一个或多个切片分段NAL单元状结构。


4.根据权利要求3所述的方法，还包括：
在所述容器文件中指示一个或多个图块基本轨道包含对所述轨道组的轨道参考的列表，其中公共轨道组中的轨道是用于提取的备选。


5.根据权利要求4所述的方法，其中所述指示被包括在定义轨道参考的类型的框中，其中所述框被允许多次包含对所述轨道组的相同参考值，其中所述相同参考值的序号与所述NAL单元状结构的对应序号相关联。


6.根据权利要求4所述的方法，其中多个轨道组被定义并且所述指示被包括在定义轨道参考的类型的框中，其中所述框被允许仅一次包含对所述轨道组的相同参考值。


7.根据权利要求5或6所述的方法，还包括：
通过所述轨道参考的所述类型来指示所述相同参考值被用于解析所有切片分段NAL单元状结构，其中当所述参考值参考轨道组时，所述轨道组中的所述轨道是每次能够以不同方式来选择的。


8.根据权利要求5至7中任一项所述的方法，还包括：
通过所述轨道参考的所述类型来指示定义所述轨道参考的所述类型的所述框中的参考值在解析所有切片分段NAL单元状结构时被循环使用。


9.根据权利要求5至8中任一项所述的方法，还包括：
针对特定轨道参考类型对每个参考值进行索引；以及
在样本组中将切片分段NAL单元状结构映射到所述轨道参考的参考值的索引。


10.一种装置，包括部件，所述部件用于：
在容器文件中写入至少一个第一条目和至少一个第二条目，所述第一条目包括切片分段报头的第一部分，所述第二条目包括切片分段报头的第二部分的集合，其中所述第二部分包括与所述第一部分不同的语法元素；
在所述容器文件中写入具有样本的一个或多个切片分段数据轨道，所述一个或多个切片分段数据轨道包括切片分段数据而没有切片分段报头，其中所述切片分段数据包括具有彼此相同的宽度和彼此相同的高度的多个独立切片分段；
在所述容器文件中指示针对样本应用了所述至少一个第一条目和所述至少一个第二条目中的哪个条目并且指示针对所述样本的所述切片分段数据驻留在所述切片分段数据轨道中；以及
在没有切片分段数据并且没有所述切片分段报头的所述第一部分和所述第二部分的集合的情况下制作所述样本。


11.根据权利要求10所述的装置，还包括以下部件，所述部件用于：
在所述容器文件中指示所有切片分段数据轨道属于同一轨道组。


12.根据权利要求10或11所述的装置，还包括以下部件，所述部件用于：
在所述容器文件中写入一个或多个图块基本轨道，其中所述图块基本轨道的每个样本包含或被推断为包含一个或多个切片分段NAL单元状结构。


13.根据权...

【专利技术属性】
技术研发人员：M·汉努克塞拉，
申请(专利权)人：诺基亚技术有限公司，
类型：发明
国别省市：芬兰;FI