位流检验方法、解码方法及其装置制造方法及图纸

本发明专利技术公开了一种检验位流的方法，在编码端通过在假设位流缓存中对包含知识码流和主码流的拼接位流中的编码图像数据进行不同的操作，来模拟位流缓存中数据的填充程度，以检验假设位流缓存中的数据充满度是否发生了假设位流缓存的上溢或假设位流缓存的下溢，从而检验位流的合格性。其目的是为了判断编码器生产的位流是否合格。在解码端采用相应的位流操作的机制，对拼接位流中穿插的知识图像进行适时的解码，但同时要保证在有限容量的位流缓存中既不上溢且不下溢的效果，并且解码器能够按正确的时序解码并显示主流中的图像。本发明专利技术的解码方法使用有限容量的缓存即可串行地实现知识图像和主流图像的解码，一方面避免主流图像播放的卡顿，同时还避免了占用过多的解码图像缓存大小。

【技术实现步骤摘要】
位流检验方法、解码方法及其装置
本专利技术涉及图像或视频压缩
，更具体的说，尤其涉及位流缓存的检验方法。
技术介绍
1、传统视频编码方案在现有视频序列处理中，为了使编码后的视频序列支持随机访问功能，视频序列被分割成多个具有随机访问功能的片段(简称为随机访问片段)，如图1所示，一个视频序列包括至少一个随机访问片段，每个随机访问片段对应一个显示时段并包括一幅随机访问图像以及多幅非随机访问图像，每个图像拥有各自的显示时间以描述该图像被显示或播放的时间。一个随机访问片段中的图像可以进行帧内编码，或者，参考该随机访问片段中的其他图像利用帧间预测进行编码，其中，被参考的图像可以是要显示的图像、或者不能显示的合成图像等。然而在现有技术中，一个显示顺序在随机访问图像之后的图像(不包括leadingpictures)只能参考该图像所属的随机访问片段中的其他图像，而不能参考该图像所属随机访问片段之前或之后的随机访问片段中的图像，如图1所示。具体的，有如下几种方式描述当前图像和候选参考图像之间的依赖关系：在现有的视频编码方案(如H.264\AVC或H.265\HEVC)中，当前图像和候选参考图像之间的依赖关系由视频压缩层的参考图像配置集描述，其中参考图像配置集描述了参考图像与当前图像之间的编号差值。之所以在参考图像配置集中仅描述编号差值，是因为现有的视频编码方案中，候选参考图像与当前图像从属于同一个独立可解码的随机访问片段，且候选参考图像与当前图像只能使用同一种编号规则，例如按照时间顺序编号，因此根据当前图像编号和候选参考图像编号差值可以准确定位候选参考图像。如果参考图像和当前图像使用不同的编号规则，由于现有视频编码方案没有提供在码流中描述不同编号规则的方法，同样的编号差值会指向不同的候选参考图像，导致编解码器不能使用正确的候选参考图像。在可伸缩视频编码方案(ScalableVideoCoding，SVC)和多视点视频编码方案(MultiviewVideoCoding，MVC)中，如图2所示，在已有帧间预测(仅使用同层/同视点内的候选参考图像)的基础上，SVC/MVC使用层间/视点间预测为当前图像扩展了候选参考图像的范围，其中扩展的候选参考图像与当前图像拥有相同的编号(例如，相同时间戳)且不属于独立可解码片段的同一层级。SVC/MVC在视频压缩层使用层级标识描述不同层/视点的码流的依赖关系，并联合使用图像的同一编号描述层间/视点间图像的依赖关系。在AVS2的背景帧技术中，如图3所示，编码图像和场景图像的依赖关系由视频压缩层中参考图像类型的标识来描述。具体的，AVS2使用标识描述特别的场景图像类型(即，G图像和GB图像)，并使用特定的参考缓存(即场景图像缓存)管理G/GB图像，同时，使用标识描述当前图像是否参考G/GB图像，并使用特定的参考图像队列构建方法(即，默认将G/GB图像放入参考图像队列的最后一个参考图像位)，最终，使得按照规则编号的当前图像能够参考不按照规则编号的候选参考图像(即GB图像)、或与当前图像使用同一规则编号但编号差值超出约束范围的候选参考图像(即G图像)。但该技术限制任意时刻场景图像缓存中只能存在一个候选参考图像，且该候选参考图像仍然与当前图像属于同一独立可解码片段。2、基于知识库的视频编码方案现有技术的上述机制会限制待编码图像的可用参考图像数量，不能有效提升图像编码和图像解码的效率。为了挖掘和利用多个随机访问片段之间的图像在编码时相互参考的信息，在编码(或解码)一幅图像时，编码器(或解码器)可以从数据库中选择与当前编码图像(或解码图像)纹理内容相近的图像作为参考图像，这种参考图像称为知识库图像，存储上述参考图像的集合的数据库称为知识库，这种视频中至少一幅图像参考至少一幅知识库图像进行编解码的方法称为基于知识库的视频编码(英文：library-basedvideocoding)。采用基于知识库的视频编码对一个视频序列进行编码会产生一个包含知识库图像编码码流的知识码流和一个包含视频序列各帧图像参考知识库图像编码得到的码流的主码流。这两种码流分别类似于可伸缩视频编码(英文：scalablevideocoding，SVC)产生的基本层码流和增强层码流，即主码流依赖于知识码流，且知识码流可以穿插入主码流以组成拼接码流。然而，基于知识库的视频编码的双码流组织方式与SVC的分级码流组织方式的层级码流之间的依赖关系不同，不同之处在于，SVC的双码流层级之间是按照一定的对齐时间段依赖的，而基于知识库的视频编码的双码流中视频层依赖知识层是按照非对齐时间段依赖的。在利用知识图像的编解码技术中，知识图像被获取并用于为图像的编解码提供额外的候选参考图像，图4展示了利用知识图像的编解码技术中，序列图像与知识图像之间的依赖关系。知识图像使得序列图像能够利用大跨度的相关信息，提升了编解码效率。但是，现有的技术方案并不能有效地支持序列图像和知识图像依赖关系的描述及对知识图像进行高效的管理。3、现有的位流缓存检验方法在现有技术中，位流检验方法对假设位流缓存(bitstreambuffer)中的位流进行检验，例如在图5中，位流数据逐渐进入假设位流缓存中，并在解码时刻t(n)从位流缓存中移出数据以进行解码。符合检验的位流应该保持假设位流缓存中的数据充满程度不超过假设位流缓存的大小，即不导致假设位流缓存上溢，也不应该少于当前时刻需要解码的图像数据的大小，即不导致假设位流缓存的下溢。
技术实现思路
为克服现有技术上述缺陷，本专利技术公开一种检验位流的方法，在编码端通过在假设位流缓存中对包含知识码流和主码流的拼接位流中的编码图像数据进行不同的操作，来模拟位流缓存中数据的填充程度，以检验假设位流缓存中的数据充满度是否发生了假设位流缓存的上溢或假设位流缓存的下溢，从而检验位流的合格性。目的是为了判断编码器生产的位流是否合格。为此，本专利技术第一目的提供一种检验位流的方法，包括：1)对于主码流和知识流拼接得到的位流中的一幅图像的编码数据执行以下操作方法之一：a、如果该图像为主码流中的图像，根据该图像的解码时刻和此前已解码的主码流中的图像的显示时刻的差值大小，决定是否将所述图像的编码数据移出假设位流缓存；b、如果该图像为知识流中的图像，根据该图像的解码时刻，将所述图像的编码数据移出假设位流缓存；2)检验假设位流缓存的数据充满度，根据数据充满度是否超过假设位流缓存的容量上限和下限，判断所述被检验位流是否合格。作为优选，所述根据图像的解码时刻和此前已解码的主码流中的图像的显示时刻的差值大小，决定是否将所述图像的图像数据移出假设位流缓存，按以下操作方法之一执行：1)如果所述图像的解码时刻不早于该图像之前最临近解码的第二个图像的显示时刻，则在所述图像的解码时刻，将所述图像的编码数据移出假设位流缓存；2)如果所述图像的解码时刻早于该图像之前最临近解码的第二个图像的显示时刻，则在所述图像的解码时刻，不从假设位流缓存中移出数据。本专利技术第二目的，本文档来自技高网...

【技术保护点】
1.一种检验位流的方法，其特征在于包括：/n1)对于主码流和知识流拼接得到的位流中的一幅图像的编码数据执行以下操作方法之一：/na、如果该图像为主码流中的图像，根据该图像的解码时刻和此前已解码的主码流中的图像的显示时刻的差值大小，决定是否将所述图像的编码数据移出假设位流缓存；/nb、如果该图像为知识流中的图像，根据该图像的解码时刻，将所述图像的编码数据移出假设位流缓存；/n2)检验假设位流缓存的数据充满度，根据数据充满度是否超过假设位流缓存的容量上限和下限，判断所述被检验位流是否合格。/n

【技术特征摘要】
20190201 CN 20191010776391.一种检验位流的方法，其特征在于包括：
1)对于主码流和知识流拼接得到的位流中的一幅图像的编码数据执行以下操作方法之一：
a、如果该图像为主码流中的图像，根据该图像的解码时刻和此前已解码的主码流中的图像的显示时刻的差值大小，决定是否将所述图像的编码数据移出假设位流缓存；
b、如果该图像为知识流中的图像，根据该图像的解码时刻，将所述图像的编码数据移出假设位流缓存；
2)检验假设位流缓存的数据充满度，根据数据充满度是否超过假设位流缓存的容量上限和下限，判断所述被检验位流是否合格。


2.根据权利要求1所述方法，其特征在于，所述根据图像的解码时刻和此前已解码的主码流中的图像的显示时刻的差值大小，决定是否将所述图像的图像数据移出假设位流缓存，按以下操作方法之一执行：
1)如果所述图像的解码时刻不早于该图像之前最临近解码的第二个图像的显示时刻，则在所述图像的解码时刻，将所述图像的编码数据移出假设位流缓存；
2)如果所述图像的解码时刻早于该图像之前最临近解码的第二个图像的显示时刻，则在所述图像的解码时刻，不从假设位流缓存中移出数据。


3.一种解码方法，其特征在于，对于存储于位流缓存的位流中的一幅图像的编码数据，按以下操作方法之一执行，其中所述位流由主码流和知识流拼接得到：
a、如果该图像为主码流中的图像，根据该图像的解码时刻和此前已解码的主码流中的图像的显示时刻的差值大小，决定是否将所述图像的编码数据移出位流缓存以解码所述图像；
b、如果该图像为知识流中的图像，根据该图像的解码时刻，将所述图像的编码数据移出位流缓存以解码所述图像。


4.根据权利要求3所述方法，其特征在于，所述根据该图像的解码时刻和此前已解码的主码流中的图像的显示时刻的差值大小，决定是否将所述图像的编码数据移出位流缓存以解码所述图像，按以下操作方法之一执行：
1)如果所述图像的解码时刻不早于该图像之前最临近解码的第二个图像的显示时刻，则在所述图像的解码时刻，将所述图像的编码数据移出位流缓存以解码所述图像，并将所述解码图像放入待显示缓存；
2)如果所述图像的解码时刻早于该图像之前最临近解码的第二个图像的显示时刻，则在所述图像的解码时刻，不从位流缓存中移出编码数据。


5.根据权利要求4所述方法，其特征在于，所述将解码图像放入显示缓存，按以下操作方法之一执行：
1)如果所述图像的解码时刻不早于该图像之前最临近解码的第一个图像的显示时刻，将所述解码图像放入第一待显示缓存；
2)如果所述图像的解码时刻不早于该图像之前最临近解码的第二个图像的显示时刻且早于该图像之前最临近解码的第一个图像的显示时刻，将第二待显示缓存...

【专利技术属性】
技术研发人员：于化龙，虞露，高小丁，袁锜超，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33