支持解码压缩帧缓存自适应分配的编码方法及应用技术

本发明专利技术公开了支持解码压缩帧缓存自适应分配的编码方法及应用，涉及视频处理技术领域。一种支持解码压缩帧缓存自适应分配的编码方法,包括步骤:在编码器端对解码器端的帧缓存压缩率进行预计算和设置,并将每个重建帧所需的实际帧缓存大小信息编入视频压缩码流；将前述视频压缩码流传输至解码器端；解码器端根据收到的每个重建帧所需的实际帧缓存大小信息来预分配每一帧的帧缓存。本发明专利技术将帧缓存再压缩技术和颗粒化帧缓存管理技术相结合，支持多路解码视频服务器为每一路视频的每一帧解码自适应的分配帧缓存空间，实现了对服务器片外存储资源的最优化利用。

【技术实现步骤摘要】
支持解码压缩帧缓存自适应分配的编码方法及应用
本专利技术涉及视频处理

技术介绍
在视频系统服务器端，通常需要支持对多路输入编码视频同时进行解码。普通解码器的信息传输过程参见图1所示，每一路视频解码需要分配独立的解码帧缓存，用来存放参考帧图像、重建帧图像和显示帧图像，如果没有足够的帧缓存空间时，解码器将无法正常工作。通常来说，帧缓存需要分配的大小等于缓存的帧数乘以每一帧的存储大小，每一帧的存储大小由图像分辨率决定，对同一个视频序列为固定值。随着超高清视频的广泛应用和编码标准支持使用的参考帧数量的增加，服务器端需要为多路视频解码分配的DDR(DoubleDataRateSDRAM)存储空间非常可观。片外存储器成本是视频系统成本的重要部分之一，很多时候视频服务器能支持的并行解码通道数受限于片外DDR可用空间的限制，不能按照解码器的最大能力运行。此外，越来越多的人工智能应用也需要巨大的片外存储空间，解码器占用过多资源也限制了视频系统智能计算的能力。现有的视频解码器，一般可以根据输入编码视频的实际分辨率来分配每一帧的片外帧缓存空间大小，根据实际需要的参考帧数量来分配帧缓存的帧数：如此可以实现缓存分配一定程度的自适应。但对于输入分辨率确定和参考帧数量确定的多通道并行解码应用场景——比如安防监控系统，现有的技术方案往往只能对每个通道分配恒定的帧缓存大小，无法进一步实现自适应优化。同时，随着图像分辨率的提升，视频解码的带宽也显著增加。最新的超高清硬件解码器中大都开始采用帧缓存再压缩的技术，将输出的重建帧进行压缩后存储，以减少带宽需求，参见图2所示。因为压缩后的重建帧会作为参考帧供后续预测参考，不能有损失，所以帧缓存压缩需要采用无损压缩的方法。但是，由于无损压缩的原因，帧缓存的压缩率受图像内容影响波动很大，且无法预测，所以解码器仍然只能为每一帧图像按照最大空间进行分配(实际应用时，由于要额外增加压缩模式信息，一般再压缩帧缓存的大小需要大于未压缩时每帧分配的大小)。对于输入视频分辨率和参考帧数量确定的多路解码应用场景，现有的视频解码系统所需分配的解码帧总的缓存空间尺寸是恒定的，其大小等于并行解码通道数*每个通道的缓存帧数*每一帧的缓存大小。比如16路4KH265视频并行解码，每路3帧缓存算，服务器就需要为视频解码总共分配600MB以上缓存空间，视频系统所需的片外存储器成本非常高。根据实验可知，当前已有的各种无损帧缓存压缩技术对各种自然视频的压缩率平均在50％左右。也就是说，在采用了帧缓存压缩技术的实际解码应用中，大约一半的帧缓存空间是基本处于闲置状态，而由于无法预知解码帧缓存压缩率，为了保证兼容最坏情况，这些闲置空间并未被充分利用。
技术实现思路
本专利技术的目的在于：克服现有技术的不足，提供了一种支持解码压缩帧缓存自适应分配的编码方法及应用。本专利技术提供的编码方法，将帧缓存再压缩技术和颗粒化帧缓存管理技术相结合，支持多路解码视频服务器为每一路视频的每一帧解码自适应的分配帧缓存空间，实现了对服务器片外存储资源的最优化利用。为实现上述目标，本专利技术提供了如下技术方案：一种支持解码压缩帧缓存自适应分配的编码方法(包括步骤:在编码器端对解码器端的帧缓存压缩率进行预计算和设置(并将每个重建帧所需的实际帧缓存大小信息编入视频压缩码流；将前述视频压缩码流传输至解码器端；前述解码器端根据收到的每个重建帧所需的实际帧缓存大小信息来预分配每一帧的帧缓存。进一步，在所述编码器端通过帧缓存压缩率计算模块来计算编码产生的重建帧采用解码器端的帧缓存压缩方法时的帧缓存压缩率信息。进一步，获取解码器端对重建帧压缩尺寸的要求，在所述编码器端通过帧缓存压缩率控制模块来根据前述要求对编码输入图像进行预滤波，通过控制滤波参数使重建帧压缩率符合解码器端的要求。进一步，对于多种帧缓存压缩模式，在所述编码器端通过帧缓存压缩信息编码模块将不同帧缓存压缩模式下的帧缓存信息分别打包编码。进一步，帧缓存压缩模式信息采用n比特二进制定长码表示指定的压缩模式，m比特二进制定长码表示内存分配的粒度值，1比特表示是否实时编码(其中(n和m为大于1的整数；判定为非实时编码时，平均重建帧压缩值和最大重建帧压缩值采用z比特二进制码表示，所述z等于未压缩图像值除以粒度的结果取整后所需的位宽；判定为实时编码时，无需传输平均重建帧压缩值和最大重建帧压缩值信息，默认最大重建帧压缩值为解码器指定的最大值，平均重建帧压缩值为压缩模式对应的默认经验值；每帧的重建帧值信息采用可变长编码，对当前帧值与平均值的差值采用有符号指数哥伦布编码。进一步，设置有限制帧缓存最大值模式和限制帧缓存平均值模式，在解码器端多路并行解码且帧缓存分配受限制时采用限制帧缓存最大值模式，在解码器端某一序列解码后需同时缓存较多帧图像供显示和/或后处理时采用限制帧缓存平均值模式。进一步，在限制帧缓存最大值模式下，首先根据解码器端反馈的最大重建帧允许值设定帧缓存压缩率控制模块的参数；然后通过压缩率计算模块计算每一个重建帧压缩后的大小值；判定某一重建帧实际压缩后超过指定值时，丢弃当前帧编码结果，调整预滤波参数重新对输入图像编码，使编码重建帧压缩后符合解码器端的要求；判定重建帧压缩后未超过允许范围时，通过帧缓存压缩信息编码模块将解码帧缓存所需大小值信息写入编码码流发送给解码器端，并调整预滤波参数优化输入图像清晰度。进一步，在限制帧缓存平均值模式下，通过对压缩率控制模块参数调整而不进行重编码，使平均帧缓存压缩率满足解码器端需求。进一步，获取输入图像的感兴趣区域，预滤波时，对感兴趣区域和其他区域采用不同的滤波强度，所述感兴趣区域采用的滤波强度小于其他区域采用的滤波强度；和/或，对不同重要性的重建帧设置不同的最大压缩尺寸，使关键帧的重建帧最大压缩尺寸大于其他帧的重建帧最大压缩尺寸；在解码器端并行解码时，将不同通道的关键帧错开在不同时刻解码。本专利技术还提供了一种支持解码压缩帧缓存自适应分配的编码系统，包括编码器端和解码器端：所述编码器端，用于对解码器端的帧缓存压缩率进行预计算和设置(并将每个重建帧所需的实际帧缓存大小信息编入视频压缩码流，并将前述视频压缩码流传输至解码器端；所述解码器端，用于根据收到的每个重建帧所需的实际帧缓存大小信息来预分配每一帧的帧缓存。本专利技术还提供了一种支持解码压缩帧缓存自适应分配的编码装置，包括如下结构：视频编码器；帧缓存压缩率控制模块，用于根据解码器端对重建帧压缩尺寸的要求，对编码输入图像进行预滤波，通过控制滤波参数使重建帧压缩率符合解码器端的要求；帧缓存压缩率计算模块，用于计算编码产生的重建帧采用解码器端的帧缓存压缩方法时的帧缓存压缩率信息；帧缓存压缩信息编码模块，用于将不同帧缓存压缩模式下的帧缓存信息分别打包编码。本专利技术由于采用以上技术方案，与现有技术相比，作为举例，具有以下的优点和积极效本文档来自技高网...

【技术保护点】
1.一种支持解码压缩帧缓存自适应分配的编码方法，其特征在于包括步骤：/n在编码器端对解码器端的帧缓存压缩率进行预计算和设置，并将每个重建帧所需的实际帧缓存大小信息编入视频压缩码流；/n将前述视频压缩码流传输至解码器端；/n前述解码器端根据收到的每个重建帧所需的实际帧缓存大小信息来预分配每一帧的帧缓存。/n

【技术特征摘要】
1.一种支持解码压缩帧缓存自适应分配的编码方法，其特征在于包括步骤：
在编码器端对解码器端的帧缓存压缩率进行预计算和设置，并将每个重建帧所需的实际帧缓存大小信息编入视频压缩码流；
将前述视频压缩码流传输至解码器端；
前述解码器端根据收到的每个重建帧所需的实际帧缓存大小信息来预分配每一帧的帧缓存。


2.根据权利要求1所述的编码方法，其特征在于：在所述编码器端通过帧缓存压缩率计算模块来计算编码产生的重建帧采用解码器端的帧缓存压缩方法时的帧缓存压缩率信息。


3.根据权利要求1所述的编码方法，其特征在于：获取解码器端对重建帧压缩尺寸的要求，在所述编码器端通过帧缓存压缩率控制模块来根据前述要求对编码输入图像进行预滤波，通过控制滤波参数使重建帧压缩率符合解码器端的要求。


4.根据权利要求1所述的编码方法，其特征在于：对于多种帧缓存压缩模式，在所述编码器端通过帧缓存压缩信息编码模块将不同帧缓存压缩模式下的帧缓存信息分别打包编码。


5.根据权利要求4所述的编码方法，其特征在于：帧缓存压缩模式信息采用n比特二进制定长码表示指定的压缩模式，m比特二进制定长码表示内存分配的粒度值，1比特表示是否实时编码，其中，n和m为大于1的整数；
判定为非实时编码时，平均重建帧压缩值和最大重建帧压缩值采用z比特二进制码表示，所述z等于未压缩图像值除以粒度的结果取整后所需的位宽；
判定为实时编码时，无需传输平均重建帧压缩值和最大重建帧压缩值信息，默认最大重建帧压缩值为解码器指定的最大值，平均重建帧压缩值为压缩模式对应的默认经验值；
每帧的重建帧值信息采用可变长编码，对当前帧值与平均值的差值采用有符号指数哥伦布编码。


6.根据权利要求1所述的编码方法，其特征在于：设置有限制帧缓存最大值模式和限制帧缓存平均值模式，在解码器端多路并行解码且帧缓存分配受限制时采用限制帧缓存最大值模式，在解码器端某一序列解码后需同时缓存较多帧图像供显示和/或后处理时采用限制帧缓存平均值模式。


7.根据权...

【专利技术属性】
技术研发人员：韦虎，
申请(专利权)人：眸芯科技上海有限公司，
类型：发明
国别省市：上海;31