一种抑制呼吸效应的率失真优化方法及装置制造方法及图纸

本发明专利技术公开了一种抑制呼吸效应的率失真优化方法。在每个I帧编码完成时，保存该I帧内部所有位置的图像块的帧内编码模式信息以及是否可用标识作为参考数据。在某个I帧和下一个I帧之间的所有P帧或B帧编码时，对所述参考数据进行更新。在对所述下一个I帧进行编码时，如所述参考数据中对应位置图像块的是否可用标识为可用，则将所述参考数据中对应位置图像块的帧内编码模式信息引入帧内编码模式选择的率失真优化运算中，参与帧内编码模式选择。本发明专利技术通过将某个I帧的帧内编码模式引入下一个I帧的帧内编码模式选择的率失真优化过程中，来减小相邻I帧之间的帧内编码模式差异，进而实现对呼吸效应的抑制。而实现对呼吸效应的抑制。而实现对呼吸效应的抑制。

【技术实现步骤摘要】
一种抑制呼吸效应的率失真优化方法及装置


[0001]本专利技术涉及一种视频编码技术。

技术介绍

[0002]视频编码是指压缩视频图像中的冗余成分，并使用尽可能少的数据来表征视频信息。常见的视频编码标准有HEVC(High Efficiency Video Coding，又称H.265)、AVC(Advanced Video Coding，又称H.264)等等。
[0003]视频编码技术以图像块作为最基本的编码单元。例如在HEVC中，编码的基本单元是CU(Coding Unit，编码单元)。CU可以是64像素
×
64像素、32像素
×
32像素、16像素
×
16像素、8像素
×
8像素大小的图像块。
[0004]为了去除空域和时域上的信息冗余，对输入的视频帧进行视频编码时会采用帧内(intra)编码技术和帧间(inter)编码技术。按照采用的编码技术来划分，编码后的视频帧可以分为仅采用帧内编码技术进行编码的I帧，以及混合采用帧间编码技术和帧内编码技术进行编码的P帧和B帧。I帧在进行编码时，视频帧内的所有图像块都必须被编码为帧内编码块(intra块)，并且不会参考其他已编码的视频帧。P帧和B帧在进行编码时，视频帧内的图像块可以被编码为帧间编码块(inter块)，也可以被编码为帧内编码块，并且会参考一个或多个其他已编码的视频帧。由于P帧和B帧的编码效率较高，而I帧具有阻断错误传播的作用，所以视频编码时一般周期性编码I帧而将其余大部分视频帧编码为P帧或B帧，如图1所示。
[0005]为了尽可能地提高视频压缩率，视频编码往往采用有损压缩算法，造成编码重建后的视频与原始视频存在差别，即编码重建后的视频会产生失真。对于有损压缩算法，例如HEVC和AVC，其编码性能需要由编码比特率(Rate)和编码引入的失真(Distortion)来共同衡量。在视频编码的过程中，编码比特率和编码失真是相互制约的，降低编码比特率往往会增加编码失真，而减少编码失真又往往会增加编码比特率。率失真优化(Rate Distortion Optimization，RDO)的目的就是在一定的编码比特率下尽可能地减少编码失真，或者在一定的编码失真下尽可能地减少编码比特率。目前在常见的视频编码算法中，都是采用基于拉格朗日乘子λ的率失真优化方法。假设D为编码失真，R为编码比特率，J为编码率失真代价(Rate Distortion Cost，RD Cost)，则基于拉格朗日乘子λ的率失真优化方法可以表述为min(J)，其中min()函数表示取最小值，J＝D+λ
×
R。每一种视频编码模式都有其对应的编码失真D和编码比特率R，通过计算出每一种视频编码模式对应的编码率失真代价J，并选择率失真代价最小的视频编码模式来进行编码，从而获得最优的视频编码性能。
[0006]对视频监控和视频会议类场景进行视频编码时，在编码后的视频流中经常会观察到周期性的视觉闪烁现象，这被称为呼吸效应。特别是在场景中的静止、纹理简单的背景区域，呼吸效应更加明显。呼吸效应的产生，与I帧、P帧和B帧的编码模式有关。当P帧和B帧进行编码时，由于采用了帧间编码技术，视频帧的失真模式与之前编码的视频帧具有相似性。当I帧进行编码时，由于仅采用了帧内编码技术，视频帧的失真模式与之前编码的视频帧完
全无关，不具备失真模式的相似性。这样在观看解码后的视频流时，I帧的失真模式与之前的P帧和B帧的失真模式差异较大，进而引发了人眼视觉闪烁。由于在视频编码过程中，I帧一般是周期性编码的，这种人眼视觉闪烁就会周期性发生，即产生呼吸效应。存在呼吸效应的编码视频流会极大地影响观看者的主观感受，大大降低观看者的视觉体验，因此在视频编码时应当对呼吸效应加以抑制。
[0007]目前，已经有一些技术方案用于对视频编码过程中产生的呼吸效应加以抑制。
[0008]一种方案是在视频编码过程中增加时域滤波器，将I帧对应的原始视频帧与该I帧之前编码的P帧和B帧的重建帧进行时域滤波，然后对滤波后的原始视频帧进行I帧编码。在这个方案里，通过时域滤波，将某个I帧之前编码的P帧和B帧的重建帧的失真模式引入到I帧对应的原始视频帧中，减小了I帧对应的原始视频帧与该I帧之前编码的P帧和B帧的重建帧之间的差异，从而在一定程度上抑制呼吸效应。这种方案虽然能够使I帧对应的原始视频帧部分具备该I帧之前编码的P帧和B帧的失真模式，但是却没有考虑到在对滤波后的原始视频帧进行I帧编码时，帧内编码技术本身又会引入新的失真模式，造成新的失真模式差异。另外，在硬件实现时，这种方案需要在编码流水线中增加专门的时域滤波器件，硬件成本较高，带宽消耗和编码延迟也会相应增大。
[0009]另一种方案是对I帧对应的原始视频帧进行两轮视频编码，第一轮先将原始视频帧编码为P帧，然后将P帧的重建帧作为输入图像进行第二轮的I帧编码。在第一轮编码时，原始视频帧被编码为P帧，由于P帧采用了帧间编码技术，其重建帧的失真模式与该P帧之前编码的P帧和B帧的失真模式具有相似性。在第二轮编码时，对P帧的重建帧进行I帧编码，编码后的I帧中就部分保留了之前编码的P帧和B帧的失真模式，从而在一定程度上抑制呼吸效应。和前一个方案类似，在这个方案中，I帧编码本身又会引入新的失真模式，造成新的失真模式差异。另外，在硬件实现时，这种方案由于需要对I帧进行两轮编码，改变了硬件编码流水线的逻辑，会增加硬件设计的复杂度，硬件成本较高。

技术实现思路

[0010]本专利技术所要解决的技术问题是提出了一种能够较好地抑制呼吸效应、且硬件实现成本低、且不改变硬件编码流水线的逻辑的视频编码方法。
[0011]为解决上述技术问题，本专利技术公开了一种抑制呼吸效应的率失真优化方法，包括如下步骤。步骤S1：在每个I帧编码完成时，保存该I帧内部所有位置的图像块的帧内编码模式信息以及是否可用标识作为参考数据，所有位置的图像块的是否可用标识均标记为可用。步骤S2：在某个I帧和下一个I帧之间的所有P帧或B帧编码时，根据每个P帧或B帧内部每个位置的图像块的编码模式信息对所述参考数据进行更新。每次根据某个P帧或B帧更新所述参考数据时，如果该P帧或B帧内部某个位置的图像块被编码为帧间编码块，则根据该图像块的运动矢量的长度做进一步判断；如果该图像块的运动矢量的水平分量长度或垂直分量长度的任意一个大于判定阈值，则将所述参考数据中对应位置图像块的是否可用标识改为不可用；否则不对所述参考数据进行更新。每次根据某个P帧或B帧更新所述参考数据时，如果该P帧或B帧内部某个位置的图像块被编码为帧内编码块，则根据所述参考数据中对应位置图像块的是否可用标识做进一步判断；如果所述参考数据中对应位置图像块的是否可用标识为可用，则将所述参考数据中对应位置图像块的帧内编码模式信息改为该P帧或B帧
上的该图像块的帧内编码模式信息，不修改所述参考数据中对应位置图像块的是否可用标识；否则不仅将所述参考数据中对应位置图像块的帧内编码模式信息改为该P帧或B帧上的该图像块本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种抑制呼吸效应的率失真优化方法，其特征是，包括如下步骤；步骤S1：在每个I帧编码完成时，保存该I帧内部所有位置的图像块的帧内编码模式信息以及是否可用标识作为参考数据，所有位置的图像块的是否可用标识均标记为可用；步骤S2：在某个I帧和下一个I帧之间的所有P帧或B帧编码时，根据每个P帧或B帧内部每个位置的图像块的编码模式信息对所述参考数据进行更新；每次根据某个P帧或B帧更新所述参考数据时，如果该P帧或B帧内部某个位置的图像块被编码为帧间编码块，则根据该图像块的运动矢量的长度做进一步判断；如果该图像块的运动矢量的水平分量长度或垂直分量长度的任意一个大于判定阈值，则将所述参考数据中对应位置图像块的是否可用标识改为不可用；否则不对所述参考数据进行更新；每次根据某个P帧或B帧更新所述参考数据时，如果该P帧或B帧内部某个位置的图像块被编码为帧内编码块，则根据所述参考数据中对应位置图像块的是否可用标识做进一步判断；如果所述参考数据中对应位置图像块的是否可用标识为可用，则将所述参考数据中对应位置图像块的帧内编码模式信息改为该P帧或B帧上的该图像块的帧内编码模式信息，不修改所述参考数据中对应位置图像块的是否可用标识；否则不仅将所述参考数据中对应位置图像块的帧内编码模式信息改为该P帧或B帧上的该图像块的帧内编码模式信息，还将所述参考数据中对应位置图像块的是否可用标识改为可用；步骤S3：在对所述下一个I帧进行编码时，如果所述下一个I帧内部某个位置的图像块在所述参考数据中对应位置图像块的是否可用标识为可用，则将所述参考数据中对应位置图像块的帧内编码模式信息引入所述下一个I帧的该图像块的帧内编码模式选择的率失真优化运算中，参与所述下一个I帧的该图像块的帧内编码模式选择；在所述下一个I帧编码完成时，回到步骤S1整体更新所述参考数据。2.根据权利要求1所述的抑制呼吸效应的率失真优化方法，其特征是，每个位置的图像块的帧内编码模式信息包括该图像块的位置信息、该图像块的大小信息、该图像块的帧内预测模式信息。3.根据权利要求1所述的抑制呼吸效应的率失真优化方法，其特征是，每个位置的图像块的是否可用标识用于指示该图像块的帧内编码模式信息是否可以用于下一个I帧的对应位置图像块的帧内编码模式选择的率失真优化运算中。4.根据权利要求1所述的抑制呼吸效应的率失真优化方法，其特征是，所述步骤S1中，所述参考数据保存在一份帧内编码模式表格中。5.根据权利要求1所述的抑制呼吸效应的率失真优化方法，其特征是，所述步骤S2中，假设在某个I帧和下一个I帧之间总共有q个P帧和B帧，则根据所述范围内的q个P帧和B帧的先后顺序对所述参考数据依次进行q次更新判断过程。6.根据权利要求1所述的抑制呼吸效应的率失真优化方法，其特征是，所述步骤S2中，所述判定阈值设置为1，即1个整像素距离。7.根据权利要求1所述的抑制呼吸效应的率失真优化方法，其特征是，所述步骤S3中，如果所述下一个I帧内部...

【专利技术属性】
技术研发人员：刘鹏飞，刘国正，温安君，
申请(专利权)人：翱捷科技股份有限公司，
类型：发明
国别省市：