基于结构相似度的高效视频编码感知率失真优化方法技术

一种基于结构相似度的高效视频编码感知率失真优化方法，包括以下步骤：在高效视频编码器编码端进行模式判决前，利用结构相似度作为失真的评价标准进行图像失真的计算，并用其替代高效视频编码器编码端率失真判决中的编码图像失真值的计算；根据编码图像空域和时域上邻近区域的运动强度一致性来修正高效视频编码率失真判决计算中的拉格朗日因子，进行当前编码区域率失真优化计算。本发明专利技术将结构相似度作为图像失真的评价标准，同时利用帧间编码中前后帧空间和时间相关性，推导当前编码区域的运动强度一致性，并据此修正率失真判决中用到的参数，从而在没有太大增加计算复杂度的情况下，大幅度地提高了编码图像的感知视觉质量。

【技术实现步骤摘要】
基于结构相似度的高效视频编码感知率失真优化方法
本专利技术属于视频编解码
，尤其是一种基于结构相似度的高效视频编码感知率失真优化方法。
技术介绍
近年来，高清/超高清视频编码技术作为未来家庭影院、数字广播电视、网络视频、高清电影等业务的基础核心技术成为业界关注的焦点。针对高清/超高清视频通信，现有的视频编码标准在压缩比和实际的应用需求相比还有一定的差距。为此，国际标准化组织ISO/IEC(MPEG)和ITU-T启动了下一代数字视频压缩标准的规划——高效视频编码(HighEfficiencyVideoCoding,HEVC)，目标是在H.264/AVC高档次的基础上，压缩效率提高一倍以上。HEVC依然沿用H.264的混合编码框架，采用帧间和帧内预测编码消除时间域和空间域的相关性，变换编码对残差进行变换编码以消除空间相关性，熵编码消除统计上的冗余度。与H.264类似，HEVC编码器依据图像内容，采用率失真优化的方法，在帧内和帧间众多的可选模式里选取最佳的编码模式。虽然在一定程度上，率失真模式判决会使编码过程变得复杂，但是，正是由于率失真优化技术的应用，编码器才能够尽可能获得最佳预测信息，从而保证了图像质量，提高了编码器的整体性能。在HEVC现有的率失真优化方法中，是通过以下流程完成率失真判决的：对于帧内预测编码，首先应用下式为每个编码块选择一个最优的角度预测模式：JAng＝SA(T)D+λAngBit(IntraMode)其中，SA(T)D为当前编码块各像素点原始值与预测值的(变换域)绝对误差和，λAng为此处的率失真评价的拉格朗日因子,Bit(IntraMode)为编码角度预测模式的比特数。然后应用下式为每个编码块选择一个最优的划分深度：J＝DSSE+λIntraBit(CB)其中，DSSE为当前编码块各像素点原始值与重建值的绝对误差平方和，λIntra为此处率失真评价的拉格朗日因子，其值为λAng的平方，Bit(CB)为编码当前编码块所需的比特数。对于帧间预测编码，首先应用下式为每个编码块匹配一个最优的预测块：JME＝SA(T)D+λMotionBit(Mvd)JMerge＝SA(T)D+λMotionBit(MergeIndex)其中，SA(T)D为当前编码块各像素点原始值与预测值的(变换域)绝对误差和，λMotion为此处的率失真评价的拉格朗日因子,Bit(Mvd)和Bit(MergeIndex)分别表示编码运动矢量残差和Merge模式索引的比特数。由于帧间编码有运动估计和Merge两种模式，因此编码器需要比较JME和JMerge从而得到最优的预测块。然后应用下式为每个编码块选择一个最优的预测方式和划分深度：J＝DSSE+λInterBit(CB)其中，DSSE为当前编码块各像素点原始值与重建值的绝对误差平方和，λInter为此处率失真评价的拉格朗日因子，其值为λMotion的平方，Bit(CB)为编码当前编码块所需的比特数。帧内/帧间预测编码中率失真判决用到的拉格朗日因子可通过下式计算：λScale＝Clip3(0,0.5,(1-0.05*(GopSize-1)))λInter＝λScale*2(QP-12)/3λIntra＝0.57*λInter其中，GopSize为编码图像组的大小，QP是编码时的量化参数，Clip3实现的是限幅的功能。现有的率失真优化通常采用客观的失真描述方式，如绝对误差和(SumofAbsoluteDifference,SAD)、变换域绝对误差和(SumofAbsoluteTransformedDifference，SATD)和误差平方和(SumofSquaredError，SSE)。这种描述方式具有计算简单容易实现的优点，但并不能很好的体现人眼的主观视觉特性。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于结构相似度的高效视频编码感知率失真优化方法，通过修改HEVC编码器的率失真判决过程，使经过编码重建的图像具有更好的主观视觉质量。本专利技术解决其技术问题是采取以下技术方案实现的：一种基于结构相似度的高效视频编码感知率失真优化方法，包括以下步骤：步骤1、在高效视频编码器编码端进行模式判决前，利用结构相似度作为失真的评价标准进行图像失真的计算，并用其替代高效视频编码器编码端率失真判决中的编码图像失真值的计算；步骤2、根据编码图像空域和时域上邻近区域的运动强度一致性来修正高效视频编码率失真判决计算中的拉格朗日因子，进行当前编码区域率失真优化计算，找到最优的编码模式；所述步骤2的具体步骤包括：步骤2.1、按如下公式计算当前编码区域运动强度的空间相关性因子ΔSpatial：其中，和分别表示对应空间相关编码区域内各编码块运动矢量的方差，即当前编码区域内的左侧、上侧、左上侧、右上侧的编码块运动矢量的方差，α1、α2、α3和α4可通过下式计算：其中，SSIMLeft、SSIMAbove、SSIMAbove-Left和SSIMAbove-Right分别表示对应空间相关编码区域的结构相似度的值，即当前编码区域内的左侧、上侧、左上侧、右上侧的结构相似度的值，∑SSIMSpatialCTBs则表示这四个空间编码区域的结构相似度的值的总和；步骤2.2、计算当前编码区域运动强度的时间相关性因子ΔTemporal；步骤2.3、按下述公式计算当前编码区域同质性的度量因子ΔCTB：ΔCTB＝γ*ΔTemporal+(1-γ)ΔSpatial其中，加权系数γ通过下式计算：其中，n表示前一编码帧中同质性区域的个数，N表示前一编码帧中编码区域的总个数；步骤2.4、计算当前编码区域率失真判决所用拉格朗日因子的修正参数ScaleMotion，其计算公式为：其中，θ可通过下式计算：其中，μ表示当前编码区域亮度的均值；Threshold为判断当前编码区域是否为同质性区域的阈值，其计算公式为：Threshold＝AvrΔ*SSIMCodedFrame其中，AvrΔ表示前一编码帧中所有编码区域同质性度量因子的平均值，SSIMCodedFrame表示所有已编码帧的结构相似度的值的平均数；步骤2.5、进行当前编码区域率失真优化计算。所述步骤1的具体步骤包括：步骤1.1、计算当前编码块的结构相似度并将结构相似度的倒数作为率失真判决中编码图像的失真值，当前编码块的结构相似度的计算公式为：其中，SSIM(x,y)为前编码块的结构相似度，x、y分别代表当前编码块的原始值与重建值，μx、μy分别表示进行比较的两幅图像各像素值的均值，分别表示进行比较的两幅图像各像素值的方差，σxy表示进行比较的两幅图像各像素值的协方差，C1是一个常数，其值为6.5025；步骤1.2、使用下式替代高效视频编码原有的率失真判决公式：其中，R表示编码当前编码块所有编码信息所需的比特数，编码块的大小为16×16，32×32，64×64，DSSE表示选取当前编码块各像素点的原始值与重建值误差的平方和作为当前编码块的失真值，表示当前编码块各像素值的方差，C2是一个常数，其值为58.5225，而对应的拉格朗日因子λSSIM通过下式计算：其中，表示当前编码块各像素值的方差，N表示当前编码区域内编码块的个数，表示当前编码区域中第j个编码块各像素本文档来自技高网...

【技术保护点】
一种基于结构相似度的高效视频编码感知率失真优化方法，其特征在于，包括以下步骤：步骤1、在高效视频编码器编码端进行模式判决前，利用结构相似度作为失真的评价标准进行图像失真的计算，并用其替代高效视频编码器编码端率失真判决中的编码图像失真值的计算；步骤2、根据编码图像空域和时域上邻近区域的运动强度一致性来修正高效视频编码率失真判决计算中的拉格朗日因子，进行当前编码区域率失真优化计算，找到最优的编码模式。

【技术特征摘要】
1.一种基于结构相似度的高效视频编码感知率失真优化方法，其特征在于，包括以下步骤：步骤1、在高效视频编码器编码端进行模式判决前，利用结构相似度作为失真的评价标准进行图像失真的计算，并用其替代高效视频编码器编码端率失真判决中的编码图像失真值的计算；步骤2、根据编码图像空域和时域上邻近区域的运动强度一致性来修正高效视频编码率失真判决计算中的拉格朗日因子，进行当前编码区域率失真优化计算，找到最优的编码模式；所述步骤2的具体步骤包括：步骤2.1、按如下公式计算当前编码区域运动强度的空间相关性因子ΔSpatial：其中，和分别表示对应空间相关编码区域内各编码块运动矢量的方差，即当前编码区域内的左侧、上侧、左上侧、右上侧的编码块运动矢量的方差，α1、α2、α3和α4可通过下式计算：其中，SSIMLeft、SSIMAbove、SSIMAbove-Left和SSIMAbove-Right分别表示对应空间相关编码区域的结构相似度的值，即当前编码区域内的左侧、上侧、左上侧、右上侧的结构相似度的值，ΣSSIMSpatialCTBs则表示这四个空间编码区域的结构相似度的值的总和；步骤2.2、计算当前编码区域运动强度的时间相关性因子ΔTemporal；步骤2.3、按下述公式计算当前编码区域同质性的度量因子ΔCTB：ΔCTB＝γ*ΔTemporal+(1-γ)ΔSpatial其中，加权系数γ通过下式计算：其中，n表示前一编码帧中同质性区域的个数，N表示前一编码帧中编码区域的总个数；步骤2.4、计算当前编码区域率失真判决所用拉格朗日因子的修正参数ScaleMotion，其计算公式为：其中，θ可通过下式计算：其中，μ表示当前编码区域亮度的均值；Threshold为判断当前编码区域是否为同质性区域的阈值，其计算公式为：Threshold＝AvrΔ*SSIMCodedFrame其中，AvrΔ表示前一编码帧中所有编码区域同质性度量因子的平均值，SSIMCodedFrame表示所有已编码帧的结构相似度的值的平均数；步骤2.5、进行当前编码区域率失真优化计算。2.根据权利要求1所述基于结构相似度的高效视频编码感知率失真优化方法，其特征在于：所述步骤1的具体步骤包括：步骤1.1、计算当前编码块的结构相似度并将结构相似度的倒数作为率失真判决中编码图像的失真值，当前编码块的结构相似度的计算公式为：其中，SSIM(x,y)为前编码块的结构相似度，x、y分别代表当前编码块的原始值与重建值，μx、μy分别表示进行比较的两幅图像各像素值的均值，分别表示进行比较的两幅图像各像素值的方差，σxy表示进行比较的两幅图像各像素值的协方差，C1是一个常数，其值为6.5025；步骤1.2、使用下式替代高效视频编码原有的率失真判决公式：

【专利技术属性】
技术研发人员：黄孝建，祁跻，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：