一种基于视觉显著性的视频码率分配方法组成比例

本发明专利技术公布了一种基于视觉显著性的视频码率分配方法，建立时域相关性的视觉显著性模型；采用基于显著性的码率分配算法和基于显著性区域质量一致性的窗口权重平滑算法，得到调整后的显著性权重；再根据调整后的显著性权重指导CTU级码率分配算法，由此实现视频码率分配。本发明专利技术提供的技术方案充分考虑人眼视觉机制以及显着性区域的质量一致性，能够在视频中检测出人眼关注的区域并且加入了显著性区域的连续性，最终在码率分配上依照显著性权重分配码率使得有效地提升显著性区域质量和提升主观质量。

【技术实现步骤摘要】
一种基于视觉显著性的视频码率分配方法
本专利技术属于图像、视频编码
，涉及视频编码的码率分配技术，尤其涉及一种基于视觉显著性的视频码率分配方法。
技术介绍
码率控制是视频编码中的一项关键技术，主要负责工作为在有限的带宽下，尽可能的利用带宽大小去适应压缩视频质量，在传输压缩编码视频的时候，必须要考虑两个问题，视频质量和传输带宽，如果带宽大，需要尽可能传输质量更好的视频；如果带宽低，则需要提高压缩比，减小码流。与此同时，我们希望尽可能的得到高清晰的还原图像，所以在能接受的视频质量范围内对视频尽可能的压缩来提高带宽利用率。码率控制亦可细分为码率分配和码率控制；码率分配采用分层结构的方式依照GOP级、帧级、CTU级分配，其码率控制负责控制已分配完的码率，进行视频压缩，句柄率是否符合带宽的限制。目前主流的码率分配模型中对CTU级码率分配采用平均绝对差(MAD)的方法，是依照对于CTU中的原始像素和预测像素的残差决定MAD的大小，然而这种优化方法可能忽略了人类视觉感知的一些重要特征，比如视频中的背景树木、草地，并不是人眼所关注的内容，但这些背景区域往本文档来自技高网...

【技术保护点】
1.一种基于视觉显著性的视频码率分配方法，其特征是，建立时域相关性的视觉显著性模型；采用基于显著性的码率分配算法和基于显著性区域质量一致性的窗口权重平滑算法，得到调整后的显著性权重；再根据调整后的显著性权重指导CTU级码率分配算法，由此实现视频码率分配；包括如下步骤：/n1)建立视觉显著性模型，包括：注意力静态特征提取模型和注意力动态特征提取模型，得到视频的视觉显著值；/n考虑视频序列中当前帧和下一帧的关联性，从注意力静态特征和注意力动态特征中提取出视频中人眼所关注的区域；/n对于帧间特征信息，采用光流算法提取动量特征，通过公式(1)进行计算：/nS

【技术特征摘要】
1.一种基于视觉显著性的视频码率分配方法，其特征是，建立时域相关性的视觉显著性模型；采用基于显著性的码率分配算法和基于显著性区域质量一致性的窗口权重平滑算法，得到调整后的显著性权重；再根据调整后的显著性权重指导CTU级码率分配算法，由此实现视频码率分配；包括如下步骤：
1)建立视觉显著性模型，包括：注意力静态特征提取模型和注意力动态特征提取模型，得到视频的视觉显著值；
考虑视频序列中当前帧和下一帧的关联性，从注意力静态特征和注意力动态特征中提取出视频中人眼所关注的区域；
对于帧间特征信息，采用光流算法提取动量特征，通过公式(1)进行计算：
Sfinal＝Scolor·ωcolor+Stex·ωtex+finter·g·ωinter(1)
finter(u,v)＝∑i,j{ρD(fcur(i,j)-fnext(i+ui,j,j+vi,j))+λ[ρS(ui,j-ui+1,j)+ρS(ui,j-ui,j+1)+ρS(vi,j-vi+1,j)+ρS(vi,j-vi,j+1)]}
其中，Sfinal为得到的显著值；finter为当前帧与下一帧的光流特征值，其中u和v表示为当前帧fcur和下一帧fnext估计的水平和垂直光流场；i和j代表像素位置；λ是调节参数；ρD和ρS分别为数据和空间的惩罚函数；Sfinal为最终像素显著值；Scolor和Stex为色度及纹理的显著值；ωcolor、ωtex和ωinter代表色度、纹理、帧间的权重；g为滤波转换函数；
2)将步骤1)得到的当前帧的像素显著值，依照CTU的尺寸大小转化为多个CTU尺寸的显著值，再通过归一化转换为显著性权重，基于相邻帧之间的关联性，建立基于窗口的权重平滑模型，通过平滑调整得到平滑后的显著性权重；
3)根据步骤2)得到的平滑后...

【专利技术属性】
技术研发人员：李源，贾惠柱，向国庆，古忠文，解晓东，高文，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京;11