一种基于运动估计共享的雾霾视频压缩方法技术

本发明专利技术提供了一种基于运动估计共享的雾霾视频压缩方法，读取原始序列中连续的n帧，中间一帧为当前待去雾及编码的帧，其他帧作为参考帧；将视频帧划分为若干互不重叠的宏块，遍历所有可能的运动矢量，利用运动矢量对当前帧的透射率图进行优化并去雾；利用同样的运动矢量对原始视频序列进行初始压缩编码；基于不同的运动矢量对应的去雾效果及编码性能决策当前帧与参考帧之间的最佳运动矢量，基于不同的宏块划分模式对应的去雾效果和压缩编码性能对宏块的划分模式进行最优化决策，确定宏块划分模式并得到该模式下相对应的运动矢量以及无雾视频序列，利用决策的宏块划分模式及相应的运动矢量，对去雾后的无雾视频序列进行最终的压缩编码。

A Smog Video Compression Method Based on Motion Estimation Sharing

【技术实现步骤摘要】
一种基于运动估计共享的雾霾视频压缩方法
本专利技术涉及一种计算机视觉技术，特别是一种基于运动估计共享的雾霾视频压缩方法。
技术介绍
视频的数据信息在时间和空间上存在着很强的相关性，拥有大量的空域冗余信息和时域冗余信息。视频压缩编码技术是去除冗余信息、解决压缩问题的一种重要手段。与此同时，计算机视觉领域通常存在一种假设——观察者所处的大气层是透明的、清晰的。然而在人们的日常生活中，雾是一种很常见的现象，它给室外视频监控、视频标注、自动导航及目标跟踪等应用的实现都带来了困难。因此，对视频进行去雾处理、得到无雾的视频是非常有必要且有广阔应用场景的，例如，用于视频分析、视频压缩编码等。值得一提的是，对雾霾视频的去雾不仅是单纯地将雾霾去除，还要考虑去雾后视频的连续性、平滑性以及真实感等等。现有的视频压缩方法基本上没有对雾霾视频序列进行去雾处理。
技术实现思路
本专利技术的目的在于提供一种基于运动估计共享的雾霾视频压缩方法，可以对对雾霾视频序列进行去雾及压缩编码。实现本专利技术目的的技术方案为：一种基于运动估计共享的雾霾视频压缩方法，包括以下步骤：步骤1，每次读取原始雾霾视频序列中连续的n帧，中间一帧为当前待去雾及编码的帧，前后其他帧作为参考帧；步骤2，将当前帧划分为若干相互不重叠的的宏块，对于每一个宏块，采用不同的划分模式将其进一步划分为更小的块；步骤3，利用运动估计算法遍历所有可能的运动矢量，并利用运动矢量对当前帧的透射率图进行帧间一致性优化并基于大气散射模型对雾霾视频序列进行去雾；步骤4，利用步骤3中对应的运动矢量对原始视频序列进行初始压缩编码；步骤5，基于不同的运动矢量所对应的去雾效果及编码性能决策出当前帧与参考帧之间的最佳运动矢量；步骤6，基于不同的宏块划分模式对应的去雾效果和压缩编码性能对宏块的划分模式进行最优化决策；步骤7，确定宏块划分模式并得到该模式下相对应的运动矢量，基于运动矢量对雾霾视频进行帧间一致性去雾，利用决策的宏块划分模式及相应的运动矢量，对去雾后的无雾视频序列进行最终的压缩编码。本专利技术将视频去雾霾和视频压缩编码相结合，提出一种基于运动估计共享的雾霾视频压缩方法，在减少视频存储空间、视频传输带宽的同时，还能有效地将雾霾去除、削弱自然界天气条件对视频采集造成的不良影响。下面结合说明书附图对本专利技术作进一步描述。附图说明图1是本专利技术的方法流程示意图。图2是运动估计的宏块划分模式示意图。图3是透射率帧间一致性优化示意图。具体实施方式一个视频序列通常可以分为图像组(GoP，GroupofPicture)，GoP的第1帧通常称为I帧，采用帧内预测模式进行编码；将GoP的第2～n帧作为P帧，采用帧间预测模式进行编码，通过运动估计可以得到当前帧与参考帧之间的运动矢量，然后通过运动补偿将预测值和当前帧的真实值相减得到残差数据，再对运动矢量、残差等数据变换量化熵编码便可得到压缩编码后的码流。在视频去雾方面，为保证去雾后视频序列的连续性，可以采用运动估计对透射率进行帧间一致性优化。基于运动估计这一共同点，本专利技术将视频去雾与视频压缩编码相结合，提出一种基于运动估计共享的雾霾视频压缩方法。本专利技术的流程如图1所示，将视频帧划分为若干互不重叠的宏块，利用搜索算法遍历所有可能的运动矢量，利用运动矢量对当前帧的透射率图进行帧间一致性优化并基于大气散射模型对雾霾视频序列进行去雾；为实现视频去雾与压缩编码的计算资源共享，利用同样的运动矢量对原始视频序列进行初始压缩编码；基于不同的运动矢量所对应的去雾效果及编码性能决策出当前帧与参考帧之间的最佳运动矢量，基于不同的宏块划分模式所对应的去雾效果和压缩编码性能对宏块的划分模式进行最优化决策，确定宏块划分模式并得到该模式下相对应的运动矢量以及无雾视频序列，利用决策的宏块划分模式及相应的运动矢量，对去雾后的无雾视频序列进行最终的压缩编码。本专利技术步骤如下：步骤1，本专利技术每次读取原始序列中连续的n帧，其中中间一帧为当前待去雾及编码的帧，前后其他帧作为参考帧。步骤2，将当前帧划分为若干相互不重叠的、大小为16x16的宏块，对于每一个宏块，采用不同的划分模式将其进一步划分为更小的块，分别为16x16、16x8、8x16、8x8；每个8x8的子宏块又可以进一步划分为8x8、8x4、4x8、4x4的小块，如图2所示。步骤3，假设图像块内包含的全部像素的位移量都是一样的，采用全搜索算法在参考帧的搜索范围内遍历所有可能的运动矢量，每一个候选的运动矢量都用于帧间编码及透射率帧间一致性优化(详见步骤12)，本专利技术分别评估各运动矢量对应的编码率失真性能及对应的去雾效果(去雾方法见步骤9-13)，确定最佳的运动矢量并找到与之对应的当前块的最佳匹配块。率失真性能Jmotion由以下公式表示：Jmotion＝Dmv+λmotionRmv其中，mv表示运动矢量，Dmv是指原始块和预测块之间的绝对误差和(SAD，SumofAbsoluteDifferences)，是与量化参数(QP，Quantizationparameter)相关的拉格朗日乘子，Rmv表示对运动矢量编码的码率，Jmotion越小表示编码性能越好。考虑到透射率优化会对去雾效果造成一定程度的失真，本专利技术计算透射率未优化的去雾图像与透射率优化的去雾图像之间的结构相似性(SSIM，structuralsimilarity)：其中，x、y分别表示透射率未优化和透射率优化的去雾图像块，ux、uy分别表示x、y的均值，σx、σy、σxy是x、y各自的方差及协方差，c1、c2为常数。SSIMmv越大表示透射率优化前后的结构越相似，失真越小。步骤4，由于Jmotion和SSIMmv数量级相差较大，本专利技术采用Min-Max标准化方法将他们分别映射到[0,1]之间，转换函数如下：其中max为样本数据的最大值，min为样本数据的最小值。步骤5，本专利技术采用加权的方法将Jmotion和SSIMmv结合：Fmv＝α1Jmotion-α2SSIMmv其中α1+α2＝1，采用动态的方式对α1、α2进行设定，以达到不同的去雾及编码效果，本专利技术选择Fmv取得最小值所对应的运动矢量作为最佳运动矢量。步骤6，由于本专利技术采用多种划分模式对16x16的宏块进行划分，不同的划分模式也会导致不同的去雾效果和压缩编码性能。接下来分别评估不同划分模式下编码的率失真性能及对应的去雾效果，进行模式划分的最优化决策：Jmode＝Dmode+λmodeRmode其中，Dmode是指原始块和预测块之间的误差平方和(SSD，SumofSquaredDifferences)，是与量化参数(QP，Quantizationparameter)相关的拉格朗日乘子，Rmode表示对残差、划分模式等数据编码的码率，Jmode越小表示编码性能越好。除了考虑透射率前后的结构相似性SSIMmode(即SSIMmv)，针对不同划分模式还评估其去雾结果的清晰度，指标计算公式如下：可见边之比e：可见边的规范化梯度均值r：其中，nx、ny分别表示x、y中可见边的数量。是y中可见边的集合，Pi是y中可见边的像素点，ri是y在Pi处的Sobel梯度与x在Pi处的Sobel梯度的比值。当去雾的效果越好时，去雾后的图像会越加清晰，图像中可见的细节边缘本文档来自技高网...

【技术保护点】
1.一种基于运动估计共享的雾霾视频压缩方法，其特征在于，包括以下步骤：步骤1，每次读取原始雾霾视频序列中连续的n帧，中间一帧为当前待去雾及编码的帧，前后其他帧作为参考帧；步骤2，将当前帧划分为若干相互不重叠的的宏块，对于每一个宏块，采用不同的划分模式将其进一步划分为更小的块；步骤3，利用运动估计算法遍历所有可能的运动矢量，并利用运动矢量对当前帧的透射率图进行帧间一致性优化并基于大气散射模型对雾霾视频序列进行去雾；步骤4，利用步骤3中对应的运动矢量对原始视频序列进行初始压缩编码；步骤5，基于不同的运动矢量所对应的去雾效果及编码性能决策出当前帧与参考帧之间的最佳运动矢量；步骤6，基于不同的宏块划分模式对应的去雾效果和压缩编码性能对宏块的划分模式进行最优化决策；步骤7，确定宏块划分模式并得到该模式下相对应的运动矢量，基于运动矢量对雾霾视频进行帧间一致性去雾，利用决策的宏块划分模式及相应的运动矢量，对去雾后的无雾视频序列进行最终的压缩编码。

【技术特征摘要】
1.一种基于运动估计共享的雾霾视频压缩方法，其特征在于，包括以下步骤：步骤1，每次读取原始雾霾视频序列中连续的n帧，中间一帧为当前待去雾及编码的帧，前后其他帧作为参考帧；步骤2，将当前帧划分为若干相互不重叠的的宏块，对于每一个宏块，采用不同的划分模式将其进一步划分为更小的块；步骤3，利用运动估计算法遍历所有可能的运动矢量，并利用运动矢量对当前帧的透射率图进行帧间一致性优化并基于大气散射模型对雾霾视频序列进行去雾；步骤4，利用步骤3中对应的运动矢量对原始视频序列进行初始压缩编码；步骤5，基于不同的运动矢量所对应的去雾效果及编码性能决策出当前帧与参考帧之间的最佳运动矢量；步骤6，基于不同的宏块划分模式对应的去雾效果和压缩编码性能对宏块的划分模式进行最优化决策；步骤7，确定宏块划分模式并得到该模式下相对应的运动矢量，基于运动矢量对雾霾视频进行帧间一致性去雾，利用决策的宏块划分模式及相应的运动矢量，对去雾后的无雾视频序列进行最终的压缩编码。2.根据权利要求1所述的方法，其特征在于，步骤2中将当前帧划分为若干相互不重叠的、大小为16x16的宏块，对于每一个宏块，采用不同的划分模式将其进一步划分为更小的块，分别为16x16、16x8、8x16、8x8；每个8x8的子宏块又可以进一步划分为8x8、8x4、4x8、4x4的小块。3.根据权利要求1所述的方法，其特征在于，步骤3具体包括如下步骤：步骤301，假设图像块内包含的全部像素的位移量都是一样的，采用全搜索算法在各参考帧的搜索范围内遍历所有可能的运动矢量；步骤302，从参考帧透射率图中找到与当前帧中宏块对应的匹配块，将当前帧的宏块与找到的匹配块进行加权平均滤波，再利用引导滤波对透射图进行细化，保留边缘细节得到帧间一致性优化的透射率；步骤303，获取大气散射模型如下：I(x)＝J(x)t(x)+A(1-t(x))(1)其中I(x)表示雾霾图像，J(x)表示无雾图像，t(x)表示透射率，A表示大气光值；步骤304，在以像素点x为中心的、尺寸为15×15的局部区域中取最小值作为x点的暗通道值；步骤305，按照亮度的大小取暗通道值最高的前0.2％像素，在亮度分量图中找到对应位置，对这些位置的像素值取平均值作为该帧图像的大气光值；步骤306，根据以下公式获得未优化的透射率：其中，ω是常量参数0.95；步骤307，将式(2)代入式(1)得到无雾图像4.根据权利要求1所述的方法，其特征在于，步骤4具体包括如下步骤：步骤401，利用运动矢量得到当前块的预测块；步骤402，将预测值与当前块相减得到残差数据；步骤403，对运...

【专利技术属性】
技术研发人员：项欣光，施宇，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏,32