一种内容复杂性自适应的视频卫星压缩图像超分辨率方法技术

本发明专利技术公开了一种内容复杂性自适应的视频卫星压缩图像超分辨率方法，将观测图像从纹理粗细、结构繁简的角度划分为内容复杂性不等的区域，然后收集与之特性一致的图像样本组成训练图像集合，形成属性各异的图像集，用每一种图像集训练一种深度学习网络模型，再将这种适配图像不同区域统计特性的模型用于对应区域的超分辨率重建。本发明专利技术方法针对了卫星影像不同地物类型的内容复杂性差异，因而有效提升了视频卫星图像超分辨率重建的精度。

A content complexity adaptive video satellite compression image super-resolution method

The invention discloses a complex adaptive video super resolution satellite image compression method, the observed image from the texture thickness and structure character point of view is divided into content complexity ranging from regional, then collect and sample image consistent characteristics consisting of a set of training images, image forming different attributes set, each set of images training a deep learning network model, then the optimal statistical properties with different regions of the image model for super resolution reconstruction of the corresponding region. The method of the invention aims at the difference of the content complexity of the different ground features of the satellite images, thereby effectively improving the accuracy of the super-resolution reconstruction of the video satellite images.

【技术实现步骤摘要】
一种内容复杂性自适应的视频卫星压缩图像超分辨率方法
本专利技术属于图像处理
，涉及一种图像超分辨率方法，具体涉及一种视频卫星压缩图像超分辨率方法。技术背景视频卫星是近几年发展起来的一种新型对地观测卫星，与传统的对地观测卫星相比，其最大的特点是可以对某一区域进行“凝视”观测，以“视频录像”的方式获得比传统卫星更多的动态信息，特别适于观测动态目标。视频卫星极大地提高了卫星遥感系统的动态观测能力，视频卫星动态影像正成为一种重要的空间大数据资源，广泛应用于资源普查、灾害监测、海洋监视、动态目标连续跟踪、动态事件观测等方面。视频卫星拍摄的是连续动态视频，为提高时间分辨率，相比于传统的只拍摄静态图像或序列图像的遥感卫星，光学成像系统牺牲了空间分辨率，客观上降低了像素的空间稠密度。进一步分析，随着视频卫星采集的连续视频的数据量的急剧攀升，为适应星地信道传输能力，星载通信系统不得不加大压缩比或降低回传视频的空间分辨率，导致压缩视频的清晰度严重下降。因此，视频卫星环境下压缩视频的超分辨率重建显得尤为必要。传统的图像超分辨率技术分为基于插值的方法、基于重建的方法和基于机器学习的方法。现有的基于机器学习的超分辨率重建对样本图像不加区分，只是用尽可能多的样本训练模型，然后用这个模型作用于整幅图像的超分辨率重建。由于训练样本不能适应图像内容的多变性，重建性能的好坏严重依赖训练样本的完备性和体量，导致超分辨率重建效率极其低下。
技术实现思路
为了解决上述技术问题，本专利技术将观测图像从纹理粗细、结构繁简的角度划分为内容复杂性不等的区域，然后收集与之特性一致的图像样本组成训练图像集合，形成属性各异的图像集，用每一种图像集训练一种字典或深度学习网络模型，再将这种适配图像不同区域属性的字典或模型用于对应区域的超分辨率重构。本专利技术所采用的技术方案是：一种内容复杂性自适应的视频卫星压缩图像超分辨率方法，其特征在于，包括以下步骤：步骤1：获取若干高分辨率静态光学遥感影像，选取的图像是相同或相近场景下的多幅图像组成的图像序列，构成高分辨率训练图像集；步骤2：通过对高分辨率图像进行下采样和编码失真处理，产生具有低空间分辨率和模糊失真双重高频细节信息损失的低分辨率训练图像；步骤3：将高低分辨率训练图像进行分块，并根据图像纹理结构的复杂性，将图像块分为平坦块和粗糙块两类，收集到百万级别的图像块作为深度学习网络的训练样本；步骤4：利用平坦块训练内容简单的CNN网络sCNN，利用粗糙块训练内容复杂的CNN网络cCNN；步骤5：对于输入的压缩码流，按H.264标准解码一帧图像，并记录下每个宏块的编码模式；步骤6：根据上述宏块编码模式，将宏块判定为内容简单和内容复杂两类，内容简单的块用sCNN网络重建，内容复杂的块用cCNN网络重建；步骤7：将重建的高分辨率图像块按原来位置拼接成一幅完整图像，并用[121]滤波器改善拼接边缘的块效应，然后输出超分辨率重建图像。与现有的图像超分辨率方法相比，本专利技术具有以下优点和积极效果：（1）本专利技术根据图像内容复杂性对训练样本预分类，由于训练出的字典或模型与图像局部统计特性相吻合，所以能对图像进行最恰当的表达，从而在同等字典尺寸下或同等模型规模下能提升超分辨率重建的表达精度。（2）不同于以往的深度学习采用原始图像作为训练样本，本专利技术将压缩的低分辨率图像作为深度学习网络的输入、原始高分辨率图像作为监督样本，因而深度学习训练过程能感知压缩造成的图像失真，如块效应、模糊效应，从而特别适合压缩图像的超分辨率重建。（3）H.264等视频编码器在压缩时，为提高编码效率，对内容简单的图像块用粗尺寸的子块编码、对内容复杂的块用细尺寸的子块编码，这些信息记录在压缩码流的编码模式语法中。根据这一观察，本专利技术在超分辨率重建步骤中巧妙地利用压缩视频流编码模式所隐含的内容复杂性的信息，为每个宏块选择匹配的深度学习网络模型，极大地降低了为选择最适应的网络模型而需要的图像内容复杂性判断的运算量。（4）自然图像与卫星遥感影像的成像条件不同，不适合作为卫星图像的训练样本；而视频卫星自身的动态视频的空间分辨率又极其有限。本专利技术选择高分辨率遥感卫星的静态图像或序列图像作为训练样本，兼顾了相似星际成像条件和高地面分辨率的双重要求。附图说明图1：本专利技术实施例的处理流程图。具体实施方式为了便于本领域普通技术人员理解和实施本专利技术，下面结合附图及实施例对本专利技术作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本专利技术，并不用于限定本专利技术。鉴于一幅视频卫星图像覆盖了各种纹理和结构各异的地物类型，图像内容复杂程度区域分布不一致，本专利技术提供一种内容复杂性自适应的视频卫星压缩图像超分辨率方法，通过训练内容复杂性不等的多个深度学习网络模型，为图像局部区域块选择最适配的网络模型进行重建。为简单起见，这里只根据图像的纹理属性区分不同的区域，而且为了适应机器学习表达的需要，区域划分为块形状，即块或片，也就是将图像按纹理粗细或平坦度划分为不同尺寸的块，使得同一块中的图像纹理属性基本一致，既然已经将字典按纹理属性进行了分类，这样就可以选择相应的字典进行表达。超视距作业环境下的视频卫星的成像条件与普通自然图像的成像条件不同，采用相似成像条件下的遥感影像作为训练图像能提高机器学习的针对性。传统的遥感卫星的静态图像分辨率可以达到0.1m，视频卫星目前只能提供1m左右的分辨率。静态遥感影像比动态视频包含更多的高频细节信息。因此，借助静态遥感影像为视频卫星超分辨率重建提供训练样本。基于以上考虑，本专利技术方法完整的处理流程如图1所示，包含以下步骤：步骤1：获取若干的高分辨率静态光学遥感影像，选取的图像是相同或相近（相近场景的判断标准：地物类型相似的场景，如同为城市、森林、河流等）场景下的多幅图像组成的图像序列，构成高分辨率训练图像集；选取图像的地面分辨率优于0.3米(本实施例影像为worldview3)，覆盖城市、农田、森林、草原、河流等典型地貌。步骤2：通过对高分辨率图像进行下采样和编码失真处理，产生具有低空间分辨率和模糊失真双重高频细节信息损失的低分辨率训练图像；具体实现包含下述子步骤：步骤2.1：对于其中一幅高分辨率图像，将其宽度和高度均下采样k倍（其中k为2-4的整数，本实施例k=2），得到低分辨率训练图像；步骤2.2：将低分辨率图像按H.264进行视频编码，每个像素的码率不低于1.98bps，得到压缩的低分辨率图像；步骤2.3：将压缩的低分辨率图像按H.264进行解码，得到解码还原但存在压缩失真效应的低分辨率训练图像。步骤3：将高低分辨率训练图像进行分块，并根据图像纹理结构的复杂性，将图像块分为平坦块和粗糙块两类，收集到500000以上的图像块作为深度学习网络的训练样本；具体实现包含如下子步骤：步骤3.1：将高、低分辨率图像均匀地划分成正方形图像块，低分辨率块尺寸为32×32像素，高分辨率块尺寸为32k×32k像素；步骤3.2：通过像素分布的一致性衡量图像内容复杂性，计算块内像素值的方差，方差超过预设门限（本实施例门限设为5）的视为粗糙块，反之作为平坦块。步骤4：利用平坦块训练内容简单的CNN（卷积神经网络）网络（记为sCNN），利用粗糙块训练内容复杂的CNN网络（记为本文档来自技高网...

【技术保护点】
一种内容复杂性自适应的视频卫星压缩图像超分辨率方法，其特征在于，包括以下步骤：步骤1：获取若干高分辨率静态光学遥感影像，选取的图像是相同或相近场景下的多幅图像组成的图像序列，构成高分辨率训练图像集；步骤2：通过对高分辨率图像进行下采样和编码失真处理，产生具有低空间分辨率和模糊失真双重高频细节信息损失的低分辨率训练图像；步骤3：将高低分辨率训练图像进行分块，并根据图像纹理结构的复杂性，将图像块分为平坦块和粗糙块两类，收集到百万级别的图像块作为深度学习网络的训练样本；步骤4：利用平坦块训练内容简单的CNN网络sCNN，利用粗糙块训练内容复杂的CNN网络cCNN；步骤5：对于输入的压缩码流，按H.264标准解码一帧图像，并记录下每个宏块的编码模式；步骤6：根据上述宏块编码模式，将宏块判定为内容简单和内容复杂两类，内容简单的块用sCNN网络重建，内容复杂的块用cCNN网络重建：步骤7：将重建的高分辨率图像块按原来位置拼接成一幅完整图像，并用[1 21]滤波器改善拼接边缘的块效应，然后输出超分辨率重建图像。

【技术特征摘要】
1.一种内容复杂性自适应的视频卫星压缩图像超分辨率方法，其特征在于，包括以下步骤：步骤1：获取若干高分辨率静态光学遥感影像，选取的图像是相同或相近场景下的多幅图像组成的图像序列，构成高分辨率训练图像集；步骤2：通过对高分辨率图像进行下采样和编码失真处理，产生具有低空间分辨率和模糊失真双重高频细节信息损失的低分辨率训练图像；步骤3：将高低分辨率训练图像进行分块，并根据图像纹理结构的复杂性，将图像块分为平坦块和粗糙块两类，收集到百万级别的图像块作为深度学习网络的训练样本；步骤4：利用平坦块训练内容简单的CNN网络sCNN，利用粗糙块训练内容复杂的CNN网络cCNN；步骤5：对于输入的压缩码流，按H.264标准解码一帧图像，并记录下每个宏块的编码模式；步骤6：根据上述宏块编码模式，将宏块判定为内容简单和内容复杂两类，内容简单的块用sCNN网络重建，内容复杂的块用cCNN网络重建：步骤7：将重建的高分辨率图像块按原来位置拼接成一幅完整图像，并用[121]滤波器改善拼接边缘的块效应，然后输出超分辨率重建图像。2.根据权利要求1所述的内容复杂性自适应的视频卫星压缩图像超分辨率方法，其特征在于：步骤1中所述高分辨率静态光学遥感影像的地面分辨率优于0.3米，覆盖典型地貌，所述典型地貌包括城市、农田、森林、草原和河流。3.根据权利要求1所述的内容复杂性自适应的视频卫星压缩图像超分辨率方法，其特征在于，步骤2中所述的低分辨率压缩图像，其产生方法包括以下子步骤：步骤2.1：对于其中一幅高分辨率图像，将其宽度和高度均下采样k倍，得到低分辨率训练图像，其中k为2-4的整数；步骤2.2：将低分辨率图像按H.264进行视频编码，每个像素的码率不低于1.98bps，得到压...

【专利技术属性】
技术研发人员：王中元，韩镇，杜博，邵振峰，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42