用于图像超分辨率的比特级数据增强方法技术

本发明专利技术公开用于图像超分辨率的比特级数据增强。本发明专利技术是为解决现存用于超分辨率的数据增强方法利用图片信息不足的问题。比特级数据增强方法包括：图像RGB通道内比特变换数据增强，图像RGB通道间比特交换数据增强，高分辨率、低分辨率图像通道间比特交换数据增强。本发明专利技术通过变换图像比特平面发掘隐藏的光感信息，充实图片纹理细节和色彩信息，链接高分辨率和低分辨率图像的相关性。主要步骤为：1)获取图像比特平面；2)图像比特平面变换；3)图像重塑；4)模型训练。本发明专利技术在数据集有限的情况下能偶扩展训练集，并在最佳的比特平面变换组合中增强超分辨率恢复效果。

【技术实现步骤摘要】
用于图像超分辨率的比特级数据增强方法
本专利技术属于图像处理领域，涉及一种用于图像超分辨率的比特级数据增强方法。
技术介绍
图像超分辨率(简称SR)是指从低分辨率图像(简称LR)中恢复出高分辨率图像(简称HR)，自从卷积神经网络应用于SR问题后，基于深度学习的SR涌现出了不同的网络架构和训练策略方法，从而在SR任务中实现了惊人进展。但相应的，这些模型往往需要训练数以千计的高质量图片才能发挥出网络结构其优秀的性能，这在以往研究中，可以通过系统化的退化方法人工合成大量数据集以满足模型要求。但在实际应用过程中，通过合成数据集训练出的模型往往表现不佳，这常是由于合成数据集的退化过程与真实情况不符导致的。为了进一步促进SR的实际应用，有研究者通过收集真实数据集来解决这些问题。但在大多数的情况下，获取海量数据集是费时且昂贵的，故有许多研究通过数据增强(简称DA)方法来解决这个问题。DA是指在原有数据集图片基础上，让有限训练样本发挥出更高的价值。比较常见的DA方法包含许多基础的图像处理过程，例如图片的随机裁剪、随机尺寸、位置变化，图像RGB通道的色彩变换等。而其他通过多个样本产生新样本的DA方法大多用于高维视觉任务，一般采取的多为修改像素或特征的方法，但有研究表明这种方法会破坏图像空间相关性并阻碍低维视觉任务(例如SR)的图像恢复效果。当然，也有一部分研究者为满足SR的实际应用对适用于SR任务的DA方法进行研究。但他们所采取的方法有些对模型优化有限，对于结构越大的网络提升效果越差。有些则是与大多高维视觉任务的DA有同样的不足之处，即处理过程仅仅停留在图片数据集的像素或特征上，对于诸多图片隐藏信息未完全利用，丢失了大部分图片本身可利用的信息。
技术实现思路
在本专利技术中，为了充分利用图片隐藏信息，我们推出的方法主要是在图片的bit层上的DA。通过改变图片RGB通道间以及通道内的bit排列以及HR和LR通道间的bit排列来获取这种隐藏价值增强图片本身包含的信息，达到数据增强的效果。且本专利技术并不会改变图片本身整体的空间结构，更加适用于SR等低维视觉任务。为实现上述目的，本专利技术提供了如下方案：一种用于图像超分辨率的比特级数据增强，包括以下步骤：步骤1：分别获取HR、LR图像的bit平面；包括图像三通道分离和bit平面分离；步骤2：图像bit平面变换；将步骤1获得的图像bit平面进行三种情况的变换；步骤3：图像重塑；将步骤2变换后的bit平面进行重组形成新的图像，包括图像bit平面融合和图像三通道融合；步骤4：模型训练；排列步骤2中所有bit变换方式，之后将不同的bit变换方式加入到SR网络中得出PSNR结果，比较PSNR结果后得出最优的bit变换方式；包括排列bit变换方式和SR网络的迭代训练。所述步骤1按如下步骤进行：步骤1.1：对单一RGB图像的HR、LR版本分别进行颜色通道的分离，并分别得到红(R)、蓝(G)、绿(B)各三个单通道的灰度图像。本步骤一共得到6个灰度图像，其中有HR的3个灰度图像和LR的3个灰度图像。步骤1.2：对步骤1.1中得到HR、LR的三个单通道的灰度图像分别进行bit平面的划分，即将每个单通道的灰度图像划分为8个bit平面，得8个二值图像。本步骤一共得到48个二值图像，其中有HR的24个二值图像和LR的24个二值图像，具体细分可表示为HR、LR的R、G、B通道各8个二值图像。所述步骤2按如下步骤进行：步骤2.1：对步骤1获取到的48个二值图像进行图像bit变换，其中变换的方式可按如下三种情况进行，且这3种情况可以进行任意组合，即将不同的变换方式一同加入到网络中。第一种情况，对步骤1获取的HR、LR的各24个二值图像进行相同操作，HR、LR的R、G、B通道的各8个二值图像进行单图片通道内bit交换；1)选择需要变换的通道变换的通道个数可选择一个、两个或三个，即一个通道进行变换的R、G、B通道3种可能，两个通道进行变换的RG、RB、GB通道3种可能，三个通道都进行变换的RGB通道1种可能，通道选择上共有7种可能性。2)选择需要变换的bit层顺序任意通道中图像信息从少到多的1～8bit层中，对低5位的bit位进行随机排列，即对1～5bit位进行顺序上的重排，顺序选择上共有120种可能。3)在选择的通道内对选择的bit层顺序进行变换对步骤1)选择的通道进行下述相同操作，都从通道的原始顺序变换为步骤2)选取的bit层顺序，全部变换方式可能性共840种，变换后共得到HR、LR各24个bit平面。第二种情况，对步骤1获取的HR、LR的各24个二值图像进行相同操作，HR、LR的R、G、B通道的各8个二值图像进行单图片通道间bit交换；1)选择需要交换的通道通道间bit交换为两个通道间相同bit平面进行交换，可选的可能性有RG、RB、GB通道进行交换，或者由R交换到G通道后G交换到B通道之后B交换到R通道，或者由B交换到G通道后G交换到R通道之后R交换到B通道，通道选择上共有5种可能。2)选择需要交换的bit层1～8bit层中，可随机选取数量为1～8个层个数进行交换，相当于8位数的随机组合，bit层交换选择上共有255种可能性。3)在选择的通道间对选择的bit层进行交换在步骤1)选择的通道之间进行下述相同操作，在每一个选择的通道之间对步骤2)选取的bit层依次进行相同位置的互换，全部变换方式可能性共1275种，交换后得到HR、LR各24个bit平面。第三种情况，在步骤1获取的HR、LR的各24个二值图像之间进行操作，HR、LR的R、G、B通道的各8个二值图像进行HR、LR通道间bit交换；1)选择需要交换的通道需要交换的为HR、LR相同的通道，变换的通道个数可选择一个、两个或三个，即一个通道进行变换的R、G、B通道3种可能，两个通道进行变换的RG、RB、GB通道3种可能，三个通道都进行变换的RGB通道1种可能，通道选择上共有7种可能性。2)选择需要交换的bit层1～8bit层中，可随机选取数量为1～8个层个数进行交换，相当于8位数的随机组合，bit层交换选择上共有255种可能性。3)HR、LR中在选择的通道间对选择的bit层进行交换在步骤1)选择的HR、LR相同的通道间进行下述相同操作，在每一个选择的通道之间将步骤2)选取的bit层依次进行相同位置互换，全部变换方式可能性共1785种，交换后得到HR、LR各24个bit平面。步骤2.2：对于任意数据集中任意一张图片的HR、LR版本，选择上述三种情况的一种中的任意一种可能性进行bit变换，得到变换后的HR、LR各24个bit平面。所述步骤3按如下步骤进行：步骤3.1：对步骤2得到HR、LR的各24个bit平面分别进行融合，即分别将每个单通道的8个bit平面融合为一个灰度图像。本步骤一共得到6个灰度图像，其中有本文档来自技高网...

【技术保护点】
1.一种用于图像超分辨率的比特级数据增强方法，其特征在于，包括步骤如下：/n步骤1：分别获取HR、LR图像的bit平面；包括图像三通道分离和bit平面分离；/n步骤2：图像bit平面变换；将步骤1获得的图像bit平面进行三种情况的变换；/n步骤3：图像重塑；将步骤2变换后的bit平面进行重组形成新的图像，包括图像bit平面融合和图像三通道融合；/n步骤4：模型训练；排列步骤2中所有bit变换方式，之后将不同的bit变换方式加入到SR网络中得出PSNR结果，比较PSNR结果后得出最优的bit变换方式；包括排列bit变换方式和SR网络的迭代训练。/n

【技术特征摘要】
1.一种用于图像超分辨率的比特级数据增强方法，其特征在于，包括步骤如下：
步骤1：分别获取HR、LR图像的bit平面；包括图像三通道分离和bit平面分离；
步骤2：图像bit平面变换；将步骤1获得的图像bit平面进行三种情况的变换；
步骤3：图像重塑；将步骤2变换后的bit平面进行重组形成新的图像，包括图像bit平面融合和图像三通道融合；
步骤4：模型训练；排列步骤2中所有bit变换方式，之后将不同的bit变换方式加入到SR网络中得出PSNR结果，比较PSNR结果后得出最优的bit变换方式；包括排列bit变换方式和SR网络的迭代训练。


2.根据权利要求1所述的用于图像超分辨率的比特级数据增强方法，其特征在于，所述步骤1按如下步骤进行：
步骤1.1：对单一RGB图像的HR、LR版本分别进行颜色通道的分离，并分别得到R、G、B单通道的灰度图像；
步骤1.2：对步骤1.1中得到HR、LR各三个单通道的灰度图像分别进行bit平面的划分，即将每个单通道的灰度图像划分为8个bit平面，得8个二值图像。


3.根据权利要求1所述的用于图像超分辨率的比特级数据增强方法，其特征在于，所述步骤2按如下步骤进行：
步骤2.1：对步骤1获取到的48个二值图像进行图像bit变换，其中变换的方式按如下三种情况进行；
第一种情况，对步骤1获取的HR、LR的各24个二值图像进行相同操作，HR、LR的R、G、B通道的各8个二值图像进行单图片通道内bit交换；
1)选择需要变换的通道
变换的通道个数选择一个、两个或三个，即一个通道进行变换有R、G、B通道3种可能，两个通道进行变换有RG、RB、GB通道3种可能，三个通道都进行变换有RGB通道1种可能，通道选择上共有7种可能性；
2)选择需要变换的bit层顺序
任意通道中图像信息从少到多的1～8bit层中，对低5位的bit位进行随机排列，即对1～5bit位进行顺序上的重排，顺序选择上共有120种可能；
3)在选择的通道内对选择的bit层顺序进行变换
对步骤1)选择的通道进行下述相同操作，都从通道的原始顺序变换为步骤2)选取的bit层顺序，全部变换方式可能性共840种，变换后共得到HR、LR各24个bit平面；
第二种情况，对步骤1获取的HR、LR的各24个二值图像进行相同操作，HR、LR的R、G、B通道的各8个二值图像进行单图片通道间bit交换；
1)选择需要交换的通道
通道间bit交换为两个通道间相同bit平面进行交换，可选的可能性有RG、RB、GB通道进行交换，或者由R交换到G通道后G交换到B通道之后B交换到R通道，或者由B交换到G通道后G交换到R通道之后R交换到B通道，通道选择上共有5种可能；
2)选择需要交换的bit层
1～8bit层中，可随机选取数量为1～8个层个数进行交换，相当于8位数的随机组合，bit层交换选择上共有255种可能性；
3)在选择的通道间对选择的bit层进行交换
在步骤1)选择的通道之间进行下述相同操作，在每一个选择的通道之间对步骤2)选取的bit层依次进行相同位置的互换，全部变换方式可能性有1275种，交换后得到HR、LR各24个bit平面；
第三种情况，在步骤1获取的HR、LR的各24个二值图像之间进行操作，HR、LR的R、G、B通道的各8个二值图像进行HR、LR通道间bit交换；
1)选择需要交换的通道
需要交换的为HR、LR相同的通道，变...

【专利技术属性】
技术研发人员：于洋，张伟，朱志良，于海，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁;21