本发明专利技术公开了一种图像增强方法及装置，图像增强方法包括：对待增强图像进行下采样，同时增加待增强图像的通道数，形成第一特征矩阵；对第一特征矩阵进行多尺度自适应卷积操作，获得包含多尺度信息的第二特征矩阵；对第二特征矩阵进行特征提取，随后进行上采样，同时将图像的通道数减少到待增强图像的通道数，获得第一增强后图像。本发明专利技术通过对下采样获得的图像进行多尺度自适应卷积操作，从不同尺度增强纹理细节，从而保留了图像的纹理结构和高频信息，提高了重构图像的整体质量。提高了重构图像的整体质量。提高了重构图像的整体质量。
【技术实现步骤摘要】
一种图像增强方法及装置
[0001]本专利技术涉及图像处理
，尤其涉及一种图像增强方法及装置。
技术介绍
[0002]图像是人类获取信息的重要载体，但是在传输，复制，扫描等过程当中，都会引起图像质量的下降，如水下图像由于成像环境的复杂，存在对比度低，颜色偏差等问题；医学CT图像由于设备的误差容易引入伪影；黑暗场景中过低的曝会产生低照度图像等。所以寻求一种高效快捷，应用广泛的图像增强技术有着重要的意义。
[0003]现有技术中，基于深度学习的图像增强方法使用预先准备好的数据集训练深度学习网络的参数，从而学习一种复杂的非线性函数映射，训练完成后，输入降质图像可以输出增强后的图像。但是，目前无监督的图像增强方法在保留图像纹理结构和高频信息方面效果较差，有待改进。
[0004]另外，对于有监督的学习来说，训练过程需要大量的成对样本，但是在很多应用场景，这样的成对样本数据是难以获得的。
[0005]现有技术中，还有基于空间域点变换、基于滤波以及基于先验的图像增强方法。
[0006]基于空间域点变换的图像增强方法中空域变换是直接调整像素值，将其变换到合理的范围内的方法，例如，灰度变换是将原图像像素逐点映射到目标图像，直方图均衡化是通过统计图像的像素分布并将其拉成均匀分布的方法增强图像。但是，该方法只在像素级别处理图像，没有考虑图像整体，所以在变换过程中存在细节丢失等问题；并且，该方法在处理含噪声图像时容易产生伪影或过度曝光。
[0007]基于滤波的图像增强方法是基于邻域运算的方法，它应用特定的模版在空间域或频域对每个像素与其周围邻域的所有像素进行某种数学运算，从而得到该像素的灰度值，常用的模板有用于图像平滑的高斯滤波、用于图像锐化的拉普拉斯算子和频率域的高通和低通滤波器。但是，该方法旨在针对图像的某一缺点改进，如图像平滑去噪或锐化图像边缘，然而真实的降质图像同时包含多种失真，该方法难以从整体上提高图像质量。
[0008]基于先验的图像增强方法是基于科学实验和科学分析的方法，它通过统计图像的成像特点和光反射的规律等，构建基于特定先验知识的数学模型，复原出目标图像。该方法构建的物理模型依赖于先验知识，但是由于成像场景的复杂性和不确定性，一些先验参数往往很难获得；此外,大多数模型的泛化能力有限，调整好的模型很难适应新的场景，不利于实际应用。
技术实现思路
[0009]鉴于上述，本专利技术旨在提供一种图像增强方法及装置，通过对下采样获得的图像进行多尺度自适应卷积操作，从不同尺度增强纹理细节，从而保留了图像的纹理结构和高频信息，提高了重构图像的整体质量。
[0010]本专利技术采用的技术方案如下：
[0011]第一方面，本专利技术提供了一种图像增强方法，包括：
[0012]对待增强图像进行下采样，同时增加待增强图像的通道数，形成第一特征矩阵；
[0013]对第一特征矩阵进行多尺度自适应卷积操作，获得包含多尺度信息的第二特征矩阵；
[0014]对第二特征矩阵进行特征提取，随后进行上采样，同时将图像的通道数减少到待增强图像的通道数，获得第一增强后图像。
[0015]在其中一种可能的实现方式中，对第二特征矩阵进行特征提取时，对第二特征矩阵进行残差操作，获得第三特征矩阵，第三特征矩阵的大小与第二特征矩阵的大小相同。
[0016]在其中一种可能的实现方式中，对第一特征矩阵进行多尺度自适应卷积操作，获得包含多尺度信息的第二特征矩阵，具体包括：
[0017]对第一特征矩阵的每个第一特征图的宽高维度求多个尺度的自适应全局平均池化，获得多个尺度的第二特征图，每个尺度的所有第二特征图形成第四特征矩阵；
[0018]将每个尺度的第四特征矩阵上的第二特征图作为卷积核，与第一特征矩阵上相同通道上的第一特征图做深度分离卷积，得到多尺度自适应融合后的第三特征图，每个尺度的所有第三特征图形成第五特征矩阵；
[0019]将所有尺度上的第五特征矩阵和第一特征矩阵在通道维度上拼接在一起，然后通过1*1的卷积层获得第二特征矩阵，第二特征矩阵的通道数与第一特征矩阵的通道数相同。
[0020]在其中一种可能的实现方式中，深度分离卷积之前通过1*1的卷积层对第一特征矩阵和第四特征矩阵进行降维操作，并在深度分离卷积之后通过1*1的卷积层对第五特征矩阵进行升维操作，使得第五特征矩阵的通道数与第一特征矩阵的通道数相同。
[0021]在其中一种可能的实现方式中，通过第一生成器实现图像增强，第一生成器的输入为待增强图像，输出为第一增强后图像。
[0022]在其中一种可能的实现方式中，利用生成对抗网络对第一生成器进行训练，包括：
[0023]将第一图像样本输入第一生成器，获得第二增强后图像，并将第二增强后图像输入第一判别器，将第一图像样本输入第二判别器；
[0024]将第二图像样本输入第二生成器，获得第一降质图像，并将第二图像样本输入第一判别器，将第一降质图像输入第二判别器；
[0025]将第二增强后图像输入第二生成器，获得第二降质图像；
[0026]将第一降质图像输入第一生成器，获得第三增强后图像；
[0027]在第一判别器和第二判别器的参数固定的情况下，利用第一图像样本与第二降质图像之间的梯度损失、第二图像样本与第三增强后图像之间的梯度损失、第一判别器的对抗损失和第二判别器的对抗损失获得生成器损失值；
[0028]利用生成器损失值对第一生成器和第二生成器进行迭代训练；
[0029]其中，第一生成器和第二生成器完全相同，第一判别器和第二判别器完全相同。
[0030]在其中一种可能的实现方式中，生成器损失值还包括第一图像样本与第二降质图像之间的对偶约束损失和第二图像样本与第三增强后图像之间的对偶约束损失。
[0031]在其中一种可能的实现方式中，利用生成对抗网络对第一生成器进行训练还包括：
[0032]在第一生成器和第二生成器的参数固定的情况下，对第一判别器和第二判别器进
行迭代训练。
[0033]第二方面，本专利技术提供了一种图像增强装置，包括下采样模块、多尺度自适应卷积模块以及上采样模块；
[0034]下采样模块用于对待增强图像进行下采样，同时增加待增强图像的通道数，形成第一特征矩阵；
[0035]多尺度自适应卷积模块用于对第一特征矩阵进行多尺度自适应卷积操作，获得包含多尺度信息的第二特征矩阵；
[0036]上采样模块用于对第二特征矩阵进行特征提取，随后进行上采样，同时将图像的通道数减少到待增强图像的通道数，获得第一增强后图像。
[0037]在其中一种可能的实现方式中，多尺度自适应卷积模块包括自适应全局平均池化模块、深度分离卷积模块以及拼接模块；
[0038]自适应全局平均池化模块用于对第一特征矩阵的每个第一特征图的宽高维度求多个尺度的自适应全局平均池化，获得多个尺度的第二特征图，每个尺度的所有第二特征图形成第四特征矩阵；
[00本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像增强方法，其特征在于，包括：对待增强图像进行下采样，同时增加所述待增强图像的通道数，形成第一特征矩阵；对所述第一特征矩阵进行多尺度自适应卷积操作，获得包含多尺度信息的第二特征矩阵；对所述第二特征矩阵进行特征提取，随后进行上采样，同时将图像的通道数减少到所述待增强图像的通道数，获得第一增强后图像。2.根据权利要求1所述的图像增强方法，其特征在于，对所述第二特征矩阵进行特征提取时，对所述第二特征矩阵进行残差操作，获得第三特征矩阵，所述第三特征矩阵的大小与所述第二特征矩阵的大小相同。3.根据权利要求1或2所述的图像增强方法，其特征在于，对所述第一特征矩阵进行多尺度自适应卷积操作，获得包含多尺度信息的第二特征矩阵，具体包括：对所述第一特征矩阵的每个第一特征图的宽高维度求多个尺度的自适应全局平均池化，获得多个尺度的第二特征图，每个尺度的所有第二特征图形成第四特征矩阵；将每个尺度的第四特征矩阵上的第二特征图作为卷积核，与所述第一特征矩阵上相同通道上的第一特征图做深度分离卷积，得到多尺度自适应融合后的第三特征图，每个尺度的所有第三特征图形成第五特征矩阵；将所有尺度上的第五特征矩阵和所述第一特征矩阵在通道维度上拼接在一起，然后通过1*1的卷积层获得所述第二特征矩阵，所述第二特征矩阵的通道数与所述第一特征矩阵的通道数相同。4.根据权利要求3所述的图像增强方法，其特征在于，深度分离卷积之前通过1*1的卷积层对所述第一特征矩阵和所述第四特征矩阵进行降维操作，并在深度分离卷积之后通过1*1的卷积层对所述第五特征矩阵进行升维操作，使得所述第五特征矩阵的通道数与所述第一特征矩阵的通道数相同。5.根据权利要求1或2所述的图像增强方法，其特征在于，通过第一生成器实现图像增强，所述第一生成器的输入为所述待增强图像，输出为所述第一增强后图像。6.根据权利要求5所述的图像增强方法，其特征在于，利用生成对抗网络对所述第一生成器进行训练，包括：将第一图像样本输入所述第一生成器，获得第二增强后图像，并将所述第二增强后图像输入第一判别器，将所述第一图像样本输入第二判别器；将第二图像样本输入第二生成器，获得第一降质图像，并将所述第二图像样本输入所述第一判别器，将所述第一降质图像输入所述第二判别器；将所述第二增强后图像输入所述第二生成器，获得第二降质图像；将所述第一降质图像输入所述第一生成器，获得第三增强后图像；在所述第一判别器和所述第二判别器的参数固定的情况下，利用所述第一图像样本与所述第二降质图像之间的梯度损失、所述第二图像样本与所述第三增强后图像之间的梯度损失、所述第一判别器的对抗损失和所述第二判别器的对抗损失获得生成器损失值；利用所述生成器损失值对所述第一生成器和所述第二生成器进行迭代训练；其中，所述第一生成器和所述第二生成器完全...
【专利技术属性】
技术研发人员：田静，陈霆，刘鹏，
申请(专利权)人：山东科讯信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。