基于门阀装置与色阶调整的图像超分辨率重建方法及系统制造方法及图纸

本发明专利技术公开了一种基于门阀装置与色阶调整的图像超分辨率重建方法及系统，首先获取农作物害虫图像；然后将农作物害虫图像输入图像超分辨率重建网络，对农作物害虫图像进行超分辨率重建，得到高分辨率图像；本发明专利技术在双阶段退化的基础上，利用随机重组与门阀装置，使退化模型能更好地模拟真实场景下的图像退化过程，既包含退化严重的农作物害虫场景，也包含退化较轻的农作物害虫场景。本发明专利技术利用色阶调整，使位于阴影下的农作物害虫具有更好的色彩饱和度和亮度，从而能更易发觉。利用本发明专利技术对农作物害虫图像进行超分辨率重建处理，可以有效提高对农作物害虫图像的检测效果，从而有助于进一步减少摄像机在农田的部署，节省成本，具有实际意义。具有实际意义。具有实际意义。

【技术实现步骤摘要】
基于门阀装置与色阶调整的图像超分辨率重建方法及系统


[0001]本专利技术属于计算机视觉
，涉及一种盲图像超分辨率重建方法及系统，具体涉及一种基于门阀装置与色阶调整的图像超分辨率重建方法及系统，可以应用于农作物害虫图像识别中。

技术介绍

[0002]根据最近的研究，每年世界上约有一半的农作物产量因害虫和作物病害而损失，因此对农作物中的害虫进行识别和监控具有重要意义。在实际的监测识别农作物害虫的场景中，农田中摄像机的布置相对稀疏，使得图像中的害虫像素非常小，使农作物害虫检测面临着较大的挑战。对此，我们可以对农作物害虫图像进行超分辨率重建，使目标检测网络获取并学习到害虫图像中更多的细节和特征，从而提高农作物害虫的检测准确率。
[0003]图像超分辨率重建是指将不清晰的低分辨率图像恢复为清晰的高分辨率图像。图像超分辨率重建方法可分为插值法、重构法以及学习法三大类，与前两类方法相比，基于学习的方法，尤其是基于深度学习的方法在细节与纹理的恢复上都具有更好的效果。而基于深度学习的图像超分辨率重建方法主要又可分为基于神经卷积网络的方法、基于生成对抗网络的方法与盲图像超分辨率重建方法。与基于神经卷积网络的方法相比，基于生成对抗网络的方法所重建的图像具有更好的纹理细节和视觉感知。然而上述两种方法均只考虑简单且均匀的退化过程，如双三次下采样，而真实场景下的图像退化往往会复杂得多，最终导致这两种方法在应用于真实场景下的图像时效果不佳。而盲图像超分辨率重建方法主要研究真实场景下的图像退化过程，从而使图像超分辨率重建方法能更好地应用于真实场景中，比如农作物害虫的真实场景。
[0004]虽然目前的盲图像超分辨率方法已经取得了显著的改进，但大多数方法所设定的退化过程均需经历重重退化步骤，因此一般面向退化比较严重的场景，而忽略了部分退化较轻的场景。此外，农作物害虫真实场景下的害虫往往由于光影阴暗和害虫自身保护色与背景颜色相近的原因，导致害虫特征不明显，最终使得害虫检测率不高。

技术实现思路

[0005]本专利技术针对现有技术的不足，提供了一种基于门阀装置与色阶调整的图像超分辨率重建方法及系统，为了尽可能地模拟农作物害虫真实场景下的图像退化过程，使之既包含退化较严重的场景，也包含退化较轻的场景，本专利技术设计的退化过程在结合双阶段退化与随机重组的同时，设置了门阀装置，包含更多地场景，从而与真实的退化过程更相似；此外，为了突出在阴影下的农作物害虫和与背景色相近的农作物害虫特征，本专利技术设计了色阶调整的训练策略，使超分辨率重建的图像中的害虫具有更显著的特征，从而便于后续的农作物害虫检测。
[0006]本专利技术的方法所采用的技术方案是：一种基于门阀装置与色阶调整的图像超分辨率重建方法，包括以下步骤：
[0007]步骤1：获取农作物害虫图像；
[0008]步骤2：将农作物害虫图像输入图像超分辨率重建网络，对农作物害虫图像进行超分辨率重建，得到高分辨率的农作物害虫图像；
[0009]所述图像超分辨率重建网络由生成器网络中的主体模块与上采样模块组成；
[0010]所述生成器网络的主体模块由1个3*3的卷积块和23个RRDB基本块组成，每个RRDB基本块中均包含3个密集块，每个密集块均由5个3*3卷积块密集连接组成，密集块之间使用残差连接；生成器网络中的主体模块首先对农作物害虫图像进行3*3的卷积操作，初步获取图像特征信息，接着由23个RRDB基本块对图像特征信息进一步提取与学习；通过使用密集连接和残差连接，可在实现特征重用，提高计算效率的同时，并有效防止梯度消失和梯度爆炸。
[0011]所述生成器网络的上采样模块包括亚像素卷积和两个3*3的卷积块；首先使用一个亚像素卷积对农作物害虫图像图像特征进行缩放尺度为4的上采样，接着用两个3*3的卷积块分别对图像特征进行细化和输出高分辨率的农作物害虫图像。
[0012]本专利技术的系统所采用的技术方案是：一种基于门阀装置与色阶调整的图像超分辨率重建系统，包括以下模块：
[0013]模块1，用于获取农作物害虫图像；
[0014]模块2，用于将农作物害虫图像输入图像超分辨率重建网络，对农作物害虫图像进行超分辨率重建，得到高分辨率的农作物害虫图像；
[0015]所述图像超分辨率重建网络由生成器网络中的主体模块与上采样模块组成；
[0016]所述生成器网络的主体模块由1个3*3的卷积块和23个RRDB基本块组成，每个RRDB基本块中均包含3个密集块，每个密集块均由5个3*3卷积块密集连接组成，密集块之间使用残差连接；生成器网络中的主体模块首先对农作物害虫图像进行3*3的卷积操作，初步获取图像特征信息，接着由23个RRDB基本块对图像特征信息进一步提取与学习；通过使用密集连接和残差连接，可在实现特征重用，提高计算效率的同时，并有效防止梯度消失和梯度爆炸。
[0017]所述生成器网络的上采样模块包括亚像素卷积和两个3*3的卷积块；首先使用一个亚像素卷积对农作物害虫图像图像特征进行缩放尺度为4的上采样，接着用两个3*3的卷积块分别对图像特征进行细化和输出高分辨率的农作物害虫图像。
[0018]与现有技术相比，本专利技术具有如下优点：
[0019]1)本专利技术在双阶段退化的基础上，利用随机重组与门阀装置，使退化模型能更好地模拟真实场景下的图像退化过程，既包含退化严重的农作物害虫场景，也包含退化较轻的农作物害虫场景。
[0020]2)本专利技术利用色阶调整，使位于阴影下的农作物害虫具有更好的色彩饱和度和亮度，从而能更易发觉。
[0021]3)利用本专利技术对农作物害虫图像进行超分辨率重建处理，可以有效提高对农作物害虫图像的检测效果，从而有助于进一步减少摄像机在农田的部署，节省成本，具有实际意义。
附图说明
[0022]图1为本专利技术实施例的方法流程图；
[0023]图2为本专利技术实施例的图像超分辨率重建网络训练流程图；
[0024]图3为本专利技术实施例的AgriPest数据集中4个种类的农作物害虫图像，其中图3(a)为小麦麦长管蚜(Sitobionavenae，SA)，图3(b)为水稻稻飞虱(Riceplanthopper，RPH)，图3(c)为玉米缢管蚜(Rhopalosiphummaidis，RM)，图3(d)为油菜蚜虫(Cruciferaepadi，CP)。图4为本专利技术与其他方法在超分辨率重建上的视觉效果比较。
具体实施方式
[0025]为了便于本领域普通技术人员理解和实施本专利技术，下面结合附图及实施例对本专利技术作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本专利技术，并不用于限定本专利技术。
[0026]请见图1，本专利技术提供的一种基于门阀装置与色阶调整的图像超分辨率重建方法，包括以下步骤：
[0027]步骤1：获取农作物害虫图像；
[0028]步骤2：将农作物害虫图像输入训练好的图像超分辨率重建网络，对农作物害虫图像进行超分辨率重建，得到高分辨率的农作物害虫图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于门阀装置与色阶调整的图像超分辨率重建方法，其特征在于，包括以下步骤：步骤1：获取农作物害虫图像；步骤2：将农作物害虫图像输入图像超分辨率重建网络，对农作物害虫图像进行超分辨率重建，得到高分辨率的农作物害虫图像；所述图像超分辨率重建网络由生成器网络中的主体模块与上采样模块组成；所述生成器网络的主体模块由1个3*3的卷积块和23个RRDB基本块组成，每个RRDB基本块中均包含3个密集块，每个密集块均由5个3*3卷积块密集连接组成，密集块之间使用残差连接；生成器网络中的主体模块首先对农作物害虫图像进行3*3的卷积操作，初步获取图像特征信息，接着由23个RRDB基本块对图像特征信息进一步提取与学习；所述生成器网络的上采样模块包括亚像素卷积和两个3*3的卷积块；首先使用一个亚像素卷积对农作物害虫图像图像特征进行缩放尺度为4的上采样，接着用两个3*3的卷积块分别对图像特征进行细化和输出高分辨率的农作物害虫图像。2.根据权利要求1所述的基于门阀装置与色阶调整的图像超分辨率重建方法，其特征在于：所述图像超分辨率重建网络，是训练好的图像超分辨率重建网络，训练过程包括：(1)获取训练数据集，将训练数据集划分为训练集和验证集，并将训练数据集中图像裁剪成图像块HR；(2)将图像块HR输入图像超分辨率重建网络中进行训练，输出超分辨率重建图像SR；图像块HR输入图像超分辨率重建网络后，首先会经过生成器网络中的退化模块中进行一系列随机的退化操作，生成低分辨率图像LR，接着生成器网络中的主体模块对LR图像特征信息进行深入提取与学习，最后由生成器网络中的上采样模块对LR图像特征信息进行上采样并输出超分辨率重建图像SR；训练过程中将SR图像与经过USM锐化、色阶调整的HR图像进行比较，计算像素损失与内容感知损失；所述像素损失函数为：式中h、w、c分别为图像的高度、宽度、通道数；I
i,j,k
为真实高清图像中高度为i，宽度为j，宽度为k中的像素值，为生成的高清图像中高度为i，宽度为j，宽度为k中的像素值；所述内容感知损失函数为：式中，φ
i,j,k
(I)表示真实高清图像经VGG网络识别后，在高度为i，宽度为j，宽度为k中的特征值；表示生成高清图像经VGG网络识别后，在高度为i，宽度为j，宽度为k中的特征值；(3)判别器网络对SR图像进行鉴别，计算生成对抗损失；所述生成对抗损失函数为：
L
G
＝
‑
E[r
·
logσ(C(x
f
))+(1
‑
r)
·
log(1
‑
σ(C(x
f
)))]式中，E[
·
]表示求平均值，C(
·
)为鉴别器的输出，σ(
·
)为sigmoid函数，x
f
为生成图像，r为真实图像的标签；判别器网络的训练过程中，总体的损失函数为：L
D
＝
‑
E[r
·
logσ(C(x
r
))+(1
‑
r)
·
log(1
‑
σ(C(x
r
)))]
‑
E[f
·
logσ(C(x
f
))+(1
‑
f)
·
log(1
‑<...

【专利技术属性】
技术研发人员：饶文碧，梁伟基，叶尹，熊盛武，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：