红外图像的超分辨率的处理方法及系统技术方案

用于处理低分辨率图像以生成超分辨率图像的人工神经网络包括层之间的前馈连接。所述网络包括输入层、一个或更多个卷积层和输出层，其中，输入层连接到卷积层中的第一卷积层，输出层连接到卷积层中的最后一个卷积层。输入图像输入到输入层以及卷积层中的至少一个，输入层的初始输出输入到卷积层中的至少一个，卷积层中的至少一个的层输出输入到至少一个后续的卷积层。续的卷积层。续的卷积层。

【技术实现步骤摘要】
【国外来华专利技术】红外图像的超分辨率的处理方法及系统


[0001]本专利技术总体上涉及图像处理，且尤其涉及从低分辨率(LR)图像生成高分辨率(HR)图像。

技术介绍

[0002]红外(IR)图像是感测从给定目标表面发射或反射的处于电磁谱的红外带宽(约0.72至12微米)的电磁辐射的结果。经由当前IR未制冷技术生成的图像有低分辨率的问题，因此降低了这些LR图像的有用性。
[0003]超分辨率(Super
‑
resolution)(SR)成像是增强(增加)成像系统的分辨率的一类技术，例如，从一个或更多个低分辨率输入图像恢复或生成高分辨率图像。
[0004]彩色数字图像由像素(通常由4个红色像素、绿色类型1像素和绿色类型2像素以及蓝色像素的簇组成彩色像素)，使得像素由一系列代码(数值)表示的原色的组合制成。每种颜色被称为通道。例如，来自标准数码相机的图像将具有红色通道、绿色通道和蓝色通道(RGB)。灰度图像仅具有一个通道。YUV图像是源自广播的RGB颜色空间的仿射变换。Y通道大致与感知强度相关，而U通道和V通道提供颜色信息。

技术实现思路

[0005]根据本实施例的教导，提供了一种用于使用用于低功率设备的深度神经网络方法从低分辨率图像生成高分辨率图像的方法。本实施例通常可以用人工神经网络(ANN)来实现，更具体地，可以用卷积神经网络(CNN)来实现。实施例包括使用低功率设备生成超分辨率(SR)图像以增强早期检测的能力(例如在农业中用于表型识别、灌溉监测和植物中疾病的早期检测)。
[0006]分辨率可以取决于应用，例如，LR可以小于160
×
120像素(19600像素)，并且高分辨率(HR)和超分辨率(SR)可以是640
×
480(307200像素)或更多。
[0007]一些方法基于深度学习，其中许多计算在低分辨率(LR)域中完成。每个层的结果聚集在一起，以允许信息通过网络更好的流动。
[0008]实施例使用具有大约200K乘加计算(MAC)的深度可分离卷积来实现结果，而基于现在的卷积神经网络(CNN)的SR算法需要大约1500K MAC(1500kMAC)。因此，实施例例如通过增加功率效率(减少功率使用、成本)和增加计算速度(减少运行时间)来改善计算设备的功能。例如，实施例还改善了估计的度量(例如，峰值信噪比PSNR、结构相似性指数测量SSIM)。与传统实施方式相比，实施例结合了提高的质量和较低的复杂性，因此实施例可以在低功率设备上实现。结果，展示了用于图像的新的深度学习SR方案。
[0009]该方法是可操作的，例如，实施例已经成功地用于真实的农业图像。为了在本描述中清楚起见，使用处理红外(IR)图像的非限制性示例。
[0010]实施例提供了仅使用单个IR图像来执行SR的方法，同时平衡超分辨率图像(指定的I
SR
)的度量质量与由IR相机的硬件提出的低功率要求。本专利技术的计算复杂度明显低于类
似的网络。
[0011]在一些实施例中，网络(神经网络)使用来自Kim等人(2016)[12]的瓶颈层与Tong等人(2017)[19]的密集残差连接以保持深度网络的高质量性能，仅具有一小部分递归计算能力。可以对LR空间执行本专利技术的计算以节省计算成本，并且可以例如使用来自Shi等人2016)[17]的技术来完成对HR的放大(upscale，也被称为升级，升尺寸)。结果表明，只有少数残差连接就足够了。为了进一步降低计算复杂度，可以使用例如来自Chollet(2017)[6]的深度可分离卷积。
[0012]根据本实施例的教导，提供了一种用于图像处理的系统，所述系统包括：处理系统，所述处理系统包括一个或更多个处理器，以及人工神经网络，所述人工神经网络包括：输入层，所述输入层包括用于存储输入图像的存储位置，一个或更多个卷积层，其中，所述输入层连接到所述卷积层的第一卷积层，以及输出层，所述输出层连接到所述卷积层的最后卷积层并且包括用于存储输出图像的存储位置，其中，所述层包括用于在所述处理系统上执行的指令，所述输入图像输入到所述输入层以及所述卷积层中的至少一个卷积层，所述输入层的初始输出输入到所述卷积层中的至少一个卷积层，并且所述卷积层中的至少一个卷积层的层输出输入到至少一个后续的卷积层。
[0013]在可选实施例中，所述处理器被配置为执行使用预定的一组机器代码编程的指令，并且所述层包括在所述处理器的所述机器代码中实现的计算指令。
[0014]在另一可选实施例中，所述输入图像是低分辨率图像，并且所述输出图像是超分辨率图像。
[0015]在另一可选实施例中，所述卷积层中的至少一个卷积层中的每个卷积层包括：相应的卷积模块，所述相应的卷积模块接收至相应的卷积层的数据，相应的激活函数，所述相应的激活函数处理来自所述相应的卷积模块的输出数据，相应的瓶颈层，所述相应的瓶颈层处理来自所述相应激活函数的输出数据。
[0016]在另一可选实施例中，所述输入图像和所述初始输出输入到所述瓶颈层，并且所述瓶颈层生成所述层输出。
[0017]在另一可选实施例中，所述输入图像输入到所述卷积层中的每个卷积层。在另一可选实施例中，所述初始输出输入到所述卷积层中的每个卷积层。在另一可选实施例中，层输出输入到每个后续的卷积层。
[0018]在另一可选实施例中，输出层包括：混洗块，所述混洗块接收所述最后卷积层的所述层输出和所述输入图像，并生成比所述输入图像和所述层输出的分辨率高的分辨率的混洗块输出，插值模块，所述插值模块接收所述输入图像并生成比所述输入图像的分辨率高的分辨率的插值图像，以及最终卷积，所述最终卷积接收所述混洗块输出和所述插值图像并生成所述输出图像。
[0019]在另一可选实施例中，所述网络用基于高分辨率图像和对应的低分辨率图像的训练集来训练。
[0020]根据本实施例的教导，提供了一种训练根据权利要求1所述的网络的方法，所述方法包括以下步骤：接收一组或更多组高分辨率图像，将一个或更多个变换应用于所述一组或更多组高分辨率图像中的至少一个子组以生成关联的至少一组的低分辨率图像，创建包括所述一组或更多组高分辨率图像和所述关联的至少一组的低分辨率图像的训练集，以及
使用所述训练集训练所述网络。
[0021]根据本实施例的教导，提供了一种用于图像处理的方法，所述方法包括以下步骤：基于高分辨率图像和对应的低分辨率图像的训练集来配置人工神经网络；将输入图像输入到输入层和至少一个卷积层；基于所述输入图像从所述输入层生成初始输出，并且将所述初始输出至少发送到所述卷积层中的第一卷积层；基于所述输入图像、所述初始输出和任何先前层输出生成所述卷积层中的至少一个卷积层的当前层输出，并且将所述当前层输出发送到至少一个后续的卷积层；以及基于所述卷积层的最后卷积层的所述层输出与所述输入图像，由输出层生成输出图像。
[0022]根据本实施例的教导，提供了一种计算机可用的非暂时性存储介质，所述非暂时性存储介质具本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于图像处理的系统，其特征在于，所述系统包括：(a)处理系统，所述处理系统包括一个或更多个处理器，以及(b)人工神经网络(100)，所述人工神经网络(100)包括：(i)输入层(L
‑
IN)，所述输入层(L
‑
IN)包括用于存储输入图像(ILR)的存储位置，(ii)一个或更多个(L)卷积层(L
‑
n)，其中，所述输入层(L
‑
IN)连接到所述卷积层(L
‑
n)的第一卷积层(L
‑
1)，以及(iii)输出层(L
‑
OUT)，所述输出层(L
‑
OUT)连接到所述卷积层(L
‑
n)的最后卷积层(L
‑
l)并且包括用于存储输出图像(ISR)的存储位置，(c)其中，(A)所述层包括用于在所述处理系统上执行的指令，(B)所述输入图像(ILR)被输入到所述输入层(L
‑
IN)以及所述卷积层(L
‑
n)中的至少一个卷积层(L
‑
n)，(C)所述输入层(L
‑
IN)的初始输出(110)被输入到所述卷积层(L
‑
n)中的至少一个卷积层(L
‑
n)，并且(D)所述卷积层(L
‑
n)中的至少一个卷积层(L
‑
n)的层输出(S)被输入到至少一个后续的卷积层(L
‑
n)。2.根据权利要求1所述的系统，其特征在于，所述处理器被配置为执行使用预定的一组机器代码编程的指令，并且所述层包括在所述处理器的所述机器代码中实现的计算指令。3.根据权利要求1所述的系统，其特征在于，所述输入图像是低分辨率图像，并且所述输出图像是超分辨率图像。4.根据权利要求1所述的系统，其特征在于，所述卷积层(L
‑
n)中的至少一个卷积层(L
‑
n)中的每个卷积层(L
‑
n)包括：(a)相应的卷积模块(LCON
‑
n)，所述相应的卷积模块(LCON
‑
n)接收至相应的卷积层(L
‑
n)的数据，(B)相应的激活函数(PReLU)，所述相应的激活函数(PReLU)处理来自所述相应的卷积模块(LCON
‑
n)的输出数据，以及(C)相应的瓶颈层(LB)，所述相应的瓶颈层(LB)处理来自所述相应激活函数(PReLU)的输出数据。5.根据权利要求4所述的系统，其特征在于，所述输入图像(ILR)和所述初始输出(110)被输入到所述瓶颈层(LB)，并且所述瓶颈层(LB)生成所述层输出(S)。6.根据权利要求1所述的系统，其特征在于，所述输入图像(ILR)被输入到所述卷积层(L
‑
n)中的每个卷积层(L
‑
n)。7.根据权利要求1所述的系统，其特征在于，所述初始输出(110)被输入到所述卷积层(L
‑
n)中...

【专利技术属性】
技术研发人员：纳沃特，
申请(专利权)人：拉莫特特拉维夫大学有限公司，
类型：发明
国别省市：