一种提升红外图像分辨率的方法技术

本发明专利技术公开了一种提升红外图像分辨率的方法，应用于嵌入式设备，包括：步骤S1，将低分辨率红外图像输入至神经网络模型中；步骤S2，采用神经网络模型对低分辨率红外图像进行通道扩展，以形成多通道图像；步骤S3，将多通道图像的特征图按照通道数进行拆分，并分别对每个通道的特征图进行处理后重新拼接形成处理后的多通道图像的特征图；步骤S4，将步骤S3中输出的特征图进行扩展，并将扩展后的特征图形成高分辨率红外图像并输出。有益效果在于，一种基于深度学习卷积神经网络的提升红外图像分辨率的方法，可将输入图像的分辨率扩大2倍以上，可以在低功耗嵌入式平台上部署并具有较高推导运行速度和较好的效果，图像分辨率高，可实时成像。实时成像。实时成像。

【技术实现步骤摘要】
一种提升红外图像分辨率的方法


[0001]本专利技术涉及一种图像超分辨率
，尤其涉及一种提升红外图像分辨率的方法。

技术介绍

[0002]红外成像技术是根据物体的热能辐射而成像，图像所包含的信息、特征分布、信噪比、清晰度等和可见光图像都有所区别，其优势在于无需借助可见光，受环境干扰小，可以24小时全天候成像，所以这种技术在安防、目标识别等领域得到了广泛应用。但是其缺点是图像细节较可见光图像要少，所以为了在红外图像中获得较高的目标识别率，需要图像具有较高的分辨率。
[0003]图像超分辨率技术旨在使用算法来提高图像分辨率，使图像拥有更多的细节。以前人们常用各种插值算法(如双线性插值，双三次插值)提高图像分辨率，生成的图像较为模糊。近些年来由于深度学习算法的出众效果，市场上越来越倾向于使用深度学习算法来实现图像超分辨率，但由于深度学习算法参数较多，对设备运算速度有较高要求，所以一般运行环境为具有较高功耗的PC或工控机，若设备运算速度较低，则生成高分辨率图像速度缓慢。
[0004]为了达到实时性的要求，目前市面上实现高分辨率红外成像的嵌入式设备主要通过使用高分辨率的成像硬件来实现，而非使用基于深度学习的图像超分辨率算法，而使用高分辨率的成像硬件来实现的缺点是：功耗较大，成本较高，经济效益低，不利于推广。而在嵌入式设备上部署超分辨率算法的难点为：如果直接使用插值等传统算法，获得的红外图像超分辨率效果明显不能令人满意；如果使用深度学习算法，由于一般深度学习模型参数较多，计算量较大，需要使用功耗较高的嵌入式设备，而很多场景下由于受体积、成本等限制，嵌入式设备一般为小体积、低功耗平台，容易出现运行速度缓慢，无法实时生成高分辨率图像；如果盲目降低深度学习模型参数和计算量，容易降低算法的效果。

技术实现思路

[0005]本专利技术为了解决现有技术中存在的上述技术问题，提供了一种提升红外图像分辨率的方法，应用于嵌入式设备，包括：
[0006]步骤S1，将需要提升分辨率的低分辨率红外图像输入至一训练完成的神经网络模型中；
[0007]步骤S2，采用所述神经网络模型对所述低分辨率红外图像进行通道扩展，以形成多通道图像；
[0008]步骤S3，采用所述神经网络模型，将所述多通道图像的特征图按照通道数进行拆分，并分别对每个通道的特征图进行处理后重新拼接形成处理后的所述多通道图像的所述特征图；
[0009]步骤S4，采用所述神经网络模型，将所述步骤S3中输出的所述特征图进行扩展，并
根据扩展后的所述特征图形成高分辨率红外图像并输出。
[0010]优选的，所述步骤S1中，采用预先准备的训练样本集对所述神经网络模型进行训练，以使所述神经网络模型的损失函数达到训练条件，从而完成针对所述神经网络模型的训练过程。
[0011]优选的，所述步骤S2中，将所述低分辨率红外图像进行一第一卷积操作一次，以对所述低分辨率红外图像的通道数按照卷积核大小进行对应地扩展，以形成多通道图像。
[0012]优选的，所述步骤S3中，针对所述多通道图像的其中一个通道的所述特征图进行处理的过程具体包括：
[0013]步骤S31，将所述一个通道的所述特征图进行所述第一卷积操作一次，得到一第一特征图；
[0014]步骤S32，将所述第一特征图进行一第二卷积操作一次，得到一第二特征图；
[0015]步骤S33，将所述第二特征图进行所述第一卷积操作一次，得到一第三特征图；
[0016]步骤S34，将所述第三特征图进行一上采样操作一次，得到一第四特征图；
[0017]步骤S35，将所述第一特征图和所述第四特征图进行拼接处理，得到一第五特征图；
[0018]步骤S36，将所述第五特征图进行所述第一卷积操作一次，得到一第六特征图；
[0019]步骤S37，将所述第四特征图和所述第六特征图进行拼接处理，得到一第七特征图；
[0020]步骤S38，将所述第七特征图进行所述第一卷积操作一次，得到一第八特征图；
[0021]步骤S39，将所述第八特征图与其他通道的所述第八特征图进行拼接处理，得到所述多通道图像的所述特征图。
[0022]优选的，所述步骤S4包括：
[0023]步骤S41，将所述多通道图像的所述特征图进行一第一扩大操作多次，得到一扩大后的第一扩大特征图；
[0024]步骤S42，将所述低分辨率红外图像的特征图进行一第二扩大操作一次，得到一对应于所述第一特征图同倍数扩大的第二扩大特征图；
[0025]步骤S43，将所述第一扩大特征图和所述第二扩大特征图进行按照通道数拼接处理后，得到一第三扩大特征图；
[0026]步骤S44，将所述第三扩大特征图进行所述第一卷积操作一次，得到所述高分辨率红外图像。
[0027]优选的，所述第一卷积操作的卷积核大小为3*3，且步长为1。
[0028]优选的，所述第二卷积操作的卷积核大小为3*3，且步长为2。
[0029]优选的，所述第一扩大操作的卷积核大小为4*4，且步长为1。
[0030]优选的，所述第二扩大操作为双三次插值上采样操作。
[0031]优选的，关联于所述神经网络模型的所述训练条件为针对所述神经网络模型设置一损失函数；
[0032]所述损失函数具体为：
[0033][0034]其中，
[0035]MSE为所述损失函数计算得出的损失值；
[0036]m为一真实红外图像的像素点总个数；
[0037]为一真实红外图像的每个像素点的值；
[0038]为所述高分辨率红外图像的每个像素点的值。
[0039]本专利技术的技术方案的有益效果在于：设计一种基于深度学习卷积神经网络的提升红外图像分辨率的方法，可将输入图像的分辨率扩大2倍以上，可以在低功耗嵌入式平台上部署并具有较高推导运行速度和较好的效果，从而实现相比于传统红外成像嵌入式设备，具有图像分辨率高，可实时成像，且功耗小、成本低的特点。
附图说明
[0040]图1为本专利技术的较佳实施例中一种提升红外图像分辨率的方法的流程示意图；
[0041]图2为本专利技术的较佳实施例中一种提升红外图像分辨率的方法的步骤S3的流程示意图；
[0042]图3为本专利技术的较佳实施例中一种提升红外图像分辨率的方法的步骤S4的流程示意图；
[0043]图4为本专利技术的较佳实施例中一种卷积神经网络模型的结构示意图；
[0044]图5为本专利技术的较佳实施例中一种卷积神经网络模型中的分组卷积拼接模块的结构示意图；
[0045]图6为本专利技术的较佳实施例中分组卷积拼接模块的第一卷积操作的结构示意图；
[0046]图7为本专利技术的较佳实施例中分组卷积拼接模块的第二卷积操作的结构示意图；
[0047]图8为本专利技术的较佳实施例中分组卷积拼接模块的第一扩大操作的结构示意图；
[0048]图9a
‑
9c为本一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种提升红外图像分辨率的方法，应用于嵌入式设备，其特征在于，包括：步骤S1，将需要提升分辨率的低分辨率红外图像输入至一训练完成的神经网络模型中；步骤S2，采用所述神经网络模型对所述低分辨率红外图像进行通道扩展，以形成多通道图像；步骤S3，采用所述神经网络模型，将所述多通道图像的特征图按照通道数进行拆分，并分别对每个通道的特征图进行处理后重新拼接形成处理后的所述多通道图像的所述特征图；步骤S4，采用所述神经网络模型，将所述步骤S3中输出的所述特征图进行扩展，并根据扩展后的所述特征图形成高分辨率红外图像并输出。2.根据权利要求1所述的一种提升红外图像分辨率的方法，其特征在于，所述步骤S1中，采用预先准备的训练样本集对所述神经网络模型进行训练，以使所述神经网络模型的损失函数达到训练条件，从而完成针对所述神经网络模型的训练过程。3.根据权利要求1所述的一种提升红外图像分辨率的方法，其特征在于，所述步骤S2中，将所述低分辨率红外图像进行一第一卷积操作一次，以对所述低分辨率红外图像的通道数按照卷积核大小进行对应地扩展，以形成多通道图像。4.根据权利要求3所述的一种提升红外图像分辨率的方法，其特征在于，所述步骤S3中，针对所述多通道图像的其中一个通道的所述特征图进行处理的过程具体包括：步骤S31，将所述一个通道的所述特征图进行所述第一卷积操作一次，得到一第一特征图；步骤S32，将所述第一特征图进行一第二卷积操作一次，得到一第二特征图；步骤S33，将所述第二特征图进行所述第一卷积操作一次，得到一第三特征图；步骤S34，将所述第三特征图进行一上采样操作一次，得到一第四特征图；步骤S35，将所述第一特征图和所述第四特征图进行拼接处理，得到一第五特征图；步骤S36，将所述第五特征图进行所述第一卷积操作一次，得到一第六特征...

【专利技术属性】
技术研发人员：肖琳，王海伟，马玉宇，刘文豪，
申请(专利权)人：数量级上海信息技术有限公司，
类型：发明
国别省市：