红外图像量化和增强方法、系统及存储介质技术方案

本发明专利技术提供一种红外图像量化和增强方法、系统及存储介质，该方法包括数据准备步骤：将14bits红外图像数据生成8bits红外图像数据，生成的8bits红外图像数据作为标签图像；训练步骤：将14bits红外图像数据归一化为[0,1]范围内的浮点数，归一化的数据输入到基于多尺度特征融合的主网络中，主网络提取不同尺度的图像特征，对不同尺度的图像特征进行融合，生成8bits红外图像；将主网络生成的8bits红外图像和标签图像输入判别器模块，促使主网络生成质量更高的红外图像。本发明专利技术的有益效果是：本发明专利技术能够将14bits红外图像映射为高质量的8bits红外图像数据，生成图像速度更快，占用的CPU资源更少。源更少。源更少。

【技术实现步骤摘要】
红外图像量化和增强方法、系统及存储介质


[0001]本专利技术涉及图像处理
，尤其涉及红外图像量化和增强方法、系统及存储介质。

技术介绍

[0002]红外图像主要应用于军事领域和监控领域，例如在监控领域，在无光环境下，装有红外摄像头的监控设备仍能获取监控视野范围内的环境信息。
[0003]为了能以足够高的精度来量化大动态范围的红外场景，高性能热成像系统通常输出数据一般为14bits的Raw数据，通过解析Raw文件数据能够获取14bits的红外图像数据，而常规显示设备大多只支持显示8位灰度图像，如果直接显示，会导致14bits数据自动截断为8bits得到一种灰度分布不均匀的图像，为此针对14bits原始红外图像，需要通过量化方法将14bits的红外图像映射为8bits红外图像。
[0004]传统的红外图像量化方法一般分为线性映射、非线性映射（gamma校正、直方图均衡化）等。线性映射的方法主要通过图像像素中的最大值与最小值，将14bits图像归一化，然后每个像素乘以255，最终得到8bits图像数据；gamma矫正不同于线性映射方法的地方在于，归一化的像素数据需要以1/gamma值为指数；直方图均衡化方法通过计算得到14bits图像的灰度直方图，通过灰度直方图计算得到灰度映射函数，通过灰度映射函数进行非线性映射。
[0005]红外图像经过量化，图像中的部分细节信息可能会丢失，为了增强红外图像可视化的效果，目前基于滤波的方法将红外图像的量化和红外图像的细节增强融合在一起，例如DDE（Digital Detail Enhancement）。DDE具体的做法通过特殊的滤波器将14bits图像分成具有低频信息的背景层和具有高频信息的细节层，分别对背景层和细节层进行灰度增强和去噪处理，最后经过压缩合成8bits数据。
[0006]由于深度学习的广泛应用，目前部分方法开始使用神经网络实现红外图像增强。一种方法使用全卷积网络，这种方法一般通过全卷积网络提取红外图像的特征信息，通过跳连接进行特征融合，丰富细节信息，达到增强的效果。另一种方法使用生成对抗网络，以真实的可见光灰度图像为条件，依靠识别子网络D监督生成子网络G，并通过生成子网络和识别子网络的相互博弈，实现红外图像增强。
[0007]目前尚未有通过深度神经网络一步实现从14bits Raw图像映射到8bits输出图像，且实现图像像质增强的端到端方法。
[0008]
技术介绍
的缺陷：传统的红外图像量化方法一般分为线性映射、非线性映射（gamma校正、直方图均衡化）等。线性映射方法依赖于图像像素的最大值与最小值，有时会出现图像整体灰度过大，从而导致图像呈现一种过曝的现象；gamma校正，不同的gamma值对应不同的效果，无法实现自适应，另一方面gamma校正无法消除空缺的灰度值；直方图均衡化方法容易过度增强，导致噪声增强，最新的限制对比度的自适应直方图均衡化方法虽然改善了过度增强，但
是需要手动调节参数适应不同场景，无法做到自适应。
[0009]目前基于滤波的红外图像量化方法在红外图像量化阶段加入了图像细节增强，例如DDE（Digital Detail Enhancement），在速度方面，DDE可以达到实时，但是对于高帧率的需求(例如100FPS)时，DDE无法满足要求，在资源消耗方面，由于DDE整体还是基于传统的方式实现，所以在移动嵌入式的设备上使用时，DDE需要占据CPU资源，无法使用移动嵌入式设备上的特殊计算加速模块（例如gpu，npu等）。
[0010]目前基于深度学习的红外图像增强的方法，无论是基于全卷积网络的方法还是基于基于生成对抗网络的方法，它们网络的输入都是8bits红外图像数据，所以这些方法增强前都需要进行14bits数据到8bits数据的量化。对于生成图像质量方面，由于量化与增强阶段的分离，一方面，量化阶段产生的噪声可能会在增强阶段放大，额外的去噪处理将会浪费计算资源和时间；另一方面量化阶段的细节损失过大，在增强阶段无法对这些细节信息进行恢复，最后生成的图像质量较差。

技术实现思路

[0011]为了解决现有技术中的问题，本专利技术提供了一种红外图像量化和增强方法、系统及存储介质，红外图像的量化与增强在同一阶段完成，提高了算法的性能。
[0012]本专利技术提供了一种红外图像量化和增强方法，包括如下步骤：数据准备步骤：将14bits红外图像数据生成8bits红外图像数据，生成的8bits红外图像数据作为标签图像；训练步骤：将14bits红外图像数据归一化为[0,1]范围内的浮点数，归一化的数据输入到基于多尺度特征融合的主网络中，主网络通过特征提取模块提取不同尺度的图像特征，最后对不同尺度的图像特征进行融合，增加图像的细节信息，生成8bits红外图像；将主网络生成的8bits红外图像和标签图像输入判别器模块，判别器模块从标签图像中辨别增强的结果，促使主网络生成质量更高的红外图像；预测步骤：训练步骤之后，得到主网络的权重文件，使用权重文件能够使得主网络不使用判别器模块就能够生成高质量的8bits红外图像；预测时只使用主网络，不再使用判别器模块，主网络输入为训练得到的权重文件、以及实用场景图像，实用场景图像为14bits红外图像数据，实用场景图像通过训练好的主网络生成8bits红外图像数据。
[0013]作为本专利技术的进一步改进，在所述数据准备步骤中，将14bits红外图像数据经过前处理模块、DDE和后处理模块生成8bits红外图像数据，生成的8bits红外图像数据作为标签图像。
[0014]作为本专利技术的进一步改进，在数据准备步骤中，预先统计得到DDE生成8bits红外图像数据对应的14bits红外图像数据的像素值分布；前处理模块将输入的14bits红外图像数据的像素值分布通过非线性映射近似映射为预先统计得到的像素值分布；前处理模块生成的14bits红外图像数据经过DDE处理后，得到高质量的8bits红外图像数据；后处理模块针对DDE增强后得到8bits红外图像数据，进行全局的中值滤波去噪和自适应gamma矫正。
[0015]作为本专利技术的进一步改进，在所述训练步骤中，输入主网络的14bits红外图像数
据的图像分辨率为512x512,其中每个像素值为14bits红外图像数据归一化到[0,1]的值，首先通过一个Conv3x3生成一个256x256x2C的特征图，作为高尺度的特征图，该高尺度的特征图分别通过一个Conv3x3生成一个128x128x4C的中尺度特征图且通过一个Deconv1x1生成一个256x256x2C特征图，128x128x4C的中尺度特征图通过一个Conv3x3生成一个64x64x8C的低尺度特征图且通过一个Deconv2x2生成一个256x256x2C特征图，64x64x8C的低尺度特征图通过一个Deconv4x4生成一个256x256x2C的特征图，经过不同尺度但相同分辨率的特征图进行逐元素相加取平均，最终生成一个256x256x2C的特征图，再通过一个Deco本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种红外图像量化和增强方法，其特征在于，包括如下步骤：数据准备步骤：将14bits红外图像数据生成8bits红外图像数据，生成的8bits红外图像数据作为标签图像；训练步骤：将14bits红外图像数据归一化为[0,1]范围内的浮点数，归一化的数据输入到基于多尺度特征融合的主网络中，主网络通过特征提取模块提取不同尺度的图像特征，最后对不同尺度的图像特征进行融合，增加图像的细节信息，生成8bits红外图像；将主网络生成的8bits红外图像和标签图像输入判别器模块，判别器模块从标签图像中辨别增强的结果，促使主网络生成质量更高的红外图像；预测步骤：训练步骤之后，得到主网络的权重文件，使用权重文件能够使得主网络不使用判别器模块就能够生成高质量的8bits红外图像；预测时只使用主网络，不再使用判别器模块，主网络输入为训练得到的权重文件、以及实用场景图像，实用场景图像为14bits红外图像数据，实用场景图像通过训练好的主网络生成8bits红外图像数据。2.根据权利要求1所述的红外图像量化和增强方法，其特征在于，在所述数据准备步骤中，将14bits红外图像数据经过前处理模块、DDE和后处理模块生成8bits红外图像数据，生成的8bits红外图像数据作为标签图像。3.根据权利要求2所述的红外图像量化和增强方法，其特征在于，在数据准备步骤中，预先统计得到DDE生成8bits红外图像数据对应的14bits红外图像数据的像素值分布；前处理模块将输入的14bits红外图像数据的像素值分布通过非线性映射近似映射为预先统计得到的像素值分布；前处理模块生成的14bits红外图像数据经过DDE处理后，得到高质量的8bits红外图像数据；后处理模块针对DDE增强后得到8bits红外图像数据，进行全局的中值滤波去噪和自适应gamma矫正。4.根据权利要求1所述的红外图像量化和增强方法，其特征在于，在所述训练步骤中，输入主网络的14bits红外图像数据的图像分辨率为512x512,其中每个像素值为14bits红外图像数据归一化到[0,1]的值，首先通过一个Conv3x3生成一个256x256x2C的特征图，作为高尺度的特征图，该高尺度的特征图分别通过一个Conv3x3生成一个128x128x4C的中尺度特征图且通过一个Deconv1x1生成一个256x256x2C特征图，128x128x4C的中尺度特征图通过一个Conv3x3生成一个64x64x8C的低尺度特征图且通过一个Deconv2x2生成一个256x256x2C特征图，64x64x8C的低尺度特征图通过一个Deconv4x4生成一个256x256x2C的特征图，经过不同尺度但相同分辨率的特征图进行逐元素相加取平均，最终生成一个256x256x2C的特征图，再通过一个Deconv2x2生成一个与原始分辨率相同的8bits红外图像；Conv3x3表示3x3卷积，Deconv1x1表示1x1反卷积，Deconv2x2表示2x2反卷积，Deconv4x4表示4x4反卷积。5.根据权利要求4所述的红外图像量化和增强方法，其特征在于，在所述训练步骤中，对主网络进行损失约束。6.根据权利要求5所述的红外图像量化和增强方法，其特征在于，对主网络进行损失约
束使用均方误差函数，均方误差函数如公式5
‑
1所示，其中为原始14bits红...

【专利技术属性】
技术研发人员：何震宇，吴昊，田超，杨超，
申请(专利权)人：哈尔滨工业大学深圳哈尔滨工业大学深圳科技创新研究院，
类型：发明
国别省市：