一种轻量级具有融合层的近红外图像彩色化深度学习模型制造技术

涉及一种由轻量化图像识别网络模块和具有融合层的图像彩色化CNN模块共同组成的的自动近红外图像彩色化模型，该方法首先对近红外图像使用轻量级Faster‑RCNN进行图像识别，然后从网络上搜集选取与之场景类似的图像集，使用具有融合层的彩色化CNN模块进行训练后，再输入近红外图像进行彩色化。从而输出彩色化后的近红外图像。本发法利用轻量化图像识别模型与带有融合层的图像彩色化模型相结合，不仅能对大部分近红外图像进行彩色化，同时改善了以往彩色化模型上色后图像中出现边界漫色，色彩灰暗，着色错误等问题。

【技术实现步骤摘要】
一种轻量级具有融合层的近红外图像彩色化深度学习模型
涉及一种对近红外图像自动彩色化的方法，该方法对低分辨率，高分辨率近红外图像，以及在白天或夜晚拍摄的进红外图像都具有较好的彩色化效果，属于图像处理
，可应用于安防领域中的近红外图像的自动彩色化。
技术介绍
由于近红外图像(NIR)能反应场景目标的热辐射信息，对场景亮度变化不敏感的良好探测性能，很多重要的夜视或低照度场景，如矿井、野外动物观测点、军事基地等，都使用近红外图像实现全面的监控。但是，由于近红外获得的是灰度图，同时具有边缘模糊及细节不丰富的缺点，故需要对其进行彩色化，以增加其色彩与纹理信息，达到提高目标探测效率、减少判断时间、增强对场景的判断力和减少视觉疲劳感的目的。图像彩色化方法大致可以分为基于参考图像的颜色迁移方法；基于线条着色的颜色传播方法以及基于卷积神经网络的深度学习方法三类目前较好的彩色化方法大都采用把近红外图像输入进已训练好的彩色化网络模型的方法，但仍存在一些问题。首先现有的使用深度学习的彩色化模型需要训练网络极深的网络模型，对设备的的硬件要求极高，很难实现量产。此外利用深度学习彩色化模型对图像彩色化的效果高度依赖训练集图像质量及丰富程度，现有的深度学习彩色化模型大多采用ImageNet等大数据集作为训练集，此训练集虽然图像数量众多，但是也使得网络训练时间大大增加，而且对于某型特殊场景图像(珍稀动植物，特色食物等)无与之场景类似图像对应，故对此种场景图像无法进行彩色化。
技术实现思路
本方法的目的是克服现有技术的上述不足，提供一种能够准确快速以及精确上色的全自动近红外图像彩色化的方法，所述方法包括下列步骤：步骤1：输入近红外图像；步骤2：使用轻量级Faster-RCNN对其进行图像识别；步骤3：在全网搜索与之场景相似的图像集；步骤4：利用步骤3得到的图像集输入带有融合层的彩色化CNN网络模块中进行训练；步骤5：把近红外图像输入进训练好的彩色化网络模块中进行测试，得到彩色化后红外图像。本方法具有如下的技术效果：1.方法简单，易于实施。本专利技术利用轻量级Faster-RCNN图像识别网络模块与具有融合层的结合图像彩色化网络模块相结合，网络层数较少，训练时间快，方法简单实用。2.彩色化图像赋色准确。本专利技术着色神经网络由编码器，融合层和解码器组成，对NIR图像通过下采样层与卷积层提取局部特征，同时通过分类器进行场景分类从而得到全局特征，再与局部特征融合，经过卷积层和上采样层进行着色以及恢复图像尺寸。由于加入了局部特征，故彩色化后的图像细节更加丰富，物体颜色更加一致。附图说明图1：本专利技术的近红外彩色化方法流程图图2：图像识别网络模型结构图图3：彩色化模型整体示意图图4：彩色化模型编码器网络图图5：利用轻量化图像识别模型识别结果图6：低分辨率图像与彩色化结果图7：高分辨率图像与彩色化结果具体实施方式本方法的流程如图1所示，该方法首先采用轻量化的Faseter-RCNN图像识别模块对近红外图像进行识别，然后在全网范围内寻找与之场景相似的图像500张，用此作为训练集，输入进彩色化网络模块进行训练，最后输入近红外图像作为测试集完成图像彩色化下面结合附图，对本方法技术方案的网络结构及流程和步骤加以说明。1.图像识别网络模块图像识别网络模型结构如图2所示。①首先向VGG-16输入NIR图像；②NIR经过CNN前向传播至最后共享的卷积层，得到供RPN网络输入的特征图，继续前向传播至最后一个卷积层，产生更高维特征图；③特征图经过RPN获得区域建议和区域得分，并对区域得分采用非极大值抑制(阈值为0.7)，输出Top-N得分(本文设定最高得分为300)的区域给RoI池化层；④第②步得到的高维特征图和第③步输出的区域同时输入进ROI池化层，提取对应区域建议的特征；⑤第④步得到的区域建议特征通过全连接层后，最后输出该区域的目标类别及其概率以及精标的目标边界框。2.图像彩色化网络模块彩色化网络模块示意图如图3所示。彩色化神经网络由编码器，融合层和解码器组成：先对NIR图像通过下采样层与卷积层提取局部特征，再通过分类器进行场景分类从而得到全局特征，再与局部特征融合。融合层具体公式如下其中是通过Encoder得到的特征，yclassifer是通过InceptionResnetV2得到的特征，代表在图像坐标(u，v)上的融合特征，w是256*512的权重矩阵，b是偏移量；最后经过卷积层和上采样层进行着色以及恢复图像尺寸。本文档来自技高网...

【技术保护点】
1.一种根据卷积神经网路构建近红外图像自动彩色化的方法，所述方法包括以下步骤：A.近红外图像用改进的Faster‑RCNN模型进行目标识别：识别模型的3个卷积层参数设置为32@3*3、64@2*2和64@2*2，步长均为1，池化层采用大小为2*2，步长为2的最大池化，三个全连接层的节点个数分别设置为256和128，最后以Softmax层作为网络的输出层；整个网络的学习率初始化为0.1，采用指数衰减法，衰减因子为0.1，权重衰减因子为0.98，Dropout参数训练时设置为0.5，测试时设置为1，采用Adam优化算法；具体流程如下：1.首先向CNN网络(VGG‑16)输入任意大小图片；2.经过CNN网络前向传播至最后共享的卷积层，一方面得到供RPN网络输入的特征图，另一方面继续前向传播至特有卷积层，产生更高维特征图；3.供RPN网络输入的特征图经过RPN网络得到区域建议和区域得分，并对区域得分采用非极大值抑制(阈值为0.7)，输出其Top‑N(本文设定300)得分的区域给RoI池化层；4.第2步得到的高维特征图和第3步输出的区域同时输入进RoI池化层，提取对应区域建议的特征；5.第4步得到的区域建议特征通过全连接层后，输出该区域的分类得分以及回归后的边界框(bounding‑box)；B.近红外图像彩色化方法近红外图像着色神经网络由三个部分组成；分别是编码器，融合层和解码器，并且引入分类器学习效果迁移到着色网络上，可更好理解图片中的内容；我们将上章通过目标识别得到的与待上色场景类似的图像集作为进行此网络的训练集；①编码器编码器输入为H×W灰度图像，输出为H/32×W/32×512的特征矩阵；编码器由一个归一化层，14个卷积层组成，其中卷积层参数设置为64@3×3、128@3×3，256@3×3和512@3×3层；②融合层本层的目的在于把分类器融入在网络中，通过将不同网络的特征融合到一起，学习到不同的特征，提升上色图像质量；Inception Resnet V2是目前最强大的分类器之一；故本文提取了它的分类层，并将其与编码器的输出进行合并作为融合层，融合层采用Inception Resnet V2中的特征向量，复制HW/82次，并将其沿深度轴附加到编码器的特征量上，具体如图4所示，最后我们使用256个尺寸为1×1的卷积核，生成尺寸为H/8×W/8×256的特征矩阵；融合层的数学表达式为：...

【技术特征摘要】
1.一种根据卷积神经网路构建近红外图像自动彩色化的方法，所述方法包括以下步骤：A.近红外图像用改进的Faster-RCNN模型进行目标识别：识别模型的3个卷积层参数设置为32@3*3、64@2*2和64@2*2，步长均为1，池化层采用大小为2*2，步长为2的最大池化，三个全连接层的节点个数分别设置为256和128，最后以Softmax层作为网络的输出层；整个网络的学习率初始化为0.1，采用指数衰减法，衰减因子为0.1，权重衰减因子为0.98，Dropout参数训练时设置为0.5，测试时设置为1，采用Adam优化算法；具体流程如下：1.首先向CNN网络(VGG-16)输入任意大小图片；2.经过CNN网络前向传播至最后共享的卷积层，一方面得到供RPN网络输入的特征图，另一方面继续前向传播至特有卷积层，产生更高维特征图；3.供RPN网络输入的特征图经过RPN网络得到区域建议和区域得分，并对区域得分采用非极大值抑制(阈值为0.7)，输出其Top-N(本文设定300)得分的区域给RoI池化层；4.第2步得到的高维特征图和第3步输出的区域同时输入进RoI池化层，提取对应区域建议的特征；5.第4步得到的区域建议特征通过全连接层后，输出该区域的分类得分以及回归后的边界框(bounding-box)；B.近红外图像彩色化方法近红外图像着色神经网络由三个部分组成；分别是编码器，融合层和解码器，并且引入分类器学习效果迁移到着色网络上，可更好理解图片中的内容；我们将上章通过目标识别得到的与待上色场景类似的图像集作为进行此网络的训练集；①编码器编码器输入为H×W灰度图像，输出为H/32×W/32×512的特征矩阵；编码器由一个归一化层，14个卷积层组成，其中卷积层参数设置为64@3×3、128@3×3，256@3×3和512@3×3层；②融合...

【专利技术属性】
技术研发人员：汤春明，郑鑫毅，朱雯彦，
申请(专利权)人：天津工业大学，
类型：发明
国别省市：天津,12