融合可见光和热成像图像的低照度图像增强方法技术

本发明专利技术公开了一种融合可见光和热成像图像的低照度图像增强方法，属于计算机视觉领域。本发明专利技术采用限制对比度的自适应直方图均衡化算法增强可见光图像的对比度，采用伽马变换扩展低灰度区域的对比度，以深度神经网络模型融合热成像图像、可见光图像和上述两种经对比度增强的图像，从而实现了对低照度图像的增强。由实验结果可知，本发明专利技术提供的方法通过引入经伽马变换和自适应直方图均衡化的增强图像能有效提升低照度区域的对比度，通过融合热成像图像使得车灯等高光区域能呈现部分细节。成像图像使得车灯等高光区域能呈现部分细节。成像图像使得车灯等高光区域能呈现部分细节。

【技术实现步骤摘要】
融合可见光和热成像图像的低照度图像增强方法


[0001]本专利技术涉及计算机视觉领域，特别涉及一种融合可见光成像和热成像图像的低照度图像增强方法。

技术介绍

[0002]视频监控系统可能面对夜晚、阴雨天、逆光等恶劣成像条件，单一地采用可见光成像往往无法从场景中提取足够的信息，从而降低后续的目标检测、识别和跟踪等系统的性能。红外热成像将物体发出的红外能量转化成可见的热图像，融合可见光图像和热成像图像为低光照场景目标检测和跟踪提供了解决方案，同时，也对图像融合技术提出了现实的需求。
[0003]中国专利201811207545.4公开了一种基于小波融合的快速移动物体热成像图像与光学图像融合方法；中国专利202110125517.3公开了一种融合可见光图像梯度信息的热成像超分辨率重建方法；中国专利202010135485.0公开了一种基于彩色相机与红外热成像仪特征融合的目标检测方法。
[0004]考虑到低光照成像的图像对比度较小，目标检测和跟踪等应用的感兴趣区域往往湮没在背景区域中，因此如何对低照度图像进行增强，是目前亟待解决的技术问本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合可见光和热成像图像的低照度图像增强方法，其特征在于，包括如下步骤：S1、获取由样本对组成的训练数据集，所述样本对中包含一张可见光成像图像I
v
以及一张与图像I
v
大小相同且配准的热成像图像I
r
；针对每一组样本对，首先采用伽马值γ＜1的伽马变换扩展图像I
v
的对比度，形成增强图像I
g
，然后以限制对比度自适应直方图均衡化算法对可见光成像图像I
v
进行对比度增强处理，形成增强图像I
e
，最后将(I
v
,I
r
,I
g
,I
e
)构建为一组输入数据；S2、构建用于融合可见光和热成像图像的深度卷积神经网络，其包括级联的特征提取模块、融合模块和重建模块；将深度卷积神经网络的输入数据I
v
、I
r
、I
g
和I
e
分别作为输入图像输入到特征提取模块，各自产生的特征图一并输入到融合模块中并采用对应元素相加的形式产生融合后的特征图，融合后的特征图再输入到重建模块，由重建模块输出结果图像S3、利用所述训练数据集对所述用于融合可见光和热成像图像的深度卷积神经网络进行训练，以最小化总损失函数为目标，通过学习的方式优化各个网络层中的权值参数；其中对于训练数据集中每一组输入数据(I
v
,I
r
,I
g
,I
e
)，获得对应输出的结果图像随机选取I
g
或I
e
作为参考图像I'，则总损失函数计算公式为：L＝λL
ssim
+L
p
其中：L
ssim
为结构相似性损失函数，L
p
为像素均方误差损失函数，λ为调节L
ssim
重要程度的系数；L
ssim
和L
p
的计算公式分别为：的计算公式分别为：其中：I'为参考图像，SSIM()代表结构相似性指数函数，||
·
||2代表2
‑
范数；S4、将待处理的可见光成像图像以及对应的热成像图像，按照与所述训练数据集中的样本对相同的方式构建为一组输入数据，将其输入经过训练后的用于融合可见光和热成像图像的深度卷积神经网络中，输出经过低照度图像增强后的结果图像。2.根据权利要求1所述的融合可见光...

【专利技术属性】
技术研发人员：陈卫刚，
申请(专利权)人：浙江工商大学，
类型：发明
国别省市：