一种低照度下红外-可见光图像的特征互补图像处理方法技术

本发明专利技术涉及低照度图像特征提取处理技术领域，具体地说，涉及一种低照度下红外

【技术实现步骤摘要】
一种低照度下红外
‑
可见光图像的特征互补图像处理方法


[0001]本专利技术涉及低照度图像特征提取处理
，具体地说，涉及一种低照度下红外
‑
可见光图像的特征互补图像处理方法。

技术介绍

[0002]以目标检测算法为核心的下游任务逐渐落地，如自动驾驶环境感知、视频监控、人脸识别等。但目前的目标检测算法大多基于单模态可见光图像为单一训练数据，在面临复杂环境，如光照条件不良，雨雾天时，此类算法精度不高，鲁棒性差。因此，近年来，越来越多学者聚焦于联合可见光图像和红外图像进行相关研究，通过结合可见光图像具有清晰的目标纹理特征优势和红外图像不受光照条件影响，具有清晰的目标轮廓优势，以可见光图像和红外图像为多模态数据训练相关检测网络，从而提高检测算法的鲁棒性。红外与可见光图像融合旨在综合两类传感器的优势，互补生成的融合图像具有更好的目标感知和场景表达，有利于人眼观察和后续计算处理。红外传感器对热源辐射敏感可以获取突出的目标区域信息，但所获得的红外图像通常缺乏结构特征和纹理细节。相反，可见光传感器通过光反射成像，可以获取丰富的场景信息和纹理细节，可见光图像具有较高的空间分辨率和丰富的纹理细节，但不能有效突出目标特性，且易受到外界环境影响，特别在低照度的环境条件下，信息丢失严重。由于红外和可见光成像机制的不同，这两类图像具有较强的互补信息，只有运用融合技术才能有效提高红外与可见光成像传感器的协同探测能力，在遥感探测、医疗诊断、智能驾驶、安全监控等领域有广泛应用。
[0003]目前，红外和可见光图像融合技术大致可以分为传统融合方法和深度学习融合方法。传统图像融合方法通常以相同的特征变换或特征表示提取图像特征，采用合适的融合规则进行合并，再通过反变换重构获得最终融合图像。由于红外与可见光传感器成像机制不同，红外图像以像素亮度表征目标特征，而可见光图像以边缘和梯度表征场景纹理。传统融合方法不考虑源图像的内在不同特性，采用相同的变换或表示模型无差别地提取图像特征，不可避免地造成融合性能低、视觉效果差的结果。此外，融合规则是人为设定，且越来越复杂，计算成本高，限制了图像融合的实际应用。
[0004]在低照度和低能见度条件下，红外图像能提供更加可靠检测目标信息而可见光图像能提供详细的场景细节，将红外和可见光图像这两种互补的特征信息融合到一张图像中，通常同一场景红外
‑
可见光图像间前景目标的融合特征存在难以完全提取和正确提取的问题。鉴于此，我们提出了一种低照度下红外
‑
可见光图像的特征互补图像处理方法。

技术实现思路

[0005]本专利技术的目的在于提供一种低照度下红外
‑
可见光图像的特征互补图像处理方法，以解决上述
技术介绍
中提出的问题。
[0006]为实现上述技术问题的解决，本专利技术的目的之一在于，提供了一种低照度下红外
‑
可见光图像的特征互补图像处理方法，包括如下步骤：
[0007]S1、提取红外
‑
可见光图像中的极大稳定区域(MSERs)；
[0008]作为本技术方案的进一步改进，本步骤还包括：
[0009]在红外图像和可见光图像中检测极大稳定区域MSERs，并椭圆拟合检测到的MSERs区域；
[0010]椭圆的中心P
c
为MSERs的重心，反映MSERs的位置，椭圆的长轴方向θ代表MSERs区域的方向，结合长半轴w和短半轴l一起表示MSERs区域的形状。
[0011]作为本技术方案的进一步改进，本步骤中，在红外图像和可见光图像中检测极大稳定区域MSERs，包括以下步骤：
[0012]像素点排序：采用BinSort方法将图像像素按照强度大小进行排序；
[0013]极值区域的提取：采用四邻域或八领域法生成ComponentTree；
[0014]稳定判定获取MSER区域：对于每一个连通域Q
i
通过分析区域树可以得到最大稳定判定条件；最大稳定判定条件为：
[0015][0016]当其在i处取得局部极小值时对应的区域即Q
i
为最大稳定极值区域；其中，|
·
|表示该区域面积，Δ为灰度阈值的微小变化量，取Δ＝5的标准设置。
[0017]S2、对特征区域进行属性计算并分类极大稳定区域(MSERs)；
[0018]作为本技术方案的进一步改进，本步骤还包括：
[0019]定义MSERs区域稠密度函数和前景目标所在的MSERs区域相似度函数；
[0020]计算MSERs属性依据以上两个度量指标将ERsMS分类。
[0021]作为本技术方案的进一步改进，本步骤中，将MSERs分类还包括：
[0022]按像素亮度划分MSERs为MSERs+和MSERs
‑
；
[0023]定义前景目标所在的MSERs区域稠密度函数，满足稠密度条件的MSERs作为候选目标区域；
[0024]基于前景目标自身固有的特性可定义前景目标所在的MSERs区域相似度函数；
[0025]依据稠密度和相似度两个度量指标将MSERs+或者MSERs
‑
再分类；
[0026]其中，稠密度Dense：以MSERs区域R
i
内包含质心P的个数来表征；定义如下：
[0027][0028]相似度Similarity：以MSERs区域R
a
、R
b
拟合的椭圆形状相似度来表征，应用韦氏距离计算相似度；
[0029]k
i
表示两区域R
a
、R
b
间参数的比率，其参数设定为椭圆两个半轴长w、l和扁率f，定义如下：
[0030]k
i
＝max{|a
i
‑
b
i
|/(C+b
i
),|a
i
‑
b
i
|/(C+a
i
)},i＝1,2,3；
[0031]为避免分母为0，设置C为1；
[0032]d
i
＝i gmoid(k
i
)＝(1
‑
exp(
‑
k
i
))/(1+exp(
‑
k
i
)),i＝1,2,3；
[0033]则d
i
∈[0,1)；
[0034]Similarity＝1
‑
∏d
i
,i＝1,2,3；
[0035]Similarity值越接近1，两区域越相似；
[0036]设定D0为稠密度Dense阈值，相似度Similarity阈值为S0，建立分类MSERs的稠密区域集合ΩC，ΩC＝{Ω1,Ω2,...；Ω
i
...；Ω<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种低照度下红外
‑
可见光图像的特征互补图像处理方法，其特征在于，包括如下步骤：S1、提取红外
‑
可见光图像中的极大稳定区域；S2、对特征区域进行属性计算并分类极大稳定区域；S3、匹配相似的极大稳定区域；S4、定位前景目标区域，输出检测目标。2.根据权利要求1所述的低照度下红外
‑
可见光图像的特征互补图像处理方法，其特征在于，所述步骤S1还包括：在红外图像和可见光图像中检测极大稳定区域MSERs，并椭圆拟合检测到的MSERs区域；椭圆的中心P
c
为MSERs的重心，反映MSERs的位置，椭圆的长轴方向θ代表MSERs区域的方向，结合长半轴w和短半轴l一起表示MSERs区域的形状。3.根据权利要求2所述的低照度下红外
‑
可见光图像的特征互补图像处理方法，其特征在于，所述步骤S1中，在红外图像和可见光图像中检测极大稳定区域MSERs，包括以下步骤：像素点排序：采用BinSort方法将图像像素按照强度大小进行排序；极值区域的提取：采用四邻域或八领域法生成ComponentTree；稳定判定获取MSER区域：对于每一个连通域Q
i
通过分析区域树可以得到最大稳定判定条件；最大稳定判定条件为：当其在i处取得局部极小值时对应的区域即Q
i
为最大稳定极值区域；其中，|
·
|表示该区域面积，Δ为灰度阈值的微小变化量，取Δ＝5的标准设置。4.根据权利要求1所述的低照度下红外
‑
可见光图像的特征互补图像处理方法，其特征在于，所述步骤S2还包括：定义MSERs区域稠密度函数和前景目标所在的MSERs区域相似度函数；计算MSERs属性依据以上两个度量指标将ERsMS分类。5.根据权利要求4所述的低照度下红外
‑
可见光图像的特征互补图像处理方法，其特征在于，所述步骤S2中，将MSERs分类还包括：按像素亮度划分MSERs为MSERs+和MSERs
‑
；定义前景目标所在的MSERs区域稠密度函数，满足稠密度条件的MSERs作为候选目标区域；基于前景目标自身固有的特性可定义前景目标所在的MSERs区域相似度函数；依据稠密度和相似度两个度量指标将MSERs+或者MSERs
‑
再分类；其中，稠密度Dense：以MSERs区域R
i
内包含质心P的个数来表征；定义如下：相似度Similarity：以MSERs区域R
a
、R
b
拟合的椭圆形状相似度来表征，应用韦氏距离计算相似度；
k
i
表示两区域R
a
、R
b
间参数的比率，其参数设定为椭圆两个半轴长w、l和扁率f，定义如下：k
i
＝max{|a
i
‑
b
i
|/(C+b
i
),|a
i
‑
b
i
|/(C+a
i
)},i＝1,2,3；为避免分母为0，设置C为1；d
i
＝igmoid(k
i
)＝(1
‑
exp(
‑
k
i
))/(1+exp(
‑
k
i
)),i＝1...

【专利技术属性】
技术研发人员：常荣，肖鹏，毛正雄，王勇，杨莉，杨扬，
申请(专利权)人：云南电网有限责任公司玉溪供电局，
类型：发明
国别省市：