一种基于区域能量和方差的稀疏融合算法制造技术

本发明专利技术公开了一种基于区域能量和方差的稀疏融合算法，属于图像处理领域的图像融合部分。本发明专利技术重点针对红外和可见光图像，使用基于区域能量和方差的融合规则，对不同源图像的稀疏系数进行融合处理，并通过稀疏重构，得到最终的融合图像。通过对多幅已配准的红外和可见光图像测试表明，该方法较与传统方法与一般的稀疏融合算法，在熵、互信息、边缘保持度、平均梯度等评价指标方面有明显的优势。该方法利用区域能量和方差对图像块进行分类，得以选取更适合的规则进行融合处理，改善了单一融合规则没有充分考虑图像信息的缺陷，所以本发明专利技术提出的方法具有较好的融合效果。

A sparse fusion algorithm based on regional energy and variance

The present invention discloses a sparse fusion algorithm based on regional energy and variance, which belongs to the image fusion part of the image processing field. The invention focuses on infrared and visible images, and uses the fusion rule based on region energy and variance to fuse the sparse coefficients of non homologous images, and obtains the final fused image by sparse reconstruction. Through the test of a number of registered infrared and visible images, it shows that this method has obvious advantages over entropy and mutual information, edge preserving degree and average gradient. The method uses region energy and variance to classify image blocks, and selects more suitable rules for fusion processing. It improves the single fusion rule and does not take full account of the defects of image information. Therefore, the method proposed by this invention has good fusion effect.

【技术实现步骤摘要】
一种基于区域能量和方差的稀疏融合算法
本专利技术涉及图像处理领域，用于实现红外和可见光图像的像素级融合，尤其涉及一种基于区域能量和方差的稀疏融合算法。
技术介绍
图像融合技术主要通过对不同源图像的综合处理来现对场景信息更丰富的表达。针对红外图像和可见光图像，融合技术不仅可以弥补可见光成像时的不足，在黑夜、烟雾等极端条件下实现全天候监控，而且可以在人口密集场景下利用可见光成像进行目标外部特性分析，利用红外成像对目标进行内部分析，从而实现人性化的监控。因此在军事和智能监控等领域，红外与可见光图像融合技术有很高的研究价值。图像融合算法性能的好坏主要体现在融合图像对源图像结构、细节信息的保留程度以及融合图像包含信息的丰富程度。通常可以通过互信息、交叉熵、结构相似度等指标来表征融合算法性能的优劣，另一方面，运行时间也是表征算法性能优劣的重要指标。目前，常用的图像融合算法有基于主成分分析的图像融合、基于离散小波变换的图像融合、基于非下采样多尺度变换的图像融合以及基于稀疏表示的图像融合等一系列算法。在融合过程中，稀疏表示理论的引入不仅可以保证得到的数据包含了红外和可见光图像的完整信息，而且可以降低本文档来自技高网...

【技术保护点】
一种基于区域能量和方差的稀疏融合算法，其特征在于，包括如下步骤：步骤1：读入红外图像r(x,y)和可见光图像v(x,y)，根据滑块大小s和滑动步长l对其进行边界扩充得到红外图像Ar1(x,y)和可见光图像Av1(x,y)，根据红外图像A的大小构造一个行列相同的融合图像矩阵Y，并初始化各元素为零；步骤2：对红外图像和可见光图像构造的训练集A进行字典训练得到过完备字典D；步骤3：根据s和l对红外图像Ar1(x,y)和可见光图像Av1(x,y)分别依次进行滑窗处理，每次得到的图像块s1,s2按行展开成列向量c1,c2；步骤4：在过完备字典D下对列向量c1，c2进行稀疏分解并得到各自的稀疏系数；步骤5...

【技术特征摘要】
1.一种基于区域能量和方差的稀疏融合算法，其特征在于，包括如下步骤：步骤1：读入红外图像r(x,y)和可见光图像v(x,y)，根据滑块大小s和滑动步长l对其进行边界扩充得到红外图像Ar1(x,y)和可见光图像Av1(x,y)，根据红外图像A的大小构造一个行列相同的融合图像矩阵Y，并初始化各元素为零；步骤2：对红外图像和可见光图像构造的训练集A进行字典训练得到过完备字典D；步骤3：根据s和l对红外图像Ar1(x,y)和可见光图像Av1(x,y)分别依次进行滑窗处理，每次得到的图像块s1,s2按行展开成列向量c1,c2；步骤4：在过完备字典D下对列向量c1，c2进行稀疏分解并得到各自的稀疏系数；步骤5：根据稀疏系数对应的图像块的区域能量和方差自适应选取融合规则进行图像融合，得到的融合系数在过完备字典D下进行稀疏重构得到列向量c3，再将其转换为图像块，叠加到融合图像矩阵Y对应的位置中；步骤6：迭代步骤3、步骤4和步骤5，直到红外图像和可见光图像的滑窗移动到最后一行和最后一列；再将得到的融合图像矩阵Y依据各自对应位置的叠加次数进行平均处理，经过裁剪得到最终的融合图像F。2.根据权利要求1所述的一种基于区域能量和方差的稀疏融合算法，其特征在于，所述步骤1的具体步骤如下：步骤11：读取红外图像r(x,y)和可见光图像v(x,y)，并将此作为原图像，假设图像大小为m×n；步骤12：根据滑块大小s和滑动步长l，将原图像分别扩展成大小为(ceil((m-s)/l)*l+s)*(ceil((n-s)/l)*l+s)的红外图像r1(x,y)和可见光图像v1(x,y)，其中ceil(x)函数实现的是不小于x的最小整数，只扩展图像的右边界和下边界，确定右边界和下边界分别需要扩充的个数t1，t2，其中t1＝(ceil((n-s)/l)*l+s)-n，t2＝(ceil((m-s)/l)*l+s)-m；此步骤具体实现步骤如下：步骤121：扩展图像的右边界，以图像r(x,y)和v(x,y)右边界为中轴，对称复制原图最外围中的t1列像素，得到红外图像r0(x,y)和可见光图像v0(x,y)；步骤122：扩展图像的下边界，以r0(x,y)和v0(x,y)为原图，以下边界为中轴，对称复制原图像最外围中的t2行像素，得到最终的扩展图像r1(x,y)和v1(x,y)；步骤13：构造一个融合图像矩阵Y，其矩阵大小为(ceil((m-s)/l)*l+s)*(ceil((n-s)/l)*l+s)。3.根据权利要求1所述的一种基于区域能量和方差的稀疏融合算法，其特征在于，所述步骤2的具体步骤如下：步骤21：将图像经滑窗处理后得到的图像块展开成列向量，为了尽可能多获得训练集，滑动步长取1，则图像r1(x,y)和r2(x,y)经处理得到训练集y1，y2，组合成训练集y；此步骤具体实现步骤如下：步骤211：将红外图像和可见光图像分别从上到下，从左到右，按移动步长1依次提取图像块，并将其展开成列向量，依次添加到空白矩阵y1,y2中；步骤212：将红外图像和可见光图像各自的训练集y1，y2，组合成训练集y，其中，y＝[y1,y2]；步骤22：将超完备DCT作为初始字典；首先固定字典D，利用正交匹配追踪算法求解y在D下的系数矩阵正交匹配追踪算法具体实现步骤如下：以下流程中：rt表示残差，t表示迭代次数，表示空集，Λt表示t次迭代的索引(列序号)集合，λt表示第t次迭代找到的列序号，dj表示字典D的第j列，At表示按索引选出的矩阵D的列集合，xt为t×1的列向量，符号∪表示集合并运算，<·,·>表示求向量内积。步骤221：输入为训练集y,过完备字典D，稀疏度为K，初始化r0＝y，t＝1；步骤222：找出残差r与字典D的列内积取得最大值所对应的脚标λt，即步骤223：令Λt＝Λt-1∪{λt}，步骤224：由最小二乘法得到步骤225：更新残差t＝t+1；步骤226：判断是否满足t>K,若满足，则停止迭代；若不满足，则继续执行步骤1；步骤227：重构所得在Λt处有非零项，其值分别为最后一次迭代所得步骤23：固定系数矩阵更新字典的第k列dk，使得目标函数最小，其中dk相对应系数矩阵中向量则目标函数改为：式中，被分解为N个向量与其系数相乘的和，更新第k列dk，则固定其余的N-1项不变，将第k列置零后与系数重构回初始信号，Ek为训练集y与重构会的信号之差，利用矩阵SVD分解法来更新dk，从而得到新的字典D；步骤24：最后重复迭代，直到目标函数达到设定的全局误差，则迭代终止，获得的更新字典D即为学习字典。4.根据权利要求1所述的一种基于区域能量和方差的稀疏融合算法，其特征在于，所述步骤4的具体步骤如下：步骤41：初始化残差其中X1,X2分别为对应位置滑块展开的列向量c1,c2,l表示迭代次数，表示经由l次迭代后所得的各项残差，字典D大小为M*N,初始化稀疏系数为零矩阵，大小为N*1；步骤42：计算字典内每个原子dk,k＝1,2,…,N，与2种残差项的内积绝对值之和，如下式所示：从中选出取得最大值时对应的原子，并将其做正交化处理,选出原子在字典矩阵中的列数j即为稀疏系数矩阵对应稀疏系数的行数，大小为残差与选中原子的内积；步骤43：更新稀疏系数矩阵中的第j行和残差，进行下一次迭代；步骤44：最后直到各残差的二范数小于设定值ε，则迭代结束，得到红外和可见光图像块列向量各自对应的稀疏系数向量。5.根据权利要求1所述的一种基于区域能量和方差的稀疏融合算法，其特征在于，所述步骤5的具体步骤如下：步骤51：求得红外图像和可见光图像稀疏系数对应图像块的区域能量Er，Ev，其中区域能量的定义公式为其中，m×n表示图像块区域的大小，x(i,j)表示图像块区域(i,j)位置处的像素值，E表示区域能量；步骤52：求得红外图像和可见光图像稀疏系数对应图像块的区域方差Sr，Sv，其中区域方差的定义如下：其中，X表示大小为m×n的区域，X(i,j)表示区域位置(i，j)处的灰度值，表示X区域的灰度平均值；步骤53：如果...

【专利技术属性】
技术研发人员：陶冰洁，黄景雨，许晓伟，王酉祥，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51