本发明专利技术公开了一种压缩感知框架下的多策略图像融合方法，主要解决现有图像融合方法计算量大，时间复杂度高、存储空间大的问题，其实现过程是：输入原图像A和B，并将其分为大小为C×C的局部图像X1和X2；分别对X1和X2进行傅里叶变换，得到系数矩阵y1和y2；采用傅里叶系数低频全采的变密度观测模型，分别对y1和y2进行观测，得到观测向量f1和f2；根据f1和f2计算谐波系数H1和H2，以及频谱匹配度S；选取阈值T，计算加权系数；通过对加权系数、阈值和频谱匹配度的比较，计算融合后的观测向量f；对观测向量f进行Split?Bregman重构算法迭代20次，最后得到所需融合图像。本发明专利技术与现有的融合方法相比具有计算复杂度低，融合效果好的优点，可用于视频跟踪、目标识别和计算机视觉。
【技术实现步骤摘要】
本专利技术属于图像处理
，特别涉及图像的融合，可用于视频跟踪、目标识别 和计算机视觉。
技术介绍
图像融合是一种信息处理技术，即对多幅图像进行处理，以获得改善后的新图像。 图像融合技术是研究如何加工、协同地利用多幅图像，并使不同图像信息相互补充，以获得 对同一事物或目标地更客观、更本质认识的图像信息综合处理技术。由于可见光成像系统 的聚焦范围有限和传感器的差异，因此在同一个场景中，聚焦良好的物体可呈现清晰的像， 该物体前后一定距离外的所有目标都将呈现不同程度的模糊，而要得到一幅所有目标都清 晰的像；由于传感器的差异造成的图像分辨率的差异，要想得到理想的视觉效果这都需要 对图像进行融合。如何把从各种不同的传感器得到的图像融合起来，以便更充分地利用这 些图像成为图像处理领域重要的研究课题之一。传统的融合方法主要有像素级融合、特征级融合和决策级融合。像素级图像融合 是在严格配准的条件下，对多源图像直接进行图像融合处理，缺点是需要的数据量大，处理 速度慢，实时性差。特征级图像融合是通过检测图像中的边缘、纹理和方向等特征信息提取 细节特征再进行融合操作，融合效果比像素级融合有明显提高，缺点是实时性差。决策级融 合是从图像中挖掘语义信息，再进行融合操作，优点是具有良好的实时性和容错性，缺点是 预处理代价高，信息损失最多。上述融合方法都是通过对图像的所有系数进行处理来进行图像融合，虽然具有到 一定的融合效果，但还存在以下的不足(1)融合图像的数据量大，这导致图像存贮占用空间较大，不利于图像的压缩和传 输；(2)图像融合中数据的计算复杂度高，这使得图像融合过程时间较长。
技术实现思路
本专利技术的目的在于克服上述已有技术的不足，提出一种基于压缩感知的多策略图 像融合方法，以减少图像传输数据量，降低图像融合的计算复杂度。实现本专利技术目的的技术方案是充分利用了图像的压缩感知理论，结合局部傅立 叶域谐波的融合策略，通过少量的观测向量来进行图像融合，具体步骤如下(1)分别输入原图像A和原图像B，并将原图像A和原图像B分为大小为CXC的 局部图像Xl禾口 X2，CXC取8X8或16X16 ；(2)对局部图像Xl进行傅里叶变换得到傅里叶系数矩阵yl，对局部图像X2进行 傅里叶变换得到傅里叶系数矩阵y2 ；(3)采用定密度和变密度相结合的观测模型，对傅里叶系数矩阵yl进行观测得到 观测向量Π，对傅里叶系数矩阵y2进行观测得到观测向量f2 ； (4)根据观测向量fl和观测向量f2计算两幅图像的谐波系数扎、H2以及频谱匹 配度S :权利要求1. 一种基于压缩感知框架的多策略图像融合方法，包括如下步骤(1)分别输入原图像A和原图像B，并将原图像A和原图像B分为大小为CXC的局部 图像 Xl 禾口 X2，CXC 取 8X8 或 16X16 ；(2)对局部图像Xl进行傅里叶变换得到傅里叶系数矩阵yl，对局部图像X2进行傅里 叶变换得到傅里叶系数矩阵12 ；(3)采用傅里叶系数低频全采的变密度观测模型，对傅里叶系数矩阵yl进行观测得到 观测向量Π，对傅里叶系数矩阵y2进行观测得到观测向量f2 ；(4)根据观测向量fl和观测向量f2计算两幅图像的谐波系数!^ 以及频谱匹配度S JZZIAJ2H = V ‘=1 J=1_1 ΥΣ\Χ\{ηι,η)\w=l η=\JttlAJ2H = V ‘=1 J=1_‘ΥΣ\Χ2{πι,η)\m=\ n=\2ΣΣΙ·Α，,Μ/2,，,Ι^ _ =1 J=1_ ±Λ.’,Ι2+ ±Α’,Ι21=1 ；=1 i=\ ；=1其中=H1为图像A的谐波系数，Xl (m，η)为局部图像Xl在横坐标为m、纵坐标为η处的 像素值，me ，ne ，C为图像分块大小，Hi,」为观测向量fl在横坐标位置为 i、纵坐标位置为j处的值，i e ，je ，H2为图像B的谐波系数，X2(m，n)为局 部图像X2在横坐标为m、纵坐标为η处的像素值，f2i,j为观测向量f2在横坐标位置为i、 纵坐标位置为j处的值；(5)选取一个阈值Te ，计算最大加权系数Wmax和最小加权系数Wmin Wmax = 0. 5-0. 5 X (I-S)/(I-T)W =I-Wminmax其中S为步骤中得到的频谱匹配度；(6)根据步骤⑷中所得到的谐波系数H”H2和频谱匹配度S，以及步骤(5)中所得到 的最大加权系数Wmax和最小加权系数Wmin，计算融合后的观测向量f 若S彡T且Hl彡H2，则融合后的观测向量f = WmaxXfl+WminXf2 ； 若S彡T且Hl < H2，则融合后的观测向量f = WminXfl+WmaxXf2 ； 若S < T且Hl彡H2，则融合后的观测向量f = Π ； 若S < T且Hl < Η2，则融合后的观测向量f = f2 ；其中T为阈值，T e ，fl为步骤(3)中得到的图像A的观测向量，f2为步骤(3) 中得到的图像B的观测向量；(7)根据步骤(6)中所得到的融合后的观测向量f，进行基于Wavelet-Curvelet框架 的Split Bregman重构算法迭代20次，最后得到所需要的融合图像。2.根据权利要求1所述的，其中步骤(3)所述 的按照傅里叶系数低频全采的变密度采样的模型，对傅里叶系数矩阵yl进行观测得到观 测向量fl，按如下步骤进行(2a)设定采样模型是取值仅为0或1的矩阵，将值为1的点作为采样点，根据输入图像 A的大小设定矩阵B 若输入图像A的大小为mXm，则设矩阵B的大小为mXm且取值全为 0，将坐标值为(0. 5Xm，0. 5Xm)的点a作为圆心，以0. 3X0. 3Xm为半径的圆，将圆内所有 点都作为采样点，将矩阵B中这些位置上的点值设为1 ；(2b)按照^^的采样密度对步骤Oa)圆外的采样点随机选取，取到的点值设为1，未 K取到的点值设为0，其中r为圆外任取一点b到圆心a的距离长度，R是以圆心a为起点通 过点b，以图像边缘为终点的线段长度；(2c)重复步骤Qa)和步骤Ob) ζ次，取ζ次的平均值作为最终的观测模型M，其中ζ 取值为500到1000 ；(2d)用步骤Qc)中得到的观测模型M分别点乘步骤⑵中得到的傅里叶系数矩阵yl 得到观测向量fl。3.根据权利要求1所述的，其中步骤(3)所述 的按照傅里叶系数低频全采的变密度采样的模型，对傅里叶系数矩阵12进行观测得到观 测向量f2，按如下步骤进行(3a)设定采样模型是取值仅为0或1的矩阵，将值为1的点作为采样点，根据输入图像 A的大小设定矩阵B 若输入图像A的大小为mXm，则设矩阵B的大小为mXm且取值全为 0，将坐标值为(0. 5Xm，0. 5Xm)的点a作为圆心，以0. 3X0. 3Xm为半径的圆，将圆内所有 点都作为采样点，将矩阵B中这些位置上的点值设为1 ；(3b)按照^^的采样密度对步骤(3a)圆外的采样点随机选取，取到的点值设为1，未 K取到的点值设为0，其中r为圆外任取一点b到圆心a的距离长度，R是以圆心a为起点通 过点b，以图像边缘为终点的线段长度；(3c)重复步骤(3a)和步骤(3b) ζ次，取ζ次的平均值作为最终的观测模型M，其中ζ 取值为500到1000 ；(3d)用步骤(3c)中得到的观测模型M本文档来自技高网...
【技术保护点】
一种基于压缩感知框架的多策略图像融合方法，包括如下步骤：（１）分别输入原图像Ａ和原图像Ｂ，并将原图像Ａ和原图像Ｂ分为大小为Ｃ×Ｃ的局部图像Ｘ１和Ｘ２，Ｃ×Ｃ取８×８或１６×１６；（２）对局部图像Ｘ１进行傅里叶变换得到傅里叶系数矩阵ｙ１，对局部图像Ｘ２进行傅里叶变换得到傅里叶系数矩阵ｙ２；（３）采用傅里叶系数低频全采的变密度观测模型，对傅里叶系数矩阵ｙ１进行观测得到观测向量ｆ１，对傅里叶系数矩阵ｙ２进行观测得到观测向量ｆ２；（４）根据观测向量ｆ１和观测向量ｆ２计算两幅图像的谐波系数Ｈ１、Ｈ２以及频谱匹配度Ｓ：＊＊＊其中：Ｈ↓［１］为图像Ａ的谐波系数，Ｘ１（ｍ，ｎ）为局部图像Ｘ１在横坐标为ｍ、纵坐标为ｎ处的像素值，ｍ∈［１，Ｃ］，ｎ∈［１，Ｃ］，Ｃ为图像分块大小，ｆ１↓［ｉ，ｊ］为观测向量ｆ１在横坐标位置为ｉ、纵坐标位置为ｊ处的值，ｉ∈［１，Ｃ］，ｊ∈［１，Ｃ］，Ｈ２为图像Ｂ的谐波系数，Ｘ２（ｍ，ｎ）为局部图像Ｘ２在横坐标为ｍ、纵坐标为ｎ处的像素值，ｆ２↓［ｉ，ｊ］为观测向量ｆ２在横坐标位置为ｉ、纵坐标位置为ｊ处的值；（５）选取一个阈值Ｔ∈［０．６，１］，计算最大加权系数Ｗ↓［ｍａｘ］和最小加权系数Ｗ↓［ｍｉｎ］：Ｗ↓［ｍａｘ］＝０．５－０．５×（１－Ｓ）／（１－Ｔ）Ｗ↓［ｍｉｎ］＝１－Ｗ↓［ｍａｘ］其中Ｓ为步骤（４）中得到的频谱匹配度；（６）根据步骤（４）中所得到的谐波系数Ｈ↓［１］、Ｈ↓［２］和频谱匹配度Ｓ，以及步骤（５）中所得到的最大加权系数Ｗ↓［ｍａｘ］和最小加权系数Ｗ↓［ｍｉｎ］，计算融合后的观测向量ｆ：若Ｓ≥Ｔ且Ｈ１≥Ｈ２，则融合后的观测向量ｆ＝Ｗ↓［ｍａｘ］×ｆ１＋Ｗ↓［ｍｉｎ］×ｆ２；若Ｓ≥Ｔ且Ｈ１＜Ｈ２，则融合后的观测向量ｆ＝Ｗ↓［ｍｉｎ］×ｆ１＋Ｗ↓［ｍａｘ］×ｆ２；若Ｓ＜Ｔ且Ｈ１≥Ｈ２，则融合后的观测向量ｆ＝ｆ１；若Ｓ＜Ｔ且Ｈ１＜Ｈ２，则融合后的观测向量ｆ＝ｆ２；其中Ｔ为阈值，Ｔ∈［０．６，１］，ｆ１为步骤（３）中得到的图像Ａ的观测向量，ｆ２为步骤（３）中得到的图像Ｂ的观测向量；（７）根据步骤（６）中所得到的融合后的观测向量ｆ，进行基于Ｗａｖｅｌｅｔ－Ｃｕｒｖｅｌｅｔ框架的ＳｐｌｉｔＢｒｅｇｍａｎ重构算法迭代２０次，最后得到所需要的融合图像。...
【技术特征摘要】
【专利技术属性】
技术研发人员：刘芳，焦李成，王爽，刘子僖，戚玉涛，侯彪，马文萍，尚荣华，郝红侠，朱亚萍，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：87
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。