基于主体和细节特征的多源图像融合方法与系统技术方案

本发明专利技术公开了一种基于主体和细节特征的多源图像融合方法与系统，涉及影像处理技术领域。该方法通过获取光学图像与SAR图像，生成光学图像强度分量与模拟SAR图像；之后对光学图像强度分量和模拟SAR图像分别进行主体和细节特征分解，并将主体特征分量和细节特征分量分别融合，得到融合后的主体特征融合结果和细节特征融合结果；最后将主体特征融合结果和细节特征融合结果进行相加得到初步的特征分解融合图像，并将特征分解融合图像进一步与原始光学图像进行快速融合，得到最终融合图像。本发明专利技术针对图像的主体和细节特征分量采取不同融合策略，减小了因图像不同特征分量带来的融合差异，提高了图像融合的整体效果，最终融合图像具有更鲜明的色彩信息，实现更细致有效的融合处理效果。合处理效果。合处理效果。

【技术实现步骤摘要】
基于主体和细节特征的多源图像融合方法与系统


[0001]本专利技术涉及影像处理
,尤其是一种基于主体和细节特征的多源图像融合方法与融合系统，主要用于对光学图像和SAR图像进行有效融合。

技术介绍

[0002]光学图像与SAR图像有着不同的成像机理、几何特性以及辐射特征，在对光学图像和SAR图像进行融合时将主体特征与细节特征分开考虑，分别采取适用于二者各自的融合策略，可以在保留光学和SAR图像中各自独特信息的同时，减少不必要的冗余信息引入，有利于实现二者信息的有效整合，从而更有效的服务后续相关应用。
[0003]基于模型的融合方法将光学图像和SAR图像融合看作是一个图像生成或图像重建的问题，通过建立一个描述从源图像到融合结果映射关系的数学模型，或者建立一个融合结果与源图像的约束关系，优化求解得到最终的融合结果。为了得到更好的融合效果，可以在模型中引入概率模型和先验约束，模型的求解也会更加复杂。本专利技术针对图像的不同特征分量，提出模块化的融合策略，从而使得图像融合能够更好根据不同图像特点进行最佳策略选择，解决多源图像特征差异大导致融合结果质量差的问题。

技术实现思路

[0004]本专利技术的专利技术目的在于：克服上述现有技术的不足，提供了一种基于主体和细节特征的多源图像融合方法与系统，用于对多源图像进行更细致有效的融合处理。
[0005]一方面，本专利技术提供了一种基于主体和细节特征的多源图像融合方法，该方法通过获取光学图像与SAR图像，生成光学图像强度分量与模拟SAR图像；之后对光学图像强度分量和模拟SAR图像分别进行主体和细节特征分解，并将主体特征分量和细节特征分量分别进行融合，得到融合后的主体特征融合结果和细节特征融合结果；最后将主体特征融合结果和细节特征融合结果进行相加得到初步的特征分解融合图像，并将特征分解融合图像进一步与原始光学图像进行快速融合，得到最终融合图像。
[0006]另一方面，本专利技术还提供了一种基于主体和细节特征的多源图像融合系统，所述图像融合系统是基于前述任一多源图像融合方法实施例的步骤实现的，该系统包括：
[0007]预处理模块，用于获取光学图像与SAR图像，并对光学图像与SAR图像进行预处理；
[0008]光谱修正模块，用于生成光学图像强度分量和生成模拟SAR图像；
[0009]分解模块，用于将灰度图像分别进行主体和细节特征分解，分别得到各图像的主体特征分量和细节特征分量；
[0010]主体特征融合模块，用于将主体特征分量进行融合，得到主体特征融合结果；
[0011]细节特征融合模块，用于将细节特征分量进行融合，得到细节特征融合结果；
[0012]最终融合模块，用于将主体特征融合结果和细节特征融合结果进行相加得到初步的特征分解融合图像，并将特征分解融合图像进一步与原始光学图像进行快速融合，得到最终融合图像。
[0013]综上所述，由于采用了上述基于主体和细节特征的多源图像融合技术方案，本专利技术的有益效果是：
[0014]通过本专利技术所构建的多源图像融合方法和系统，可对光学图像进行快速IHS变换得到其强度分量图像，将光学强度分量图像和模拟SAR图像进行主体和细节特征分解，并分别针对不同特征分量设计不同融合规则，对主体特征分量基于变分模型融合，保留光学图像的像素强度分布和SAR图像的主体边缘、轮廓等结构信息；对细节特征分量基于特征相似度融合，保留光学和SAR图像中细节纹理特征表现更丰富的图像信息。最后将得到的分解特征融合图像与原始光学图像进行快速融合，使融合图像具有更鲜明的色彩信息，实现对光学和SAR图像更细致有效的融合处理效果。本专利技术针对图像的主体和细节特征分量采取不同融合策略，减小了因图像不同特征分量带来的融合差异，提高了图像融合的整体效果。
附图说明
[0015]图1为本专利技术公开的一种光学和SAR遥感图像融合方法流程图。
[0016]图2为本专利技术方法的实施例融合图像对比图。
[0017]图3为本专利技术对遥感图像进行主体和细节特征分解的具体操作。
[0018]图4为本专利技术实施例提供的图像融合结果对比图。
具体实施方式
[0019]为了使本领域的人员更好地理解本专利技术的技术方案，下面结合本专利技术的附图，对本专利技术的技术方案进行清楚、完整的描述，基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它类同实施例，都应当属于本申请保护的范围。
[0020]如图1所示，为一种基于主体
‑
细节特征的多源图像融合方法，用于对光学图像和SAR图像进行有效融合，包括以下步骤：
[0021]步骤S01，获取光学图像与SAR图像，并对光学图像与SAR图像进行预处理。
[0022]在一个优选实施例中，获取的光学图像与SAR图像为不同传感器对同一个场景采集到的多源图像对，该多源图像对用于作为图像融合处理的输入源图像。
[0023]对获取的光学图像与SAR图像进行预处理，主要是对图像对进行重采样、裁剪等，使得预处理后的光学图像与SAR图像的尺度大小保持一致，便于后续图像间的融合操作。
[0024]对步骤S01的预处理作进一步举例说明，如图2所示，其中图(a)为光学图像，图(b)为SAR图像。将该光学图像与SAR图像均进行配准，然后重采样至同一分辨率，最后裁剪成固定大小的图像块。固定尺度大小的光学图像I
Opt
与对应的SAR图像I
SAR
作为输入图像，经本专利技术实施例中的方法实现融合得到图(c)中最终融合图像I
fuse
。利用本申请实施例中提供的多源图像融合方法能够使最终融合图像I
fuse
既包含光学图像的像素强度分布和SAR图像的主体边缘、轮廓等结构信息，同时还包括光学图像和SAR图像中细节纹理特征表现更丰富的图像信息。
[0025]步骤S02，计算光学图像各像素上的多波段均值特征，生成光学图像强度分量；分别计算光学图像强度分量和SAR图像的均值与标准差，并以光学图像强度分量的均值和标准差为标准，调整SAR图像的均值和标准差，生成模拟SAR图像，使SAR图像和光学图像的全局统计变量相似，以保持后续融合中光学图像的特征。
[0026]结合实施例对步骤S02作进一步说明。所述计算光学图像各像素上的多波段均值特征，生成光学图像强度分量的具体计算如公式(1)所示，光学图像强度分量I为各像素在R、G、B三波段的灰度值均值：
[0027][0028]其中I为光学图像强度分量，R为光学图像的红色通道，G为光学图像的绿色通道，B为光学图像的蓝色通道。
[0029]根据公式(2)调整SAR图像的均值和标准差，降低因SAR图像与光学图像强度分量的光谱响应函数不一致而导致的融合结果光谱失真：
[0030][0031]其中f
sar
为原始SAR图像，为调整后的模拟SAR图像，μ
sar
、σ
sar
为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于主体和细节特征的多源图像融合方法，其特征在于，包括下列步骤：步骤S01，获取光学图像与SAR图像，并对光学图像与SAR图像进行预处理；步骤S02，计算光学图像各像素上的多波段均值特征，生成光学图像强度分量；分别计算光学图像强度分量和SAR图像的均值与标准差，并以光学图像强度分量的均值和标准差为标准，调整SAR图像的均值和标准差，生成模拟SAR图像；步骤S03，对光学图像强度分量和模拟SAR图像分别进行主体和细节特征分解，得到对应图像的主体特征分量和细节特征分量；步骤S04，基于变分法将光学图像的主体特征分量和SAR图像的主体特征分量进行第一次融合，得到融合后的主体特征融合结果；步骤S05，基于特征相似度对光学图像的细节特征分量和SAR图像的细节特征分量进行第二次融合，得到融合后的细节特征融合结果；步骤S06，将基于主体特征分量融合后的主体特征融合结果和基于细节特征分量融合后的细节特征融合结果进行相加得到初步的特征分解融合图像，并将特征分解融合图像进一步与原始光学图像进行快速融合，得到最终融合图像。2.如权利要求1所述的基于主体和细节特征的多源图像融合方法，其特征在于，所述光学图像和SAR图像是对同一个场景采用不同类型的传感器获取得到的不同类型的多源图像对。3.如权利要求1所述的基于主体和细节特征的多源图像融合方法，其特征在于，所述预处理是将光学图像和SAR图像进行处理使两者的分辨率和大小相同。4.如权利要求1所述的基于主体和细节特征的多源图像融合方法，其特征在于，所述步骤S02包括：根据公式(1)计算光学图像各像素上的多波段均值特征，生成光学图像强度分量I：其中I为光学图像强度分量，R为光学图像的红色通道，G为光学图像的绿色通道，B为光学图像的蓝色通道；根据公式(2)调整SAR图像的均值和标准差：其中f
sar
为原始SAR图像，为调整后的模拟SAR图像，μ
sar
、σ
sar
为原始SAR图像的均值和标准差，μ
I
、σ
I
为光学图像强度分量I的均值和标准差。5.如权利要求1所述的基于主体和细节特征的多源图像融合方法，其特征在于，所述步骤S03的主体和细节特征分解的过程如下：步骤S301，定义灰度图像f在像素点x的局部总变差LTV
σ
(f)(x)及其相对衰减率λ(x)，如公式(4)(5)所示：
其中L
σ
是非线性低通滤波器，是梯度算子；步骤S302，将相对衰减率λ(x)对原始图像f和低通滤波图像L
σ
×
f进行加权平均得到一组快速的低通滤波器和高通滤波器对，如公式(6)(7)所示，得到灰度图像对应的主体特征分量u(x)和细节特征分量v(x)：u(x)＝w(λ(x))L
σ
×
f+(1
‑
w(λ(x)))f
ꢀꢀꢀ
(6)v(x)＝f(x)
‑
u(x)
ꢀꢀꢀ
(7)其中w(x)为加权平均函数，其定义如公式(8)所示：6.如权利要求1所述的基于主体和细节特征的多源图像融合方法，其特征在于，所述步骤S04包括：步骤S401，构建光学图像和SAR图像的主体特征分量的变分融合模型；利用l
p
范数基于融合结果与光学图像主体特征分量之间的像素强度关系构建得到第一个约束项，如公式(9)所示：利用融合结果与SAR图像主体特征分量的图像梯度差异构建第二个约束项式(10)：其中x表示主体特征融合结果，u
o
、u
s
分别表示光学图像和SAR图像主体特征分量，分别表示p、q范数，是梯度算子；将两个约束项结合得到目标泛函模型式(11)：其中λ为控制两项之间权衡的正参数；令y＝x
‑
u
s
，将公式(11)改写为典型的全变分正则化模型优化问题，如下式(12)(13)所示：示：其中D
h
和D
v
分别是像素水平和垂直方向的离散微分算子；公式(12)为凸函数，存在最优解y，第一项可视为数据保真项，第二项可视为正则化项；y
*...

【专利技术属性】
技术研发人员：叶沅鑫，张家诚，李金金，陈雅琴，
申请(专利权)人：西南交通大学，
类型：发明
国别省市：