基于显著目标区域提取和NSST的异源图像融合方法技术

本发明专利技术公开了一种基于显著目标区域提取和NSST的异源图像融合方法，该方法首先提取红外图像的显著目标区域；再对红外和可见光图像进行配准获得仿射变换矩阵；通过仿射变换矩阵获得红外图像的显著目标区域在可见光图像中位置；再对红外和可将光图像进行NSST变换；再利用不同方法对两幅图像的目标区域和非目标区域的NSST变换结果进行融合；最后通过NSST逆变换获得最终的融合结果。该方法能有效融合红外光和可见光两幅异源图像，融合的结果能更好地凸显和保持目标，更好的保留可见光图像中非目标区域的背景细节信息。

【技术实现步骤摘要】
基于显著目标区域提取和NSST的异源图像融合方法
本专利技术涉及计算机视觉
，特别是一种基于显著目标区域提取和NSST的异源图像融合方法。
技术介绍
随着传感器技术的发展，不同波段的图像传感器得到了广泛的应用，随之发展的异源图像融合技术也得到了越来越多的关注。异源图像融合能够将同一场景下不同图像传感器采集的图像进行信息融合，获得信息更为丰富的融合图像，在遥感探测、军事侦察、安全监控、医疗健康、工业生产等领域有着重要的应用。红外图像能够凸显红外热目标区域特征，但往往图像缺乏细节信息，图像对比度降低；而可见光图像可以体现成像区域的纹理和细节，能够提供更好的人眼视觉特性。红外图像和可见光图像融合技术就是将两者的优点相结合，在融合结果中保留更为丰富的红外图和可见光图的特征信息。近年来，研究者们提出了很多图像融合算法。最直接的融合思路就是直接平均法，但图像的边缘和细节容易被平滑，融合效果有限。目前有一种主流的红外与可见光融合算法是基于变换域的方法，如小波变换，金字塔变换、Curvelet变换和Contourlet变换等，但是这些方法不具备平移不变性，容易导致图像边缘细节模糊。基于非下采样Contourlet变换，其虽然具备平移不变性，融合效果好，但是算法复杂度偏高。红外与可见光图像融合领域普遍存在的问题是：在光线昏暗、背景和目标灰度相近时，融合图像易出现背景细节信息没有充分发掘和目标不够准确、突出的问题。此外，由于红外图像的信噪比比较低，噪声的干扰会影响图像融合质量。
技术实现思路
为克服现有技术中存在的不足，本专利技术提供一种基于显著目标区域提取和NSST(英文全称为：Non-subsampledShearletTransform，中文名称为：非下采样剪切波变换)的异源图像融合方法，该方法首先提取红外图像的显著目标区域，再结合红外和可见光图像匹配获得显著目标区域在可见光图像中的位置，再针对目标区域和非目标区域采用不同的融合方法，融合的结果能够更好地凸显和保持目标，以及更好的保留可见光图像中非目标区域的背景细节信息。为此，本专利技术采用如下技术方案：一种基于显著目标区域提取和NSST的异源图像融合方法，包括以下步骤：S1利用在同一水平轴上的红外摄像机和可见光摄像机同时采集图像，用红外摄像机拍摄到的图像为红外图像，用可见光摄像机拍摄到的图像为可见光图像。S2提取红外图像的显著目标区域；S3对可见光图像和红外图像进行配准获得仿射变换矩阵，根据仿射变换矩阵求出步骤S2中提取得到的红外图像的显著目标区域在可见光图像上的位置，相应得到可见光图像上的显著目标区域；S4进行NSST变换分解；显著目标区域用F来表示，非目标区域用B来表示。利用NSST对红外图像I与可见光图像V进行分解，获得各自的高频分量和低频分量，其中将步骤S2提取的红外图像的显著目标区域的高频分量记为低频分量记为LI,F；与红外图像的显著目标区域相对应的可见光图像的显著目标区域的高频分量记为低频分量记为LV,F；红外图像的非目标区域的高频分量记为低频分量记为LI,B；可见光图像的非目标区域的高频分量记为低频分量记为LV,B。其中j为高频分量的尺度，k为高频分量的方向。S5将S2中提取的红外图像的显著目标区域和S3求得的可见光图像的显著目标区域进行显著目标区域融合；S6进行非目标区域融合即将红外图像的非目标区域和可见光图像的非目标区域进行非目标区域融合；S7利用步骤S5和步骤S6中融合后得到的低频分量和高频分量，进行NSST逆变换获得最终融合图像。显著性目标区域检测就是找出图像中人类视觉注意焦点区域，再用显著度图进行表示。红外成像取决于景物温度分布，因此在红外图像中，目标区域相对背景区域来说是显著的。本专利技术的步骤S2中，提取红外图像的显著目标区域的具体方法如下：S2.1建立方差纹理图；分别以红外图像中每一个像素点为中心点，分别求取各像素点对应的N×N邻域窗的标准方差，以建立红外图像的方差纹理图。对于红外图像中处于其边缘的像素点即当中心像素点为边缘像素点时，则以像素值为0的方式来扩充其边缘，使得其邻域窗口大小也为N×N，求取其对应的N×N邻域窗的标准方差。其中：N×N邻域窗的大小可以选择3×3、5×5或7×7。在方差纹理图中，各区域的边界点的灰度值比非边界点的灰度值大，因此各区域的边界点就成为“亮”点，而非边界点就成为了“暗”点。方差纹理图能有效反映图像局部特征。对于红外图像中的任一像素点，将其作为中心像素点(m,n)，该像素点(m,n)对应的N×N邻域内的标准方差求解公式为：式中，x(i,j)为大小为N×N的平滑窗内像素点(i,j)处的灰度值，其中M＝N/2。利用公式(1)求得红外图像中每个像素点对应的N×N邻域内的标准方差，即可得到红外图像的方差纹理图。S2.2提取显著性区域特征点；设S1中得到的红外图像的尺寸大小为P×Q，平均标准方差和平均标准方差的偏移量分别如公式(2)和(3)所示：式中，V(r,s)为红外图像中的任一像素点(r,s)的像素值。定义阈值在步骤S2.1的方差纹理图中，若红外图像中某一像素点对应的N×N邻域内的标准方差大于阈值T，则该像素点被选为显著性区域特征点。S2.3对显著性区域特征点进行筛选和聚类；将步骤S2.2提取的方差纹理图中的“亮”点作为显著性区域特征点，然后对这些显著性区域特征点进行筛选和聚类。S2.3.1显著性区域特征点筛选；(1)对于每个显著性区域特征点，用一个指针指向其8邻域中灰度值最大的特征点；(2)统计指向每个显著性区域特征点的指针数，如果指向显著性区域特征点的指针数多于6个，则保留该显著性区域特征点，否者舍弃该显著性区域特征点。S2.3.2显著性区域特征点聚类。对显著性区域特征点进行筛选剔除了某些显著性区域特征点之后进行特征点聚类。相邻的多个显著性区域特征点可能属于同一显著性区域，通过对这些点的聚类可获得各聚类的中心。假设筛选所得显著性区域特征点记为C(xk,yk)(k＝1,2,...,K)，xk、yk分别为其纵横坐标，则聚类的步骤：(1)取第一个显著性区域特征点C(x1,y1)作为第一类w1的聚类中心z1＝C(x1,y1)。(2)计算下一个显著性区域特征点C(x2,y2)到第一类聚类中心z1的欧氏距离d21，如果d21大于设定的阈值D，则建立新的一类w2，新的中心为z2＝C(x2,y2)，否则，判定C(x2,y2)归属于w1类。(3)假设已有聚类中心z1,z2,...,zT，相对应的类别记为w1,w2,...,wT。计算还没有确定类别的显著性区域特征点C(xk,yk)到各聚类中心zt(t＝1,2,...,T)的欧式距离dkt。如果dkt大于阈值D，则建立新的一类wT+1，由C(xk,yk)作为新的一类wT+1的中心，即zT+1＝C(xk,yk)；否则，选择显著性区域点C(xk,yk)到各聚类中心zt(t＝1,2,...,T)的欧式距离dkt中的最小值，取得最小值时的聚类中心zl(l∈(1,T))，则判定C(xk,yk)属于wl类，并将wl的聚类中心更新为zl和C(xk,yk)的几何中心。(4)检查是否所有显著性区域特征点都已经分配好类别，如果分配完毕，则结束；否则返回到步骤(3)。聚类完成之后，各聚类中心即为显本文档来自技高网...

【技术保护点】
1.一种基于显著目标区域提取和NSST的异源图像融合方法，其特征在于，包括以下步骤：S1利用在同一水平轴上的红外摄像机和可见光摄像机同时采集图像，用红外摄像机拍摄到的图像为红外图像，用可见光摄像机拍摄到的图像为可见光图像；S2提取红外图像的显著目标区域；S3对可见光图像和红外图像进行配准获得仿射变换矩阵，根据仿射变换矩阵求出步骤S2中提取得到的红外图像的显著目标区域在可见光图像上的位置，相应得到可见光图像上的显著目标区域；S4进行NSST变换分解；显著目标区域用F来表示，非目标区域用B来表示。利用NSST对红外图像I与可见光图像

【技术特征摘要】
1.一种基于显著目标区域提取和NSST的异源图像融合方法，其特征在于，包括以下步骤：S1利用在同一水平轴上的红外摄像机和可见光摄像机同时采集图像，用红外摄像机拍摄到的图像为红外图像，用可见光摄像机拍摄到的图像为可见光图像；S2提取红外图像的显著目标区域；S3对可见光图像和红外图像进行配准获得仿射变换矩阵，根据仿射变换矩阵求出步骤S2中提取得到的红外图像的显著目标区域在可见光图像上的位置，相应得到可见光图像上的显著目标区域；S4进行NSST变换分解；显著目标区域用F来表示，非目标区域用B来表示。利用NSST对红外图像I与可见光图像V进行分解，获得各自的高频分量和低频分量，其中将步骤S2提取的红外图像的显著目标区域的高频分量记为低频分量记为LI,F；与红外图像的显著目标区域相对应的可见光图像的显著目标区域的高频分量记为低频分量记为LV,F；红外图像的非目标区域的高频分量记为低频分量记为LI,B；可见光图像的非目标区域的高频分量记为低频分量记为LV,B。其中j为高频分量的尺度，k为高频分量的方向；S5将S2中提取的红外图像的显著目标区域和S3求得的可见光图像的显著目标区域进行显著目标区域融合；S6进行非目标区域融合即将红外图像的非目标区域和可见光图像的非目标区域进行非目标区域融合；S7利用步骤S5和步骤S6中获融合后得到的低频分量和高频分量，进行NSST逆变换获得最终融合图像。2.根据权利要求1所述的基于显著目标区域提取和NSST的异源图像融合方法，其特征在于，S2中，提取红外图像的显著目标区域的方法如下：S2.1建立方差纹理图；分别以红外图像中每一个像素点为中心点，分别求取各像素点对应的N×N邻域窗的标准方差，以建立红外图像的方差纹理图；对于红外图像中处于其边缘的像素点即当中心像素点为边缘像素点时，则以像素值为0的方式来扩充其边缘，使得其邻域窗口大小也为N×N，求取其对应的N×N邻域窗的标准方差；在方差纹理图中，各区域的边界点的灰度值比非边界点的灰度值大，因此各区域的边界点就成为“亮”点，而非边界点就成为了“暗”点；方差纹理图能有效反映图像局部特征。S2.2提取显著性区域特征点；设S1中得到的红外图像的尺寸大小为P×Q，平均标准方差和平均标准方差的偏移量分别如公式(2)和(3)所示：式中，V(r,s)为红外图像中的任一像素点(r,s)的像素值；定义阈值在步骤S2.1的方差纹理图中，若红外图像中某一像素点对应的N×N邻域内的标准方差大于阈值T，则该像素点被选为显著性区域特征点；S2.3对显著性区域特征点进行筛选和聚类；将步骤S2.2提取的方差纹理图中的“亮”点作为显著性区域特征点，然后对这些显著性区域特征点进行筛选和聚类，方法如下：S2.3.1显著性区域特征点筛选；(1)对于每个显著性区域特征点，用一个指针指向其8邻域中灰度值最大的特征点；(2)统计指向每个显著性区域特征点的指针数，如果指向显著性区域特征点的指针数多于6个，则保留该显著性区域特征点，否者舍弃该显著性区域特征点；S2.3.2显著性区域特征点聚类；假设筛选所得显著性区域特征点记为C(xk,yk)(k＝1,2,...,K)，xk、yk分别为其纵横坐标，则聚类的步骤：(1)取第一个显著性区域特征点C(x1,y1)作为第一类w1的聚类中心z1＝C(x1,y1)；(2)计算下一个显著性区域特征点C(x2,y2)到第一类聚类中心z1的欧氏距离d21，如果d21大于设定的阈值D，则建立新的一类w2，新的中心为z2＝C(x2,y2)，否则，判定C(x2,y2)归属于w1类；(3)假设已有聚类中心z1,z2,...,zT，相对应的类别记为w1,w2,...,wT；计算还没有确定类别的显著性区域特征点C(xk,yk)到各聚类中心zt(t＝1,2,...,T)的欧式距离dkt；如果dkt大于阈值D，则建立新的一类wT+1，由C(xk,yk)作为新的一类wT+1的中心，即zT+1＝C(xk,yk)；否则，选择显著性区域点C(xk,yk)到各聚类中心zt(t＝1,2,...,T)的欧式距离dkt中的最小值，取得最小值时的聚类中心zl(l∈(1,T))，则判定C(xk,yk)属于wl类，并将wl的聚类中心更新为zl和C(xk,yk)的几何中心；(4)检查是否所有显著性区域特征点都已经分配好类别，如果分配完毕，则结束；否则返回到步骤(3)；聚类完成之后，各聚类中心即为显著目标区域的中心；S2.4显著目标区域的分割利用区域生长法分割显著性目标区域：将步骤S2.3.2中各聚类中心点作为区域生长的种子点，利用8邻域的区域生长法进行图像分割获得红外图像的显著目标区域。3.根据权利要求2所述的基于显著目标区域提取和NSST的异源图像融合方法，其特征在于，S2.1中，对于红外图像中的任一像素点，将其作为中心像素点(m,n)，该像素点(m,n)对应的N×N邻域内的标准方差求解公式为：式中，x(i,j)为大小为N×N的平滑窗内像素点(i,j)处的灰度值，其中M＝N/2。利用公式(1)求得红外图像中每个像素点对应的N×N邻域内的标准方差，即可得到红外图像的方差纹理图。4.根据权利要求2或3所述的基于显著目标区域提取和NSST的异源图像融合方法，其特征在于，S3的实现步骤如下：S3.1对红外图像和可见光图像进行多尺度的harris角点检测；S3.1.1分别对红外图像和可见光图像构建图像尺度空间；分别将红外图像、可见光图像作为输入图像，采用同样的方法对红外图像和可见光图像分别构建其对应的图像尺度空间，方法如下...

【专利技术属性】
技术研发人员：陈蓉，
申请(专利权)人：湖南源信光电科技股份有限公司，
类型：发明
国别省市：湖南,43