基于模板匹配和孪生神经网络优化的异源图像匹配方法组成比例

基于模板匹配和孪生神经网络优化的异源图像匹配方法，属于计算机图像处理领域，解决了目前异源图像匹配存在的困难及Sobel算子进行特征提取时存在的轮廓边缘较粗、定位精度不高的问题。该方法包括：SAR图像预处理；图像半像素处理；基于Sobel算子的素描图像转换；模板匹配；孪生神经网络精匹配。本发明专利技术适用于基于模板匹配对两幅相同区域场景的不同大小的异源图像进行匹配的图像处理操作。本发明专利技术在模板匹配的过程中，将异源图像进行了基于Sobel算子的素描图像转换，增强了匹配效果，且后续应用改进的孪生神经网络进行精匹配，使得异源图像匹配效果更好，匹配精度更高。匹配精度更高。匹配精度更高。

【技术实现步骤摘要】
基于模板匹配和孪生神经网络优化的异源图像匹配方法


[0001]本专利技术属于计算机图像处理
，具体涉及一种基于模板匹配和孪生神经网络优化的异源图像匹配方法。

技术介绍

[0002]图像匹配是计算机视觉和图像处理领域中一项非常重要的工作，主要用于将不同时间、不同传感器、不同视角以及不同拍摄条件下获取的两幅或多幅图像进行匹配。图像匹配是多种图像处理及应用的基础，匹配的效果直接影响到其后续图像的处理及应用工作。
[0003]异源图像匹配，是指通过不同源传感器获取的图像，对图像内容、特征、结构、关系、纹理、灰度等的对应关系进行相似性和一致性分析，寻求相同图像目标的过程。异源图像匹配方法可以大致分为两类：基于区域的匹配方法和基于特征的匹配方法。基于区域的匹配方法直接利用图像的灰度信息或者灰度信息的某种变换进行相似性度量。这种方法按照灰度等级进行集合划分，集合与集合之间往往存在一定的对应关系，这种对应关系在解决异源图像匹配时是不需要灰度映射约束，也不需要提取特征的过程。它以模板为单位，根据某种相似性度量准则，在图像的各个位置计算当前窗口与模板的相似程度，因此该方法的重点在于相似性度量准则的设计上。
[0004]异源图像之间相同像素点的灰度等级差异很大，但由于是对同一区域的图像采集，通过对图像进行边缘检测后还是能够清晰的分辨出目标区域的边缘信息。所采用的边缘检测主要包括Canny算子、Prewitt算子和Sobel算子等方法，其中的Sobel算子是一离散性差分算子，用来运算图像亮度函数的灰度之近似值。在图像的任何一点使用此算子，将会产生对应的灰度矢量或是其法矢量。Sobel算子有两个，一个是检测水平边缘的，另一个是检测垂直边缘的。与Prewitt算子相比，Sobel算子对于像素的位置的影响做了加权，可以降低边缘模糊程度，因此效果更好。然而，Sobel算子根据像素点上下、左右邻点灰度加权差，在边缘处达到极值这一现象检测边缘，对噪声具有平滑作用，提供较为精确的边缘方向信息，但是边缘定位精度不够高；而且，Sobel算子检测提取的边缘图像的边缘较粗，图像并不是期望的结果，导致匹配时的误差范围较大。

技术实现思路

[0005]鉴于异源图像匹配存在的困难以及Sobel算子进行特征提取时存在的轮廓边缘较粗、定位精度不高的问题，本专利技术提供一种基于模板匹配和孪生神经网络优化的异源图像匹配方法。本专利技术的方法主要适用于基于模板匹配对两幅相同区域场景的不同大小的异源图像进行匹配的图像处理操作。本专利技术在模板匹配的过程中，将异源图像进行了基于Sobel算子的素描图像转换，增强了匹配效果，并且后续应用改进的孪生神经网络进行精匹配，使得异源图像匹配效果更好，匹配精度更高。
[0006]本专利技术为解决技术问题所采用的技术方案如下：
[0007]本专利技术的基于模板匹配和孪生神经网络优化的异源图像匹配方法，包括以下步
骤：
[0008]步骤一、SAR图像预处理；
[0009]步骤二、图像半像素处理；
[0010]步骤三、基于Sobel算子的素描图像转换；
[0011]步骤四、模板匹配；
[0012]步骤五、孪生神经网络精匹配。
[0013]进一步的，步骤一的具体操作步骤如下：
[0014]对待匹配的SAR图像进行中值滤波处理以去除SAR图像的光斑和斑点噪声得到去噪图像。
[0015]更进一步的，所述中值滤波的公式如下：
[0016]y(i)＝Med[x(i
‑
N),...,x(i),...,x(i+N)][0017]式中，定义一个长度为奇数的L长窗口，L＝2N+1，N为正整数，设在某一个时刻，窗口内的信号样本值为x(i
‑
N)，
…
，x(i)，
…
，x(i+N)，其中x(i)为位于窗口中心的信号样本值，y(i)表示中值滤波的输出值，Med表示取中值计算。
[0018]进一步的，步骤二的具体操作步骤如下：
[0019]采用双线性插值法分别对光学图像和经预处理后的SAR图像进行半像素处理，将图像的尺寸变换为原始图像的四倍。
[0020]更进一步的，所述双线性插值法的公式如下：
[0021][0022][0023][0024]式中，f(R1)表示R1点的像素值，f(R2)表示R2点的像素值，f(A1)表示A1点的像素值，f(A2)表示A2点的像素值，f(A3)表示A3点的像素值，f(A4)表示A4点的像素值，f(P)表示未知点P的像素值，x1表示已知点A1、A3的横坐标，x2表示已知点A2、A4的横坐标，y1表示已知点A1、A2的纵坐标，y2表示已知点A3、A4的纵坐标，m表示未知点P的横坐标，n表示未知点P的纵坐标，R1表示与A1同纵坐标、与未知点P同横坐标的坐标点，R2表示与A3同纵坐标、与未知点P同横坐标的坐标点，A1表示图像左上角像素点的坐标点，A2表示图像右上角像素点的坐标点，A3表示图像左下角像素点的坐标点，A4表示图像右下角像素点的坐标点，A1、A2、A3、A4均为已知的；
[0025]已知A1和A4的坐标，求其区域内未知点P的坐标。
[0026]进一步的，步骤三的具体操作步骤如下：
[0027]S3.1利用Sobel算子进行边缘特征提取
[0028]利用Sobel边缘滤波器进行光学图像和SAR图像边缘特征提取：Sobel算子的卷积核为水平检测卷积核和垂直检测卷积核，将卷积核分别应用于输入图像，以生成每个方向上的梯度分量的单独测量值，以A表示原始图像，G
x
和G
y
分别表示经横向及纵向边缘检测的图像灰度值，则其计算公式如下：
[0029][0030][0031]将G
x
和G
y
组合在一起以找到每个点处的梯度G的绝对值大小及该梯度G的方向；将某一点处的梯度G的绝对值与整张图像灰度值的中间值相比较，若该点处的梯度G大于整张图像灰度值的中间值，则认为该点为边缘点；
[0032]S3.2非极大值抑制
[0033]采用非极大值抑制对S3.1中得到的图像进行处理，边缘细化后对图像进行平滑处理得到对应的素描图像。
[0034]进一步的，步骤四的具体操作步骤如下：
[0035]根据得到的素描图像进行模板匹配，将SAR素描图像在光学素描图像中的所在区域匹配出来，用矩形框框出，并输出该矩形框在光学素描图像中的左上角像素点，输出以该左上角像素点为中心的相邻九个像素点。
[0036]更进一步的，所述模板匹配采用归一化相关系数匹配算法，其计算公式如下：
[0037][0038]式中，R(x，y)表示匹配结果，T
′
表示模板图像，I
′
表示待匹配图像，x表示划窗块左上角在待匹配图像中的横坐标，y表示划窗块左上角在待匹配图像中的纵坐标，x
′
表示划窗块内各像素点横坐标，y
′<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于模板匹配和孪生神经网络优化的异源图像匹配方法，其特征在于，包括以下步骤：步骤一、SAR图像预处理；步骤二、图像半像素处理；步骤三、基于Sobel算子的素描图像转换；步骤四、模板匹配；步骤五、孪生神经网络精匹配。2.根据权利要求1所述的基于模板匹配和孪生神经网络优化的异源图像匹配方法，其特征在于，步骤一的具体操作步骤如下：对待匹配的SAR图像进行中值滤波处理以去除SAR图像的光斑和斑点噪声得到去噪图像。3.根据权利要求2所述的基于模板匹配和孪生神经网络优化的异源图像匹配方法，其特征在于，所述中值滤波的公式如下：y(i)＝Med[x(i
‑
N),...,x(i),...,x(i+N)]式中，定义一个长度为奇数的L长窗口，L＝2N+1，N为正整数，设在某一个时刻，窗口内的信号样本值为x(i
‑
N)，
…
，x(i)，
…
，x(i+N)，其中x(i)为位于窗口中心的信号样本值，y(i)表示中值滤波的输出值，Med表示取中值计算。4.根据权利要求1所述的基于模板匹配和孪生神经网络优化的异源图像匹配方法，其特征在于，步骤二的具体操作步骤如下：采用双线性插值法分别对光学图像和经预处理后的SAR图像进行半像素处理，将图像的尺寸变换为原始图像的四倍。5.根据权利要求4所述的基于模板匹配和孪生神经网络优化的异源图像匹配方法，其特征在于，所述双线性插值法的公式如下：特征在于，所述双线性插值法的公式如下：特征在于，所述双线性插值法的公式如下：式中，f(R1)表示R1点的像素值，f(R2)表示R2点的像素值，f(A1)表示A1点的像素值，f(A2)表示A2点的像素值，f(A3)表示A3点的像素值，f(A4)表示A4点的像素值，f(P)表示未知点P的像素值，x1表示已知点A1、A3的横坐标，x2表示已知点A2、A4的横坐标，y1表示已知点A1、A2的纵坐标，y2表示已知点A3、A4的纵坐标，m表示未知点P的横坐标，n表示未知点P的纵坐标，R1表示与A1同纵坐标、与未知点P同横坐标的坐标点，R2表示与A3同纵坐标、与未知点P同横坐标的坐标点，A1表示图像左上角像素点的坐标点，A2表示图像右上角像素点的坐标点，A3表示图像左下角像素点的坐标点，A4表示图像右下角像素点的坐标点，A1、A2、A3、A4均为已知的；已知A1和A4的坐标，求其区域内未知点P的坐标。6.根据权利要求1所述的基于模板匹配和孪生神经网络优化的异源图像匹配方法，其特征在于，步骤三的具体操作步骤如下：
S3.1利用Sobel算子进行边缘特征...

【专利技术属性】
技术研发人员：赵岩，林建宇，李灵珊，王世刚，王学军，
申请(专利权)人：吉林大学，
类型：发明
国别省市：