基于图像转换的异源图像块匹配方法组成比例

本发明专利技术提供的基于图像转换的异源图像块匹配方法，其步骤为：获取训练样本和测试样本，构建图像转换网络，训练图像转换网络，构建特征提取和匹配网络，训练特征提取和匹配网络，预测匹配结果。本发明专利技术克服了现有技术中对异源图像提取的特征差异性大且不准确的问题，有效降低了匹配难度，提高了异源图像块匹配的准确率和鲁棒性。

Image matching based on image transformation

The method of heterologous image block matching based on image conversion is provided in the invention. The steps are: acquiring training samples and test samples, constructing image conversion network, training image conversion network, constructing feature extraction and matching network, training feature extraction and matching network, and predicting matching results. The invention overcomes the problems of large difference and inaccuracy of features extracted from heterogeneous images in the prior art, effectively reduces the difficulty of matching, and improves the accuracy and robustness of heterogeneous image block matching.

【技术实现步骤摘要】
基于图像转换的异源图像块匹配方法
本专利技术属于图像处理
，更进一步涉及图像匹配方法中的基于图像转换的异源图像块匹配方法。
技术介绍
图像配准技术已被证明能够适用于许多实际应用场合，其相关领域包括遥感图像分析、图像融合、医学图像处理、三维重建、模式识别等。作为基于深度神经网络的图像配准过程中的关键技术，图像块匹配方法具有十分重要的研究意义和价值。现在广泛应用的图像块匹配方法主要分为两种，一种是基于传统手工提取特征的方法，一种是基于神经网络提取特征的方法。其中，基于手工提取特征的方法是利用图像块的灰度、轮廓形状等信息提取图像的局部显著特征，然后通过特征距离度量相似性，对图像块对进行匹配，该方法实现简单，但运算量大，对图像噪声十分敏感。基于神经网络提取特征的方法是通过网络提取图像块的特征，再利用匹配网络对提取的特征进行匹配度量，该方法复杂度低，提取的图像特征更具有代表性，且对噪声、灰度变换不敏感，鲁棒性强，目前应用较为广泛。由于异源图像之间存在特征信息的互补性，比如SAR图像和光学图像分别反映地物的电磁辐射和光学辐射信息，因此对异源图像进行匹配能得到更加完整确切的图像内容，这对后续本文档来自技高网...

【技术保护点】
1.基于图像转换的异源图像块匹配方法，其特征在于，包括以下步骤：步骤1)、根据已配准的光学图像和SAR图像，获取训练样本，得到生成对抗网络的训练样本和匹配网络的训练样本；步骤2)、构建图像转换网络，所述图像转换网络，包括生成器网络和判别器网络；步骤3)、训练图像转换网络：将步骤1)得到的生成对抗网络的训练样本对步骤2)构建的图像转换网络进行训练，得到生成器网络对应的权重；步骤4)、构建特征提取和匹配网络；步骤5)、训练特征提取和匹配网络，得到构建的特征提取和匹配网络的训练权重；步骤6)、预测匹配结果：首先，将步骤1)中得到的匹配网络测试样本中SAR图像块进行转换，得到测试样本的伪光学图像块；其...

【技术特征摘要】
1.基于图像转换的异源图像块匹配方法，其特征在于，包括以下步骤：步骤1)、根据已配准的光学图像和SAR图像，获取训练样本，得到生成对抗网络的训练样本和匹配网络的训练样本；步骤2)、构建图像转换网络，所述图像转换网络，包括生成器网络和判别器网络；步骤3)、训练图像转换网络：将步骤1)得到的生成对抗网络的训练样本对步骤2)构建的图像转换网络进行训练，得到生成器网络对应的权重；步骤4)、构建特征提取和匹配网络；步骤5)、训练特征提取和匹配网络，得到构建的特征提取和匹配网络的训练权重；步骤6)、预测匹配结果：首先，将步骤1)中得到的匹配网络测试样本中SAR图像块进行转换，得到测试样本的伪光学图像块；其次，将步骤5)中得到的特征提取和匹配网络权重加载到步骤4)构建的网络中，利用步骤1)得到的匹配网络测试样本中的光学图像块和伪光学图像块组合成图像块对，输入到加载好权重的特征提取和匹配网络中进行匹配结果预测，输出图像块对中心点的预测匹配概率，根据预测的匹配结果计算网络的匹配精度。2.根据权利要求1所述的基于图像转换的异源图像块匹配方法，其特征在于，步骤1)中获取训练样本的方法如下：(1a)、读入已配准的异源图像，异源图像包括SAR图像和光学图像；(1b)、采用Harris方法对光学图像进行角点检测，并以检测出来的角点A的坐标为中心点，以固定值w为边长在光学图像上进行切块，得到光学图像块；(1c)、在SAR图像上取与角点坐标相对应的特征点B，同时，在SAR图像上再随机任意选取一特征点C，接着在SAR图像上分别以特征点B和特征点C的坐标为中心，在SAR图像上以固定值w为边长进行切块，分别得到两个相应的SAR图像块，然后将得到的两个SAR图像块分别与角点A对应的光学图像块进行组合，得到训练数据的正样本和负样本图像块对；(1d)、将SAR图像旋转任意范围内的角度，重复步骤(1c)；(1e)、将得到的所有正样本作为生成对抗网络的训练样本；(1f)、将得到的所有正、负样本进行混合，其中，将混合后样本的3/4作为匹配网络的训练样本，混合后样本的1/4作为其测试样本。3.根据权利要求1所述的基于图像转换的异源图像块匹配方法，其特征在于，步骤2)中，图像转换网络的构建，如以下步骤：(2a)构建生成器网络：包含三层卷积和三层反卷积，其中，三层卷积中的每层卷积后都接有一层2*2的最大池化层；三层卷积中从第一层卷积至第三层卷积所对应的滤波器个数分别为32、64和128；三层反卷积中从第一层卷积至第三四层卷积所对应的滤波器个数分别为64、32和1，每层卷积的滤波器大小均为3*3；(2b)构建判别器网络：包含三层卷积和三层全连接层，三层卷积中的每层...

【专利技术属性】
技术研发人员：王爽，焦李成，王若静，权豆，方帅，梁雪峰，郭雨薇，刘飞航，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61