【技术实现步骤摘要】
基于cGANs和图像转换的光学与SAR的配准方法及系统
[0001]本专利技术属于图像配准领域，具体涉及一种基于cGANs和图像转换的光学与SAR的配准方法及系统。
技术介绍
[0002]遥感卫星获取到的数据广泛应用到各个领域，包括对环境污染、森林资源、河流信息等的监测以及对于各种灾难的及时响应等。不同的传感器对地观测所获取的信息具有各自的独特性，综合利用多源遥感数据是遥感应用领域的一个重要研究方向，其可以通过优势互补从而获得更为丰富的遥感信息。光学遥感和合成孔径雷达(Synthetic Aperture Radar,SAR)是利用遥感获取对地观测信息的两种重要的技术手段。可见光图像中的目标边缘清晰，空间分辨率高，细节明显，丰富的颜色信息利于视觉判读。然而，光学传感器容易受天气影响导致目标成像质量差。相对于光学传感器，SAR成像不受天气和光照的影响，可以实现全天时、全天候的监测，具有良好的穿透性；但是SAR对场景的纹理边缘描述不清晰，没有丰富的色彩信息，不适合人眼识别。因此，对SAR图像和光学图像进行配准和融合，可以利用双方的优势信息进行互补，既有利于提高视觉可读性，又有利于提高信息获取的全面性和准确性，从而全面观测和分析。
[0003]目前的SAR和光学配准算法都是直接将SAR图像和光学图像进行匹配。李芳芳等提出了一种基于线特征和SIFT点特征的多源遥感影像配准方法，利用线特征来约束SIFT点特征从而实现配准。LiQ等通过附加尺度方向约束，细化特征向量来改善SIFT算法匹配效果。YiZ等提出了SAR>‑
SIFT算法，该算法使用尺度限制剔除误匹配点，进而提高匹配精度。陈华等提出了一种利用SIFT算法来解决不同分辨率、不同波段的SAR影像配准方法。肖雄武等结合SIFT算法提出了一种较为快速且具有仿射不变性的倾斜影像匹配方法。但是SAR遥感图像和光学图像由于其传感器的成像原理和成像条件不同，导致所成图像之间存在明显的非线性强度差异和一定的几何结构、旋转、分辨率差异，使得光学与SAR图像间的直接配准具有较大的难度。因此本文提出了一种新思路，以解决上述问题,即利用cGANs先将SAR图像转换成光学图像，然后再和真实的光学图像进行匹配。
技术实现思路
[0004]因此，本专利技术的目的在于提供一种基于cGANs和图像转换的光学与SAR的配准方法及系统；通过将SAR图像转化成光学图像，再进行图像配准，避免了图像之间存在的非线性强度差异降低了SAR图像与光学图像的配准难度。
[0005]为了实现上述目的，本专利技术的一种基于cGANs和图像转换的光学与SAR的配准方法，包括以下步骤：获取待配准的成对的SAR图像和光学图像；将待配准的SAR图像裁剪成多个图像小块；利用训练好的条件生成对抗网络将裁切后的图像小块，转化成合成光学图像小块；将合成光学图像小块进行拼接，得出合成的光学图片；对合成的光学图片提取大量特征点，形成基准集；对获取的待配准光学图像提取特征点，形成查询集；根据基准集中的特
征点在查询集中查找最邻近点，形成匹配点对；利用RANSAC算法对匹配点对进行精配准，剔除错误的匹配点对后，得到精配准的图像。
[0006]优选的，所述条件生成对抗网络采用如下方法进行训练：获取成对的SAR图像和光学图像；将成对的SAR图像和光学图像剪成多个子图像块，形成SAR
‑
光学图像数据集；将SAR
‑
光学图像数据集划分成训练样本集和测试集样本集；
[0007]将训练样本集中的SAR图像作为输入，将对应的光学图像作为有效值输出，训练条件生成对抗网络；以使生成的图片尽可能接近目标的光学图像的分布；
[0008]利用测试集测试网络的精度，当生成的光学图像精度达到目标要求时，训练完成。
[0009]在上述任意一项实施例中进一步优选的，所述条件生成对抗网络包括生成器和鉴别器；
[0010]所述生成器使用U
‑
Net结构，用于对输入的SAR图片转化成彩色的光学图片；
[0011]所述鉴别器D用于判断输入的光学图像是否是真实的样本；所述输入的光学图像为输入的SAR图像与真实光学图像或者生成光学图像进行通道堆叠形成。
[0012]在上述任意一项实施例中进一步优选的，将待配准的SAR图像裁剪成多个图像小块时，采用在待配准的SAR图像上用一个256x256的窗口进行滑动，设定窗口步长为128，得到256x256的图像小块。
[0013]在上述任意一项实施例中进一步优选的，将合成光学图像小块进行拼接时，包括将每个生成的合成光学图像小块，将其边缘进行裁剪，再将其按照顺序进行拼接。
[0014]在上述任意一项实施例中进一步优选的，所述形成基准集和查询集时，采用SIFT算法对合成的光学图片和待配准光学图像，提取大量特征点。
[0015]在上述任意一项实施例中进一步优选的，所述形成匹配点对时，利用kd
‑
tree和BBF算法进行粗配准，包括：对查询集特征点，构建kd
‑
tree；对于基准集中的特征点，采用BBF算法在所构建的kd
‑
tree中查找到最邻近点；得到一对匹配点对；对基准集中所有的特征点，都进行查找，最终得到初始匹配好的匹配点对集。
[0016]在上述任意一项实施例中进一步优选的，在利用RANSAC算法对匹配点对进行精配准时，采用如下方法：获取一对匹配点对(Q1，Q2)，根据该匹配点对中基准图像上特征点的坐标Q1，利用投影变换得出待匹配图像的对应参考坐标Q1’
，并计算Q1与Q1’
之间的距离L1；
[0017]根据该匹配点对待匹配图像上的特征点坐标Q2，利用投影变换得出基准图像上的对应参考坐标Q2’
，并计算Q2与Q2’
之间的距离L2；
[0018]根据L1和L2计算对称变换误差d，将对称变换误差d与预设阈值进行比较；当d>T时，则认为这对匹配点对为误匹配点对，排除至外点集，否则放入内点集。
[0019]在上述任意一项实施例中进一步优选的，在判定匹配点对属于外点集或内点集时，还包括：S501、对匹配点对按照欧氏距离进行排序，对匹配度高的点优先采样；S502、对采样剩余匹配点对集合的点，遍历计算模型H0变换后的对称变换误差d，统计内点个数为M0；S503、重复S501，得到新的变换模型H；重复S502，得到新的内点个数M，若M>M0，则认为模型H为更优的参数模型；则将计算模型H0更换为新模型H；S504、多次迭代，最终得到两幅图像之间的投影变换矩阵H；采样次数N满足以下条件时循环结束：
[0020]log(1
‑
k
m
)
N
＜1
‑
P
[0021]其中，k为内点占初始匹配点集的比例，m为每组采样点集的数据量大小，此处m＝
4，P表示N次采样全部为内点的概率。
[0022]本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于cGANs和图像转换的光学与SAR的配准方法，其特征在于：包括以下步骤：获取待配准的成对的SAR图像和光学图像；将待配准的SAR图像裁剪成多个图像小块；利用训练好的条件生成对抗网络将裁切后的图像小块，转化成合成光学图像小块；将合成光学图像小块进行拼接，得出合成的光学图片；对合成的光学图片提取大量特征点，形成基准集；对获取的待配准光学图像提取特征点，形成查询集；根据基准集中的特征点在查询集中查找最邻近点，形成匹配点对；利用RANSAC算法对匹配点对进行精配准，剔除错误的匹配点对后，得到精配准的图像。2.根据权利要求1所述的基于cGANs和图像转换的光学与SAR的配准方法，其特征在于：所述条件生成对抗网络采用如下方法进行训练：获取成对的SAR图像和光学图像；将成对的SAR图像和光学图像剪成多个子图像块，形成SAR
‑
光学图像数据集；将SAR
‑
光学图像数据集划分成训练样本集和测试集样本集；将训练样本集中的SAR图像作为输入，将对应的光学图像作为有效值输出，训练条件生成对抗网络；以使生成的图片尽可能接近目标的光学图像的分布；利用测试集测试网络的精度，当生成的光学图像精度达到目标要求时，训练完成。3.根据权利要求1所述的基于cGANs和图像转换的光学与SAR的配准方法，其特征在于：所述条件生成对抗网络包括生成器和鉴别器；所述生成器使用U
‑
Net结构，用于对输入的SAR图片转化成彩色的光学图片；所述鉴别器D用于判断输入的光学图像是否是真实的样本；所述输入的光学图像为输入的SAR图像与真实光学图像或者生成光学图像进行通道堆叠形成。4.根据权利要求3所述的基于cGANs和图像转换的光学与SAR的配准方法，其特征在于：将待配准的SAR图像裁剪成多个图像小块时，采用在待配准的SAR图像上用一个256x256的窗口进行滑动，设定窗口步长为128，得到256x256的图像小块。5.根据权利要求1所述的基于cGANs和图像转换的光学与SAR的配准方法，其特征在于：将合成光学图像小块进行拼接时，包括将每个生成的合成光学图像小块，将其边缘进行裁剪，再将其按照顺序进行拼接。6.根据权利要求1所述的基于cGANs和图像转换的光学与SAR的配准方法，其特征在于：所述形成基准集和查询集时，采用SIFT算法对合成的光学图片和待配准光学图像，提取大量特征点。7.根据权利要求1所述的基于cGANs和图像转换的光学与SAR的配准方法，其特征在于：所述形成匹配点对时，利用kd
‑
tree 和 BBF 算法进行粗配准，包括：对查...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。