基于对抗生成网络的合成孔径雷达图像转RGB的算法制造技术

本发明专利技术公开了基于对抗生成网络的合成孔径雷达图像转RGB的算法，获取SAR图像及可见光图像数据集；对可见光图像进行筛选；利用可见光图像训练云检测模型；判断可见光图像是否不含云；根据筛选后的SAR和可见光图像制作数据集；利用新数据模型进行训练；判断模型是否收敛，本发明专利技术能够基于利用对抗生成网络GAN，来学习SAR图像对应的可见光图像的特征，可以在保留大部分SAR图像的特征基础上，生成与正常可见光图像极其相似的一张图像，实现了将SAR图像转换成可见光图像，同时，能够有效的对SAR图像进行信息重构，扩展了SAR图像的应用领域，使其可以作用于更多的领域，也弥补了在遥感领域中遥感数据集缺乏的痛点，提高SAR图像的使用程度。程度。程度。

【技术实现步骤摘要】
基于对抗生成网络的合成孔径雷达图像转RGB的算法


[0001]本专利技术涉及遥感成像
，具体为基于对抗生成网络的合成孔径雷达图像转RGB的算法。

技术介绍

[0002]合成孔径雷达（SAR）是一种微波遥感成像雷达，SAR图像是接受地物散射回波的相干信号叠加而形成的，与光学、红外等雷达相比，它的成像受气候等条件限制程度较小，具有全天时、全气候、多角度等特点，因此被广泛的应用于军事侦察、地表测绘、海洋资源勘测和环境检测等领域，由于SAR图像与可见光图像使用的传感器不同，所以它们也是存在很大的区别，可见光图像通常会包含多个波段的灰度信息，以便于识别目标和分类提取，而SAR图像则只记录了一个波段的回波信息，以二进制复数形成记录下来，基于每个像素的复数数据可变换提取相应的振幅和相位信息，振幅信息通常对应于地面目标对雷达波的后向散射强度，与目标介质、含水量以及粗糙程度密切相关；但是目前由于SAR图像是通过天线给物体发射信号，再接收信号，在这个信号发射和接收的过程分为水平发射接收和垂直发射接收，使得SAR图像成像后都会有带有大部分的噪点信息，导致SAR影像分辨率相对较低，信噪比较低，从而使图像的使用领域受到了极大的限制。

技术实现思路

[0003]本专利技术提供基于对抗生成网络的合成孔径雷达图像转RGB的算法，可以有效解决上述
技术介绍
中提出由于SAR图像是通过天线给物体发射信号，再接收信号，在这个信号发射和接收的过程分为水平发射接收和垂直发射接收，使得SAR图像成像后都会有带有大部分的噪点信息，导致SAR影像分辨率相对较低，信噪比较低，从而使图像的使用领域受到了极大的限制的问题。
[0004]为实现上述目的，本专利技术提供如下技术方案：基于对抗生成网络的合成孔径雷达图像转RGB的算法，该算法具体包括如下步骤：S1、获取SAR图像及可见光图像数据集；S2、对可见光图像进行筛选；S3、利用可见光图像训练云检测模型；S4、判断可见光图像是否不含云；S5、根据筛选后的SAR和可见光图像制作数据集；S6、利用新数据模型进行训练；S7、判断模型是否收敛；S8、利用模型对输入的SAR图像进行可见光图像转换。
[0005]根据上述技术方案，所述S1中，获取SAR图像及可见光图像数据集主要是指通过Sentinel数据集来获取Sentinel
‑
1的SAR图像和Sentinel
‑
2的可见光图像，在具体获取过
程中，主要通过MultiEarth 2022的比赛开源数据集连接，进行数据集下载，并将Sentinel
‑
2的数据集进行通道融合成RGB的可见光图像。
[0006]根据上述技术方案，所述S2中，对可见光图像进行筛选主要是指划分少量的数据集利用均方误差公式计算图像的整体误差值，并对图像进行初步的划分为有云图像和无云图像，再通过人工观察做最后的筛选划分。
[0007]根据上述技术方案，所述S3中，利用可见光图像训练云检测模型具体指使用torch中的VGG11模型对划分好的数据进行分类模型训练，得到最终的分类模型。
[0008]根据上述技术方案，所述S4中，判断可见光图像是否不含云主要用于判断可见光图像是否含云，且在可见光不含云时，使用已训练好的模型进行图像分类，排除可见光数据集中涵盖云的图像，同时删除对应的SAR图像，而在可见光含云时，则进入下一步骤。
[0009]根据上述技术方案，所述S5中，在可见光图像含云时，主要根据筛选后的SAR和可见光图像来制作数据集。
[0010]根据上述技术方案，而在S5中，具体制作数据集的过程中，将16位深度Sentinel
‑
1的SAR图像通过Linear 2%拉伸算法拉伸成8位深度的可见光图像，然后将其与对应的Sentinel
‑
2的可见光数据集进行对应，并制作成新的数据集。
[0011]根据上述技术方案，所述S6中，利用新数据模型进行训练主要是指将准备好的数据集带入到backbone为GAN网络的Pix2Pix模型中进行迭代训练，直至模型收敛。
[0012]根据上述技术方案，所述S7中，判断模型是否收敛主要是判断步骤S6中的模型是否收敛，在模型未收敛时，返回步骤S6进行重复训练，直至模型收敛。
[0013]根据上述技术方案，所述S8中，利用模型对输入的SAR图像进行可见光图像转换，主要是指在模型收敛完成后将8位深度Sentinel
‑
1的SAR图像输入进网络模型中，然后输出RGB的可见光图像。
[0014]与现有技术相比，本专利技术的有益效果：本专利技术结构科学合理，使用安全方便：本专利技术能够基于利用对抗生成网络GAN，来学习SAR图像对应的可见光图像的特征，可以在保留大部分SAR图像的特征基础上，生成与正常可见光图像极其相似的一张图像，实现了将SAR图像转换成可见光图像，同时，能够有效的对SAR图像进行信息重构，扩展了SAR图像的应用领域，使其可以作用于更多的领域，也弥补了在遥感领域中遥感数据集缺乏的痛点，提高SAR图像的使用程度。
附图说明
[0015]附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。
[0016]在附图中：图1是本专利技术算法的流程框图；图2是本专利技术算法的步骤流程图；图3是本专利技术输出结果的展示图。
具体实施方式
[0017]以下结合附图对本专利技术的优选实施例进行说明，应当理解，此处所描述的优选实
施例仅用于说明和解释本专利技术，并不用于限定本专利技术。
[0018]实施例1：如图1
‑
3所示，本专利技术提供一种技术方案，基于对抗生成网络的合成孔径雷达图像转RGB的算法，该算法具体包括如下步骤：S1、获取SAR图像及可见光图像数据集；S2、对可见光图像进行筛选；S3、利用可见光图像训练云检测模型；S4、判断可见光图像是否不含云；S5、根据筛选后的SAR和可见光图像制作数据集；S6、利用新数据模型进行训练；S7、判断模型是否收敛；S8、利用模型对输入的SAR图像进行可见光图像转换。
[0019]基于上述技术方案，S1中，获取SAR图像及可见光图像数据集主要是指通过Sentinel数据集来获取Sentinel
‑
1的SAR图像和Sentinel
‑
2的可见光图像，在具体获取过程中，主要通过MultiEarth 2022的比赛开源数据集连接，进行数据集下载，并将Sentinel
‑
2的数据集进行通道融合成RGB的可见光图像。
[0020]基于上述技术方案，S2中，对可见光图像进行筛选主要是指划分少量的数据集利用均方误差公式计算图像的整体误差值，并对图像进行初步的划分为有云图像和无云图像，再通过人工观察做最后的筛选划分。
[0021]基于上述技术方案，S3中，利用可见光图像训练云检测模型具体指使用torch中的VGG11模型对划分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于对抗生成网络的合成孔径雷达图像转RGB的算法，其特征在于：该算法具体包括如下步骤：S1、获取SAR图像及可见光图像数据集；S2、对可见光图像进行筛选；S3、利用可见光图像训练云检测模型；S4、判断可见光图像是否不含云；S5、根据筛选后的SAR和可见光图像制作数据集；S6、利用新数据模型进行训练；S7、判断模型是否收敛；S8、利用模型对输入的SAR图像进行可见光图像转换。2.根据权利要求1所述的基于对抗生成网络的合成孔径雷达图像转RGB的算法，其特征在于：所述S1中，获取SAR图像及可见光图像数据集主要是指通过Sentinel数据集来获取Sentinel
‑
1的SAR图像和Sentinel
‑
2的可见光图像，在具体获取过程中，主要通过MultiEarth 2022的比赛开源数据集连接，进行数据集下载，并将Sentinel
‑
2的数据集进行通道融合成RGB的可见光图像。3.根据权利要求1所述的基于对抗生成网络的合成孔径雷达图像转RGB的算法，其特征在于：所述S2中，对可见光图像进行筛选主要是指划分少量的数据集利用均方误差公式计算图像的整体误差值，并对图像进行初步的划分为有云图像和无云图像，再通过人工观察做最后的筛选划分。4.根据权利要求1所述的基于对抗生成网络的合成孔径雷达图像转RGB的算法，其特征在于：所述S3中，利用可见光图像训练云检测模型具体指使用torch中的VGG11模型对划分好的数据进行分类模型训练，得到最终的分类模型。5.根据权利要求1所述的基于对抗生成网络的合成孔径雷达图像转RGB的算法，其特征在于：所述S4中，判断可见光图像是否不...

【专利技术属性】
技术研发人员：程福健，
申请(专利权)人：地卫二空间技术杭州有限公司，
类型：发明
国别省市：