基于GANilla的SAR图像自动彩色化方法技术

基于GANilla的SAR图像自动彩色化方法，涉及卫星图像处理。数据集配对：在地图上随机生成位点，并将选择的位点扩充矩阵作为选择区域，分别提取Sentinel

【技术实现步骤摘要】
基于GANilla的SAR图像自动彩色化方法


[0001]本专利技术涉及卫星图像处理领域，尤其是涉及一种基于GANilla的SAR图像自动彩色化方法。

技术介绍

[0002]海丝一号卫星拍摄的基于主动微波成像机理的合成孔径雷达(Synthetic Aperture Radar，SAR)影像具有全天时、全天候、不受恶劣天气影响的观测特点。SAR影像具有灰度和纹理特性，对于不同地物所呈现的SAR图像纹理不同，因此可以利用SAR图像由地物之间的灰度和纹理特征差异实现目标检测。此外，SAR卫星的观测穿透性能较好，可以穿透云层，发现隐藏的目标信息，区分伪目标，并对动态目标具有一定的显示能力，在空间对地观测和军事侦察等方面具有独特优势。SAR遥感影像已成为观测海洋与陆地的重要数据。并且广泛应用于军事目标检测、战场调度等军事目标领域以及地形测绘、灾害检测等民用领域。
[0003]与常见的光学成像原理不同，SAR图像中的灰度级对应的是不同材料不同结构的物体对微波的电磁散射强度，没有直接的颜色信息，导致形成的图像层次性较差，一些细节的纹理层次难以获取。实现SAR图像目标检测的效率远远低于光学影像目标检测的效率。SAR接受的电磁回波往往存在一定的相干性和随机性，因此SAR成像会存在一定的相干性噪声，例如在图像上形成大量的噪点，这将导致图像的判读性大大下降。SAR存在一定的方向敏感性，即拍摄的角度及高度都会严重影响图像的成像特点，成像特点的不同带给计算机视觉系统的识别难度是指数级增加的。对于遥感科学的研究而言，SAR图像的理解和解译具有较高的难度，深入探寻其图像特征需要消耗较多的人力物力。
[0004]尽管SAR图像中包含每个像素点的地理坐标信息，但是由于光学影像的地理坐标定位往往误差较大，单纯依靠下载遥感影像后进行地理配准，仍然会存在一定的地理坐标误差,为数据集的匹配校准增添难度。此外，由于SAR影像存在几何失真和相干性干扰，光学影像存在视角误差以及光线误差且易受到云层干扰。对于数据的前处理，得到高质量的数据集往往是一项巨大的工程。当下的图像匹配往往依赖于选择成像良好的特征图像用于候选，并根据成像分布建立位点间的对应关系，需要大量的人工干预。2020年Lloyd等人提出采用优度网络(Goodness Network)、多尺度匹配网络(Multi
‑
scale Matching Network)、离群值减少网络(Outlier Reduction Network)三个神经网络的框架进行数据融合比对，提升数据集的配对速率,但是最终对应集的质量仍然收到优度网络和离群值减少网络的限制。孙潇，徐金东提出一种基于级联生成对抗网络的遥感图像去雾方法，包括去雾分布的UGAN和学习去雾的PAGAN，对遥感图像的数据质量进行提升，但是去雾网络的搭建需要大量相应数据进行学习，并且常常在去雾的同时去除其余有效信息。
[0005]在深度学习的研究中，提升SAR图像的可解释性和信息翻译能力一直是学者们研究的热点。其中，最直观的想法就是利用真实的数据集给SAR图像进行迁移上色，达到SAR图像彩色化的效果。相较于传统的光学影像，SAR的彩色化图像将同时兼具SAR图像和光学影
像的优点，即图像易于获取、不受气候等环境条件影响并且拥有丰富的色彩信息，便于进行高精度的资源勘探和灾害检测。
[0006]Google Earth Engine(GEE,https://earthengine.google.com/)是谷歌于2018年开放注册的为地理科学学科设立的平台。注册会员可以通过GEE内部的数据库使用JavaScript进行编译等操作，并且GEE提供较好的可视化平台，具有很好的交互性。GEE提供全球尺度内Sentinel
‑
1(https://developers.google.com/earth
‑
engine/datasets/catalog/COPERNICU S_S1_GRD)和Sentinel
‑
2(https://developers.google.com/earth
‑
engine/datasets/catalog/COPERNICUS_S2_SR)的数据集，

技术实现思路

[0007]本专利技术的目的在于针对现有技术存在的上述缺点，提供免去搭建网络的复杂工作，提升数据配对速度，降低数据获取难度，并可大幅提升遥感图像的质量的一种基于GANilla的SAR图像自动彩色化方法。
[0008]本专利技术包括以下步骤：
[0009]1)数据集配对：在地图上随机生成位点，并将选择的位点扩充矩阵作为选择区域，分别提取哨兵一号(Sentinel
‑
1)中的VV波段和哨兵二号(Sentinel
‑
2)的B4,B3,B2波段作为RGB值，对导出的JSON格式的数据进行数据降维，使用python的CV2库将JSON格式的数据可视化，得到配对色彩迁移数据集，包括VV波段数据集和伪RGB数据集；
[0010]2)数据增加预处理：将步骤1)得到的色彩迁移数据集的数据分为两类，陆地区域的数据和海洋区域的数据；对于陆地区域的数据通过旋转、局部放大、翻转进行数据增加处理；对于海洋区域的数据，分别进行维纳滤波和添加随机色彩；
[0011]3)网络搭建：将步骤2)数据增加后的Sentinel数据，选取GANilla网络进行训练。
[0012]在步骤1)中，所述数据集配对的具体方法可为：使用JavaScript选定数据集的时间和空间尺度。为消除不同时间光照等条件不同的影响，使用2017
‑
2019年度所有Sentinel
‑
1和Sentinel
‑
2的数据进行均值化操作；为配对相同位置的数据集，在地图上随机生成位点(包括海洋和陆地的数据)，并将选择的位点扩充为256*256的矩阵作为选择区域。为减少云和海浪的影响，增强数据集的质量，在生成随机矩阵的算法中加入云量和海浪的限制，使得选取位点出现干扰因素的概率小于8％。最后，在生成的地理区位内，提取Sentinel
‑
1中的VV波段作为灰度数据集，Sentinel
‑
2的B4,B3,B2波段作为RGB彩色数据集，并导出JSON格式。对JSON格式的数据进行数据降维等操作，使用CV库将JSON格式的数据可视化，得到尺寸为256
×
256大小的色彩迁移数据集，包括VV波段数据集和伪RGB数据集；所述位点包括海洋和陆地的数据。
[0013]在步骤2)中，所述陆地区域的RGB数据，轮廓特征较为明显，并且具有丰富的色彩。通过除云的操作后数据集具有较高的质量。因此，可以用此类高质量的数据集通过旋转、局部放大、翻转等操作，充分利用其图像特征，获取更多的数据集，从而提升模型的泛化能力；
[0014]所述海洋区域的数据，由于其受到海洋湍流影响，轮廓特征较不明显且色彩较为单一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于GANilla的SAR图像自动彩色化方法，其特征在于包括以下步骤：1)数据集配对：在地图上随机生成位点，并将选择的位点扩充矩阵作为选择区域，分别提取哨兵一号(Sentinel
‑
1)中的VV波段和哨兵二号(Sentinel
‑
2)的B4,B3,B2波段作为RGB值，对导出的JSON格式的数据进行数据降维，使用python的CV2库将JSON格式的数据可视化，得到配对色彩迁移数据集，包括VV波段数据集和伪RGB数据集；2)数据增加预处理：将步骤1)得到的色彩迁移数据集的数据分为两类，陆地区域的数据和海洋区域的数据；对于陆地区域的数据通过旋转、局部放大、翻转进行数据增加处理；对于海洋区域的数据，分别进行维纳滤波和添加随机色彩；3)网络搭建：将步骤2)数据增加后的Sentinel数据，选取GANilla网络进行训练。2.如权利要求1所述基于GANilla的SAR图像自动彩色化方法，其特征在于在步骤1)中，所述数据集配对的具体方法为：使用JavaScript选定数据集的时间和空间尺度；为消除不同时间光照等条件不同的影响，使用2017
‑
2019年度所有Sentinel
‑
1和Sentinel
‑
2的数据进行均值化操作；为配对相同位置的数据集，在地图上随机生成位点，并将选择的位点扩充为256*256的矩阵作为选择区域；为减少云和海浪的影响，增强数据集的质量，在生成随机矩阵的算法中加入云量和海浪的限制，使得选取位点出现干扰因素的概率小于8％；最后，在生成的地理区位内，提取Sentinel
‑

【专利技术属性】
技术研发人员：陈胤达，董妍函，耿旭朴，
申请(专利权)人：厦门大学，
类型：发明
国别省市：