【技术实现步骤摘要】
本公开涉及深度学习和海冰遥感检测，更具体地，涉及一种基于sar图像和光学图像的海冰检测方法、装置、设备及介质。
技术介绍
1、海冰是指海洋表面冻结形成的冰层，对全球气候变化、海洋生态系统以及北极航运等具有重要影响。合成孔径雷达（synthetic aperture radar，sar）遥感技术成像技术以高分辨率、全天时、全天候的成像能力，成为海冰分类的主要手段。在sar图像中判定海冰的分类、覆盖范围、类型、厚度等参数，对于气候研究、生态保护和航海安全至关重要。
2、目前，基于sar图像进行海冰分类的主流方法可以分为两大类：基于物理参数测量方法和基于数据驱动的方法。
3、基于物理参数测量方法依据海冰与遥感信号的相互作用机理，通过物理参数测量来实现海冰分类，代表性工作包括：
4、辐射传输模型：利用辐射传输模型来描述sar后向散射系数与光学反射率之间的物理关系，实现噪声抑制的多极化sar海冰图像分类；海冰热力学参数化方案：针对cice4海冰模式，改进和发展了更为合理的海冰热力学参数化方案，包括海冰反照率、海冰中盐度分布及其守恒、太阳辐射在海冰中的穿透和吸收等；星载gnss-r技术：利用全球导航卫星系统反射测量技术，通过分析时延多普勒图（ddm）进行海冰分类。
5、基于数据驱动的方法通过训练机器学习模型（尤其是深度学习网络），基于数据驱动自动地学习海冰特征的模式，并用以进行有效的海冰分类。代表性工作包括：
6、基于卷积神经网络（cnn）的方法：利用cnn进行sar图像的海冰分割
7、虽然上述海冰分类技术在海冰分类中获取了众多成果，但sar图像特有的相干斑噪声会严重影响海冰分类过程中图像分割的准确性，导致过分割现象，使得分割结果中出现大量不必要的小区域；噪声常会掩盖或模糊实际的边缘信息，难以准确定位目标边缘，给图像解译和分析带来了挑战。另一方面，基于光学遥感图像的海冰分类方法准确率较高，但是光学遥感受到光照、天气、云层遮挡等条件的限制，在某些恶劣环境下难以获取高质量的图像。基于此， sar图像转换为光学图像后融合的方法被提出，但是申请人发现：现有的sar-光学图像转换方法大多基于纯数据驱动的深度学习模型，学习到的转换映射缺乏明确的物理解释，难以与海冰的物理散射特性建立直接联系，sar图像和转换后的光学图像在物理散射特性上不一致，会影响海冰分类的准确率。并且，sar图像转光学图像的方法必须具有成对的sar-光学图像作为训练数据，由于sar与光学卫星对同一区域的成像时间存在间隔，海冰发生的快速变化导致成对的训练数据在现实场景中难以获得。
技术实现思路
1、有鉴于此，本公开提供了一种基于sar图像和光学图像的海冰检测方法、装置、设备及介质，用于至少部分解决上述技术问题。
2、本公开的一个方面提供了一种基于sar图像和光学图像的海冰检测方法，包括：利用训练好的生成式对抗网络模型将极化sar图像转换为光学图像，其中，训练生成式对抗网络模型的损失函数包括极化特征一致性约束损失，极化特征一致性约束损失基于极化sar图像的海冰的第一物理散射特征和光学图像的第二物理散射特征构建，用于约束极化sar图像与光学图像在物理散射特征上的一致性；将极化sar图像与光学图像进行融合，得到融合特征图，融合特征图包括极化sar图像的极化散射信息和光学图像的纹理结构信息；对融合特征图进行海冰分割，得到海冰分类结果。
3、根据本公开的实施例，第一物理散射特征包括极化sar图像的第一表面散射功率贡献，第一双次散射功率贡献和第一体散射功率贡献；第二物理散射特征包括光学图像的第二表面散射功率贡献，第二双次散射功率贡献和第二体散射功率贡献。
4、根据本公开的实施例，方法还包括：对海冰分类结果进行形态学处理，提取海冰区域的边界；计算极化sar图像中海冰区域内的平均表面散射功率贡献、平均双次散射功率贡献和平均体散射功率贡献；根据第一表面散射功率贡献，第一双次散射功率贡献、第一体散射功率贡献、平均表面散射功率贡献、平均双次散射功率贡献和平均体散射功率贡献，构建物理一致性约束损失，物理一致性约束损失用于约束海冰分类结果与极化sar图像在物理散射特征上的一致性；基于构建物理一致性约束损失优化海冰分类结果。
5、根据本公开的实施例，采用基于u-net结构的多尺度特征提取和融合网络对极化sar图像与光学图像进行融合，其中，基于u-net结构的多尺度特征提取和融合网络包括编码器和解码器，编码器和解码器之间进行跳跃连接，以将编码器每一尺度的特征图与解码器对应尺度的特征图进行拼接。
6、根据本公开的实施例，编码器由多个卷积层和多个池化层组成，用于提取极化sar图像的散射特征图和光学图像的纹理特征图，并将散射特征图和纹理特征图映射到高级语义特征空间；解码器采用与编码器对称的结构，用于将融合特征图恢复到原始分辨率。
7、根据本公开的实施例，对融合特征图进行海冰分割，得到海冰分类结果，包括：利用解码器对融合特征图进行处理，生成每个相似属于海冰或开放水域的概率图；对概率图进行阈值化处理，得到海冰分类结果。
8、根据本公开的实施例，训练生成式对抗网络模型的损失函数还包括：对抗损失，用于使生成式对抗网络模型的生成器生成逼真的图像；循环一致性损失，用于使生成式对抗网络模型将极化sar图像转换为光学图像，再转换为极化sar图像过程中的一致性。
9、本公开的另一个方面提供了一种基于sar图像和光学图像的海冰检测装置，包括：转换模块，用于利用训练好的生成式对抗网络模型将极化sar图像转换为光学图像，其中，训练生成式对抗网络模型的损失函数包括极化特征一致性约束损失，极化特征一致性约束损失基于极化sar图像的海冰的第一物理散射特征和光学图像的第二物理散射特征构建，用于约束极化sar图像与光学图像在物理散射特征上的一致性；融合模块，用于将极化sar图像与光学图像进行融合，得到融合特征图，融合特征图包括极化sar图像的极化散射信息和光学图像的纹理结构信息；分割模块，用于对融合特征图进行海冰分割，得到海冰分类结果。
10、本公开的另一个方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的方法。
11、本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
12、本公开的另一方面提供了一种计算机本文档来自技高网...
【技术保护点】
1.一种基于SAR图像和光学图像的海冰检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述第一物理散射特征包括所述极化SAR图像的第一表面散射功率贡献，第一双次散射功率贡献和第一体散射功率贡献；所述第二物理散射特征包括所述光学图像的第二表面散射功率贡献，第二双次散射功率贡献和第二体散射功率贡献。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求1所述的方法，其特征在于，采用基于U-Net结构的多尺度特征提取和融合网络对所述极化SAR图像与所述光学图像进行融合，其中，所述基于U-Net结构的多尺度特征提取和融合网络包括编码器和解码器，所述编码器和解码器之间进行跳跃连接，以将编码器每一尺度的特征图与解码器对应尺度的特征图进行拼接。
5.根据权利要求4所述的方法，其特征在于，所述编码器由多个卷积层和多个池化层组成，用于提取所述极化SAR图像的散射特征图和所述光学图像的纹理特征图，并将所述散射特征图和所述纹理特征图映射到高级语义特征空间；
6.根据权利要求4或5所述的方法，其特
7.根据权利要求6所述的方法，其特征在于，所述训练所述生成式对抗网络模型的损失函数还包括：
8.一种基于SAR图像和光学图像的海冰检测装置，其特征在于，包括：
9.一种电子设备，包括：
10.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现权利要求1至7中任一项所述的方法。
...【技术特征摘要】
1.一种基于sar图像和光学图像的海冰检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述第一物理散射特征包括所述极化sar图像的第一表面散射功率贡献，第一双次散射功率贡献和第一体散射功率贡献；所述第二物理散射特征包括所述光学图像的第二表面散射功率贡献，第二双次散射功率贡献和第二体散射功率贡献。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求1所述的方法，其特征在于，采用基于u-net结构的多尺度特征提取和融合网络对所述极化sar图像与所述光学图像进行融合，其中，所述基于u-net结构的多尺度特征提取和融合网络包括编码器和解码器，所述编码器和解码器之间进行跳跃连接，以将编码器每一尺度的特征图与解码器对应尺度的特...
【专利技术属性】
技术研发人员：张问一，尹肖贻，张健德，李光祚，胡玉新，初庆伟，胡硕，代祥雨，丁昊，
申请(专利权)人：中国科学院空天信息创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。