基于生成网络的光学-雷达ISAR图像转换方法及装置制造方法及图纸

本申请涉及一种基于生成网络的光学

【技术实现步骤摘要】
基于生成网络的光学
‑
雷达ISAR图像转换方法及装置


[0001]本申请涉及雷达图像智能处理与计算机智能
，特别是涉及一种基于生成网络的光学
‑
雷达ISAR图像转换方法及装置。

技术介绍

[0002]图像翻译技术是人工智能研究中的主要方向之一，用以解决任务目标在不同图像域下的风格表达。该技术通过对不同图像域的数据进行学习，挖掘其内在的数据分布特征，然后通过生成模型来实现从原图像域得到任务目标在任务目标域的表达。现有的图像翻译技术主流方法是通过训练生成对抗网络获得生成模型来实现数据的转换与生成。目前在航空遥感领域中基于生成对抗网络的图像翻译技术已有不少应用，主要集中在光学
‑
合成孔径(Synthetic Aperture Radar，SAR)图像的匹配以及SAR图像到光学图像的转换生成方面。
[0003]在现有技术中，卫星虽然能够实时对指定场景进行监测，但由于卫星需绕轨道运行，每一颗卫星监测指定场景的时间往往只有几分钟。同时，虽然同一区域会有许多轨道重合的卫星经过，但每颗卫星使用的监测装置并不相同，需要一种能够跨域、跨模态转换生成的方法将每颗卫星监测数据进行统一表示。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够实现图像域统一的基于生成网络的光学
‑
雷达ISAR图像转换方法及装置。
[0005]一种基于生成网络的光学
‑
雷达ISAR图像转换方法，所述方法包括：
>[0006]获取图像训练集，所述图像训练集中包括具有相同目标类别的多张ISAR原图像以及光学图像；
[0007]将所述图像训练集中的ISAR原图像以及光学图像输入生成网络，所述ISAR原图像由所述生成网络中的第一生成器从ISAR图像域映射至光学图像域转化为对应的伪光学图像，再由第二生成器件所述伪光学图像从光学图像域映射ISAR图像域转化为对应的ISAR重构图像，同时，所述光学图像由所述第二生成器转化为伪ISAR图像，再由所述第一生成器件将所述伪ISAR图像转化为光学重构图像；
[0008]分别对所述ISAR原图像以及对应ISAR重构图像的散射点进行提取，得到ISAR原图像的第一散射点位置矩阵以及ISAR重构图像的第二散射点位置矩阵；
[0009]将所述第一散射点位置矩阵以及ISAR重构图像的第二散射点位置矩阵相等作为约束条件，并基于增广拉格朗日算子的形式将所述约束条件作为罚函数项加入原损失函数中对其进行重构得到最终的损失函数；
[0010]根据最终的所述损失函数对所述生成网络进行训练，得到训练好的生成网络；
[0011]获取待转换光学目标图像，利用所述训练好的生成网络中的第二生成器对所述待转换光学目标图像进行转换，得到对应的ISAR转换图像。
[0012]在其中一实施例中，分别对所述ISAR原图像以及对应ISAR重构图像的散射点进行提取时，根据最大类间方差法以及网络法对ISAR图像的散射点进行提取。
[0013]在其中一实施例中，所述根据最大类间方差法以及网络法对ISAR图像的散射点进行提取包括：
[0014]根据所述最大类间方差法计算出所述ISAR图像的灰度阈值，根据该灰度阈值对ISAR图像进行分割得到的前景和后景分离度最高；
[0015]再根据网络法以及灰度阈值对ISAR图像的散射点进行提取。
[0016]在其中一实施例中，所述根据网络法以及灰度阈值对ISAR图像的散射点进行提取包括：
[0017]对所述ISAR图像划分为多个大小尺寸相同的网络；
[0018]分别在各网络中提取幅度值大于所述灰度阈值的像素点作为散射点，并记录各所述散射点的对应坐标以及幅度值；
[0019]根据记录的各所述散射点的对应坐标按照原坐标的顺序进行重构得到散射点位置矩阵。
[0020]在其中一实施例中，所述生成网络采用CycleGAN网络，还包括ISAR图像域的判别器以及光学图像域的判别器，其中所述第一生成器以及第二生成器采用CNN结构实现，两个所述判别器采用PatchGAN结构实现。
[0021]在其中一实施例中，所述原损失函数为：
[0022][0023]在其中一实施例中，所述最终的损失函数为：
[0024][0025]在上式中，λ
scatter
表示拉格朗日乘子，ρ
scatter
表示罚函数项系数。
[0026]在其中一实施例中，根据所述最终的损失函数对所述生成网络进行训练，得到训练好的生成网络还包括：
[0027]对所述最终的损失函数进行梯度计算，根据计算结果方向修正生成网络中的第一生成器以及第二生成器的参数，直至收敛，得到训练好的生成网络。
[0028]一种基于生成网络的光学
‑
雷达ISAR图像转换装置，所述装置包括：
[0029]训练集获取模块，用于获取图像训练集，所述图像训练集中包括具有相同目标类别的多张ISAR原图像以及光学图像；
[0030]图像域转换模块，用于将所述图像训练集中的ISAR原图像以及光学图像输入生成网络，所述ISAR原图像由所述生成网络中的第一生成器从ISAR图像域映射至光学图像域转化为对应的伪光学图像，再由第二生成器件所述伪光学图像从光学图像域映射ISAR图像域转化为对应的ISAR重构图像，同时，所述光学图像由所述第二生成器转化为伪ISAR图像，再由所述第一生成器件将所述伪ISAR图像转化为光学重构图像；
[0031]散射点位置矩阵重构模块，用于分别对所述ISAR原图像以及对应ISAR重构图像的
散射点进行提取，得到ISAR原图像的第一散射点位置矩阵以及ISAR重构图像的第二散射点位置矩阵；
[0032]损失函数重构模块，用于将所述第一散射点位置矩阵以及ISAR重构图像的第二散射点位置矩阵相等作为约束条件，并基于增广拉格朗日算子的形式将所述约束条件作为罚函数项加入原损失函数中对其进行重构得到最终的损失函数；
[0033]网络训练模块，用于根据最终的所述损失函数对所述生成网络进行训练，得到训练好的生成网络；
[0034]光学
‑
雷达ISAR图像转换模块，用于获取待转换光学目标图像，利用所述训练好的生成网络中的第二生成器对所述待转换光学目标图像进行转换，得到对应的ISAR转换图像。
[0035]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0036]获取图像训练集，所述图像训练集中包括具有相同目标类别的多张ISAR原图像以及光学图像；
[0037]将所述图像训练集中的ISAR原图像以及光学图像输入生成网络，所述ISAR原图像由所述生成网络中的第一生成器从ISAR图像域映射至光学图像域转化为对应的伪光学图像，再由第二生成器件所述伪光学图像从光学图像域映射I本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于生成网络的光学
‑
雷达ISAR图像转换方法，其特征在于，所述方法包括：获取图像训练集，所述图像训练集中包括具有相同目标类别的多张ISAR原图像以及光学图像；将所述图像训练集中的ISAR原图像以及光学图像输入生成网络，所述ISAR原图像由所述生成网络中的第一生成器从ISAR图像域映射至光学图像域转化为对应的伪光学图像，再由第二生成器件所述伪光学图像从光学图像域映射ISAR图像域转化为对应的ISAR重构图像，同时，所述光学图像由所述第二生成器转化为伪ISAR图像，再由所述第一生成器件将所述伪ISAR图像转化为光学重构图像；分别对所述ISAR原图像以及对应ISAR重构图像的散射点进行提取，得到ISAR原图像的第一散射点位置矩阵以及ISAR重构图像的第二散射点位置矩阵；将所述第一散射点位置矩阵以及ISAR重构图像的第二散射点位置矩阵相等作为约束条件，并基于增广拉格朗日算子的形式将所述约束条件作为罚函数项加入原损失函数中对其进行重构得到最终的损失函数；根据最终的所述损失函数对所述生成网络进行训练，得到训练好的生成网络；获取待转换光学目标图像，利用所述训练好的生成网络中的第二生成器对所述待转换光学目标图像进行转换，得到对应的ISAR转换图像。2.根据权利要求1所述的光学
‑
雷达ISAR图像转换方法，其特征在于，分别对所述ISAR原图像以及对应ISAR重构图像的散射点进行提取时，根据最大类间方差法以及网络法对ISAR图像的散射点进行提取。3.根据权利要求2所述的光学
‑
雷达ISAR图像转换方法，其特征在于，所述根据最大类间方差法以及网络法对ISAR图像的散射点进行提取包括：根据所述最大类间方差法计算出所述ISAR图像的灰度阈值，根据该灰度阈值对ISAR图像进行分割得到的前景和后景分离度最高；再根据网络法以及灰度阈值对ISAR图像的散射点进行提取。4.根据权利要求3所述的光学
‑
雷达ISAR图像转换方法，其特征在于，所述根据网络法以及灰度阈值对ISAR图像的散射点进行提取包括：对所述ISAR图像划分为多个大小尺寸相同的网络；分别在各网络中提取幅度值大于所述灰度阈值的像素点作为散射点，并记录各所述散射点的对应坐标以及幅度值；根据记录的各所述散射点的对应坐标按照原坐标的顺序进行重构得到散射点位置矩阵。5.根据权利要求4所述的光学
‑
雷达ISAR图像转换方法，其特征在于，所...

【专利技术属性】
技术研发人员：夏靖远，廖淮璋，刘永祥，杨志雄，章涵，刘振，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：