图像转换模型的处理方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术提供了一种图像转换模型的处理方法、装置、电子设备和存储介质。其中，该方法包括：获取样本图像；其中，样本图像为舰船的遥感光学图像；将样本图像输入到预先训练完成的图像转换模型中，输出目标图像；其中，目标图像为舰船的侧扫声纳图像；图像转换模型包括第一生成器、第二生成器和判别器；第一生成器，用于将样本图像转换为目标图像；第二生成器，用于将目标图像转换为重整光学图像；判别器用于基于目标图像与预先输入图像转换模型中的侧扫声纳图像输出目标图像的真实度；通过第一生成器和第二生成器组成基于循环一致性的单循环网络模型，提高了模型的训练效率，提高了模型输出的稳定性，提升了用户体验。提升了用户体验。提升了用户体验。

【技术实现步骤摘要】
图像转换模型的处理方法、装置、电子设备和存储介质


[0001]本专利技术涉及图像处理
，尤其是涉及一种图像转换模型的处理方法、装置、电子设备和存储介质。

技术介绍

[0002]近年来，计算机视觉领域发展迅速，基于深度学习的目标检测方法性能远超传统机器学习方法，引起了水下探测领域的广泛关注。然而，基于DCNN(Deep Convol utional Neural Network)的目标探测模型需要大量训练样本，高代表性样本是实现高性能探测的关键。而侧扫声纳图像因数据采集成本高、耗时长、目标较少等问题导致数量严重匮乏，样本代表性不足，因此，急需开展小样本水下目标侧扫声纳图像的样本扩增。
[0003]但是，传统的图像转换模型存在生成数据质量较差，甚至光学和侧扫声纳两个领域的图像没有任何匹配关系，造成模型训练缓慢、模型输出图像丢失关键特征的问题。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种图像转换模型的处理方法、装置、电子设备和存储介质，通过第一生成器和第二生成器组成基于循环一致性的单循环网络模型，提高了模型的训练效率，提高了模型输出的稳定性，提升了用户体验。
[0005]第一方面，本专利技术提供了一种图像转换模型的处理方法，方法包括：获取样本图像；其中，样本图像为舰船的遥感光学图像；将样本图像输入到预先训练完成的图像转换模型中，输出目标图像；其中，目标图像为舰船的侧扫声纳图像；图像转换模型包括第一生成器、第二生成器和判别器；第一生成器，用于将样本图像转换为目标图像；第二生成器，用于将目标图像转换为重整光学图像；判别器用于基于目标图像与预先输入图像转换模型中的侧扫声纳图像输出目标图像的真实度。
[0006]在本专利技术一些较佳的实施例中，在获取样本图像的步骤之后，该方法还包括：将样本图像进行预处理；预处理至少包括以下之一：裁剪处理、旋转处理、镜像处理、对比度处理、降噪处理或去雾处理。
[0007]在本专利技术一些较佳的实施例中，生成器包括：依次设置的第一卷积层、第二卷积层、第三卷积层和第四卷积层，在第三卷积层和第四卷积层之间依次设置有第一转置卷积层和第二转置卷积层；第一卷积层后设置有第一图像处理模块，第二卷积层后设置有第二图像处理模块，第三卷积层后设置有第三图像处理模块；第一图像处理模块与第一转置卷积层之间采用跳跃连接；第二图像处理模块与第二转置卷积层之间采用跳跃连接；第三图像处理模块与第四卷积层之间采用跳跃连接。
[0008]在本专利技术一些较佳的实施例中，图像处理模块包括：通道注意力单元和空间注意力单元；通道注意力单元，用于基于初始输入特征图确定通道权重系数；空间注意力单元，用于基于初始输入特征图确定空间权重系数；图像处理模块，用于将初始输入特征图与通道权重系数和空间权重系数分别进行元素相乘后的结果进行元素相加，确定输出特征。
[0009]在本专利技术一些较佳的实施例中，通道注意力单元包括：第一最大池化层、第一平均池化层和多层感知器；第一最大池化层，用于基于初始输入特征图确定第一特征图；第一平均池化层，用于基于初始输入特征图确定第二特征图；多层感知器，用于基于第一特征图和第二特征图确定第一输出特征和第二输出特征；通道注意力单元，用于将第一输出特征和第二输出特征进行基于张量的加操作得到第一结果；对第一结果再进行σ函数激活，输出通道权重系数。
[0010]在本专利技术一些较佳的实施例中，空间注意力单元包括：第二最大池化层、第二平均池化层和一个卷积核为7
×
7的卷积层；第二最大池化层，用于基于初始输入特征图确定第三特征图；第二平均池化层，用于基于初始输入特征图确定第四特征图；卷积核为7
×
7的卷积层，用于将第三特征图和第四特征图结合后的第五特征图的通道数降为1；空间注意力单元，用于基于通道数为1的第五特征图进行σ函数激活，输出空间权重系数。
[0011]在本专利技术一些较佳的实施例中，第一生成器还用于将目标侧扫声纳图像转化为重整声纳图像；图像转换模型包括：第一损失函数、第二损失函数和第三损失函数；第一损失函数，用于表征样本图像与重整光学图像之间的差异性；第二损失函数，用于表征目标侧扫声纳图像与重整声纳图像之间的差异性；第三损失函数，用于表征目标图像与目标侧扫声纳图像之间的差异性。
[0012]第二方面，本专利技术提供了一种图像转换模型的处理装置，该装置包括：样本获取模块，用于获取样本图像；其中，样本图像为舰船的遥感光学图像；结果获取模块，用于将样本图像输入到预先训练完成的图像转换模型中，输出目标图像；其中，目标图像为舰船的侧扫声纳图像；图像转换模型包括第一生成器、第二生成器和判别器；第一生成器，用于将样本图像转换为目标图像；第二生成器，用于将目标图像转换为重整光学图像；判别器用于基于目标图像与预先输入图像转换模型中的侧扫声纳图像输出目标图像的真实度。
[0013]第三方面，本专利技术提供了一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述任一项的图像转换模型的处理方法。
[0014]第四方面，本专利技术提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述任一项的图像转换模型的处理方法。
[0015]本专利技术提供了一种图像转换模型的处理方法，该方法包括：获取样本图像；其中，样本图像为舰船的遥感光学图像；将样本图像输入到预先训练完成的图像转换模型中，输出目标图像；其中，目标图像为舰船的侧扫声纳图像；图像转换模型包括第一生成器、第二生成器和判别器；第一生成器，用于将样本图像转换为目标图像；第二生成器，用于将目标图像转换为重整光学图像；判别器用于基于目标图像与预先输入图像转换模型中的侧扫声纳图像输出目标图像的真实度；通过第一生成器和第二生成器组成基于循环一致性的单循环网络模型，提高了模型的训练效率，提高了模型输出的稳定性，提升了用户体验。
附图说明
[0016]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的
附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]图1为本专利技术实施例提供的一种图像转换模型的处理方法的流程图；
[0018]图2为本专利技术实施例提供的一种图像转换模型的结构示意图；
[0019]图3为本专利技术实施例提供的一种生成器的结构示意图；
[0020]图4为专利技术实施例提供的一种图像处理模块的结构示意图；
[0021]图5为本专利技术实施例提供的一种图像初始特征学习热力图；
[0022]图6为本专利技术实施例提供的本专利技术实施例提供的一种判别器的结构示意图；
[0023]图7为本专利技术实施例提供的另一种图像转换模型的结构示意图；...

【技术保护点】

【技术特征摘要】
1.一种图像转换模型的处理方法，其特征在于，所述方法包括：获取样本图像；其中，所述样本图像为舰船的遥感光学图像；将所述样本图像输入到预先训练完成的图像转换模型中，输出目标图像；其中，所述目标图像为舰船的侧扫声纳图像；所述图像转换模型包括第一生成器、第二生成器和判别器；所述第一生成器，用于将所述样本图像转换为所述目标图像；所述第二生成器，用于将所述目标图像转换为重整光学图像；所述判别器用于基于所述目标图像与预先输入所述图像转换模型中的侧扫声纳图像输出所述目标图像的真实度。2.根据权利要求1所述的图像转换模型的处理方法，其特征在于，在获取样本图像的步骤之后，所述方法还包括：将所述样本图像进行预处理；所述预处理至少包括以下之一：裁剪处理、旋转处理、镜像处理、对比度处理、降噪处理或去雾处理。3.根据权利要求1所述的图像转换模型的处理方法，其特征在于，所述生成器包括：依次设置的第一卷积层、第二卷积层、第三卷积层和第四卷积层，在所述第三卷积层和所述第四卷积层之间依次设置有第一转置卷积层和第二转置卷积层；所述第一卷积层后设置有第一图像处理模块，所述第二卷积层后设置有第二图像处理模块，所述第三卷积层后设置有第三图像处理模块；所述第一图像处理模块与所述第一转置卷积层之间采用跳跃连接；所述第二图像处理模块与所述第二转置卷积层之间采用跳跃连接；所述第三图像处理模块与所述第四卷积层之间采用跳跃连接。4.根据权利要求3所述的图像转换模型的处理方法，其特征在于，所述图像处理模块包括：通道注意力单元和空间注意力单元；所述通道注意力单元，用于基于初始输入特征图确定通道权重系数；所述空间注意力单元，用于基于所述初始输入特征图确定空间权重系数；所述图像处理模块，用于将所述初始输入特征图与所述通道权重系数和所述空间权重系数分别进行元素相乘后的结果进行元素相加，确定输出特征。5.根据权利要求4所述的图像转换模型的处理方法，其特征在于，所述通道注意力单元包括：第一最大池化层、第一平均池化层和多层感知器；所述第一最大池化层，用于基于所述初始输入特征图确定第一特征图；所述第一平均池化层，用于基于所述初始输入特征图确定第二特征图；所述多层感知器，用于基于所述第一特征图和所述第二特征图确定第一输出特征和第二输出特征；所述通道注意力单元，用于将所述第一输出特征和所述第二输出特征进行基于张量的加操作得到第...

【专利技术属性】
技术研发人员：汤寓麟，边少锋，金绍华，余德荧，李厚朴，王黎明，纪兵，
申请(专利权)人：中国人民解放军海军工程大学，
类型：发明
国别省市：