一种声呐图像合成方法和装置制造方法及图纸

本申请公开了一种声呐图像合成方法和装置，所述方法包括：将待合成的内容图像和风格图像输入图像特征提取网络得到二者的特征；对内容图像的特征进行白化处理，以去除其中的风格特征得到白化特征；将白化特征与风格图像的特征进行融合，得到对内容图像进行风格转换后的目标特征；基于目标特征、图像重建网络和随机噪声进行图像重建，得到合成声呐图像，其中，图像特征提取网络和图像重建网络是基于样本图像训练得到的深度学习网络，二者互为镜像，样本图像为光学图像。该方法和装置在进行图像重建时引入随机噪声对重建的图像进行了平滑处理，使得重建得到的合成声呐图像更接近真实的声呐图像，从而可以解决声呐图像获取成本高，样本数量少的难题。样本数量少的难题。样本数量少的难题。

【技术实现步骤摘要】
一种声呐图像合成方法和装置


[0001]本申请涉及计算机
，尤其涉及一种声呐图像合成方法和装置。

技术介绍

[0002]侧扫声呐是一种利用声波在水下的传播特性，通过电声转换和信息处理，完成水下探测和通讯任务的电子设备。侧扫声呐图像是用侧扫声呐对水下物体进行扫描探测所获得的二维影像。随着人工智能的发展，利用机器学习对声呐图像的研究越来越多，并且越来越重要，但获取声呐图像的实验成本较高，导致声呐图像样本稀缺，进而导致基于机器学习的声呐图像研究发展较为缓慢，利用光学图像合成声呐图像成为一条可行的道路。
[0003]目前，图像合成技术主要应用于光学图像，例如PhotoWCT是一种合成效果非常好的光学图像合成技术方案，该技术方案将参考图像的风格转换到内容照片中，从而合成可以达到照片级别逼真程度的图像。由于该技术方案的目的是合成具有照片级别真实的图像，因此在图像细节方面表现非常好。而基于声波的声呐图像显示的更多的是轮廓而非具体细节，所以用该方案合成侧扫声纳图像与真实的侧扫声纳图像之间的差异较为明显，不能很好的适用于合成侧扫声纳图像。
[0004]可见，亟需提出一种更接近真实的侧扫声呐图像的声呐图像合成方案，以解决声呐图像获取成本高，样本数量少的难题。

技术实现思路

[0005]本申请实施例提供一种声呐图像合成方法和装置，以合成更接近真实侧扫声呐图像的声呐图像，从而解决声呐图像获取成本高，样本数量少的难题。
[0006]第一方面，本申请实施例提供一种声呐图像合成方法，包括：将待合成的内容图像和风格图像输入图像特征提取网络，得到所述内容图像的特征和所述风格图像的特征，其中，所述内容图像为光学图像，所述风格图像为真实声呐图像，所述特征提取网络是基于样本图像训练得到的深度学习网络，所述样本图像为光学图像；对所述内容图像的特征进行白化处理，以去除所述内容图像中的风格特征，得到所述内容图像的白化特征；将所述白化特征与所述风格图像的特征进行融合，得到对所述内容图像进行风格转换后的目标特征；基于所述目标特征、图像重建网络和随机噪声进行图像重建，得到合成声呐图像，其中，所述合成声呐图像具有所述内容图像的内容和所述风格图像的风格，所述图像重建网络是基于所述样本图像训练得到的深度学习网络，所述图像重建网络为所述特征提取网络的镜像网络，且所述特征提取网络与所述图像重建网络是基于所述样本图像的重建损失最小化的优化策略训练得到的。
[0007]第二方面，本申请实施例还提供一种声呐图像合成装置，包括：
特征提取模块，用于将待合成的内容图像和风格图像输入图像特征提取网络，得到所述内容图像的特征和所述风格图像的特征，其中，所述内容图像为光学图像，所述风格图像为真实声呐图像，所述特征提取网络是基于样本图像训练得到的深度学习网络，所述样本图像为光学图像；白化处理模块，用于对所述内容图像的特征进行白化处理，以去除所述内容图像中的风格特征，得到所述内容图像的白化特征；特征融合模块，用于将所述白化特征与所述风格图像的特征进行融合，得到对所述内容图像进行风格转换后的目标特征；图像重建模块，用于基于所述目标特征、图像重建网络和随机噪声进行图像重建，得到合成声呐图像，其中，所述合成声呐图像具有所述内容图像的内容和所述风格图像的风格，所述图像重建网络是基于所述样本图像训练得到的深度学习网络，所述图像重建网络为所述特征提取网络的镜像网络，且所述特征提取网络与所述图像重建网络是基于所述样本图像的重建损失最小化的优化策略训练得到的。
[0008]第四方面，本申请实施例还提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的方法的步骤。
[0009]第五方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法的步骤。
[0010]本申请实施例采用的上述至少一个技术方案，由于在基于对内容图像进行风格转换后的目标特征和图像重建网络进行图像重建时，引入随机噪声对重建的图像进行了平滑处理，因此，使得重建得到的合成声呐图像更接近真实的侧扫声呐图像，从而可以解决声呐图像获取成本高，样本数量少的难题。
附图说明
[0011]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是本申请实施例提供的一种声呐图像合成方法进行声呐图像合成前的深度学习网络训练流程示意图;图2是本申请实施例提供的深度学习网络的结构示意图;图3A是本申请实施例提供的图像特征提取网络的一种结构示意图;图3B是图3A中卷积模块2_x中第一个残差模块的结构示意图;图4是本申请实施例提供的深度学习网络训练过程中的图像重建原理示意图;图5是本申请实施例提供的一种声呐图像合成方法的流程示意图;图6A是本申请实施例提供的一种声呐图像合成方法的原理示意图;图6B是图6A中的混合池化层的结构示意图;图7是本申请实施例提供的一种声呐图像合成方法中图像重建部分的原理示意图;图8A是利用PhotoWCT合成的声呐图像的效果示意图;
图8B是利用本申请实施例提供的一种声呐图像合成方法，在随机噪声强度为1级时合成的声呐图像的效果示意图;图8C是利用本申请实施例提供的一种声呐图像合成方法，在随机噪声强度为2级时合成的声呐图像的效果示意图;图8D是利用本申请实施例提供的一种声呐图像合成方法，在随机噪声强度为3级时合成的声呐图像的效果示意图;图8E是利用本申请实施例提供的一种声呐图像合成方法，在随机噪声强度为4级时合成的声呐图像的效果示意图;图8F是利用本申请实施例提供的一种声呐图像合成方法，在随机噪声强度为5级时合成的声呐图像的效果示意图;图9是本申请实施例提供的一种声呐图像合成装置的结构示意图;图10是本申请实施例提供的一种声呐图像合成装置中的网络训练模块的详细结构示意图;图11是本申请实施例提供的一种电子设备的结构示意图。
[0012]具体实施方式
[0013]为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0014]为了合成更接近真实的侧扫声呐图像的声呐图像，以解决声呐图像获取成本高，样本数量少的难题，本申请实施例提供了一种声呐图像合成方法和装置，该方法可由电子设备执行，如终端设备或服务器，或者，该方法可由安装在电子设备中的软件执行。其中，所述终端设备包括但不限于：智能手机、个人电脑（personal computer，PC）、笔记本电脑、平板电脑、电子阅读器、网络电视、可穿戴设备等智能终端设备中的任一种；其中，服务器可以是保险公司本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种声呐图像合成方法，其特征在于，所述方法包括：将待合成的内容图像和风格图像输入图像特征提取网络，得到所述内容图像的特征和所述风格图像的特征，其中，所述内容图像为光学图像，所述风格图像为真实声呐图像，所述特征提取网络是基于样本图像训练得到的深度学习网络，所述样本图像为光学图像；对所述内容图像的特征进行白化处理，以去除所述内容图像中的风格特征，得到所述内容图像的白化特征；将所述白化特征与所述风格图像的特征进行融合，得到对所述内容图像进行风格转换后的目标特征；基于所述目标特征、图像重建网络和随机噪声进行图像重建，得到合成声呐图像，其中，所述合成声呐图像具有所述内容图像的内容和所述风格图像的风格，所述图像重建网络是基于所述样本图像训练得到的深度学习网络，所述图像重建网络为所述特征提取网络的镜像网络，且所述特征提取网络与所述图像重建网络是基于所述样本图像的重建损失最小化的优化策略训练得到的。2.根据权利要求1所述的方法，其特征在于，在所述将待合成的内容图像和风格图像输入图像特征提取网络，得到所述内容图像的特征和所述风格图像的特征前，所述方法还包括：基于样本图像训练所述图像特征提取网络和所述图像重建网络。3.根据权利要求2所述的方法，其特征在于，所述基于样本图像训练所述图像特征提取网络和所述图像重建网络，包括：将样本图像输入所述图像特征提取网络，得到所述样本图像的特征；基于所述样本图像的特征和所述图像重建网络进行所述样本图像的重建，得到所述样本图像的重建图像；基于所述重建图像和所述样本图像，确定所述样本图像的重建损失；基于所述重建损失最小化的优化策略，对所述图像特征提取网络和所述图像重建网络进行优化。4.根据权利要求3所述的方法，其特征在于，所述图像特征提取网络包括多个卷积模块和多个最大池化层，一个卷积模块中包含至少一个卷积层，一个卷积模块后设置一个最大池化层，在所述基于所述样本图像的特征和所述图像重建网络进行所述样本图像的重建，得到所述样本图像的重建图像前，所述方法还包括：在基于所述最大池化层对输入该层的所述样本图像的特征矩阵进行下采样时，记录下采样结果中的值在该特征矩阵中的位置信息，并将该位置信息记为第一位置信息，且一个最大池化层对应一次下采样，一次下采样对应记录一次第一位置信息；其中，基于所述样本图像的特征和所述图像重建网络进行所述样本图像的重建，得到所述样本图像的重建图像，包括：基于所述图像重建网络中的反池化层和相应的第一位置信息，对输入该层的所述样本图像的特征矩阵进行上采样，以得到所述样本图像的重建图像，其中所述反池化层为相应最大池化层的镜像。5.根据权利要求4所述的方法，其特征在于，在所述对所述内容图像的特征进行白化处理前，所述方法还包括：
在基于所述最大池化层对输入该层的所述内容图像的特征矩阵进行下采样时，记录下采样结果中的值在该特征矩阵中的位置信息，并将该位置信息记为第二位置信息，且一个最大池化层对应一次下采样，一次下采样对应记录一次第二位置信息；其中，所述基于所述目标特征、图像重建网络和随机噪声进行图像重建，得到合成声呐图像，包括：基于所述反池化层和相应的第二位置信息，对输入该层的所述内容图像的特征矩阵进行上采样，并在上采样结果上叠加随机噪声，以得到合成声呐图像。6.根据权利要求5所述的方法，其特征在于，所述基于所述反池化层和相应的第二位置信息，对输入该层的所述内容图像的特征矩阵进行上采样，并在上采样结果上叠加随机噪声，以得到合成声呐图像，包括：基于所述反池化层对输入该层的所述内容图像的特征矩阵在相应第二位置信息中记录的相应位置上进行上采样，并在上采样结果中除该第二位置信息中记录的位置之外的位置上添加随机噪声，以得到合成声呐图像。7.根据权利要求6所述的方法，其特征在于，所述随机噪声的强度可调，其中，所述在上采样结果中除该第二位置信息中记录的位置之外的位置上添加随机噪声，以得到合成声呐图像，包括：在上采样结果中除该第二位置信息中记录的位置之外的位置上添加多种强度的随机噪声，以得到多种噪声强度下的多个合成声呐图像，一种噪声强度对应一个合成声呐图像；以及所述方法还包括：将所述多个合成声呐图像与真实侧扫声呐图像进行比较，以从所述多个合成声呐图像中选择出最接近所述真实侧扫声呐图像的目标合成声呐图像；将所述目标合成声呐图像对应的随机噪声强度，确定为合成声呐图像的基准噪声强度。8.根据权利要求3
‑
7任一项所述的方法，其特征在于，在所述将样本图像输入所述图像特征提取网络，得到所述样本图像的特征前，所述方法还包括：对所述样本图像进行预处理。9.根据权利要求8所述的方法，其特征在于，在所述将待合成的内容图像和风格图像输入图像特征提取网络，得到所述内容图像的特征和所述风格图像的特征前，所述方法还包括：对所述内容图像和所述风格图像进行预处理。10.一种声呐图像合成装置，其特征在于，所述装置包括：特征提取模块，用于将待合成的内容图像和风格图像输入图像特征提取网络，得到所述内容图像的特征和所述风格图像的特征，其中，所述内容图像为光学图像，所述风格图像为真实声呐图像，所述特征提取网络是基于样本图像训练得到的深度学习网络，所述样本图像为光学图像；白化处理模块，用于对所述内容图像的特征进行白化处理，以去除所述内容图像中的风格特征，得到所述内容图像的白化特征；特征融合模块，用于将所述白化特征与所述风格图像的特征进行融合，得到对所述内
容图像进行风格转换后的目标特征；图像重建模块，用于基于所述目标特征、图像重建网络和随机噪声进行图像重建，得到合成声呐图像，其中，所述合成声呐图像具有所述内容图像的内容和所述风格图像的风格，所述图像重建网络是基于所述样本图像训练得到的深度学习网络，所述图像重建网络为所述特征提取网络的镜像网络，且所述特征提取网络与所述图像重建网络是基于所述样本图像的重建损失...

【专利技术属性】
技术研发人员：张庆港，
申请(专利权)人：北京星天科技有限公司，
类型：发明
国别省市：