基于异源特征融合的图像生成方法、可读存储介质技术

基于异源特征融合的图像生成方法、可读存储介质，该方法包括：获取源图像以及每个目标图像多个不同分辨率的第一特征图；选取源图像、每个目标图像分辨率相同的第一特征图作为第一待融合特征图，执行第一特征融合步骤得到融合特征图；按预定顺序依次选取源图像、每个目标图像分辨率相同的第一特征图作为第二待融合特征图执行第二特征融合步骤；在第一特征融合步骤，根据预设的掩膜图从各第一待融合特征图中选取像素点组成融合特征图，在第二特征融合步骤，将各第二待融合特征图分别与融合特征图进行特征融合再作为第一待融合特征图执行第一特征融合步骤。该方法对来自不同图像的特征进行多尺度的特征融合，能够合成更为真实的图像。的图像。的图像。

【技术实现步骤摘要】
基于异源特征融合的图像生成方法、可读存储介质


[0001]本专利技术涉及图像处理
，具体涉及一种基于异源特征融合的图像生成方法、可读存储介质。

技术介绍

[0002]近年来，深度学习成为了国内外各大领域关注的焦点，深度学习包括了监督学习和无监督学习两类。在计算机视觉领域，监督学习指的是通过图像和与图像一一对应的标注信息训练神经网络，使其能够完成分类、目标检测和语义分割等工作。无监督学习只需要图像，不需要额外的标注信息进行训练。
[0003]在大多数场景下，监督学习的效果比无监督学习更好，但由于监督学习需要大量的图像和标注信息，极大地限制了深度学习算法的验证和落地，因为：一方面，标注图像费时费力；另一方面，对于缺陷检测等工业场景，通常样本比较匮乏，尤其是缺陷样本，因此能够获得的缺陷图像数量少，难以收集到足够数量的样本。
[0004]为了弥补工业缺陷检测中缺陷图像样本不足的问题，当前主要是通过缺陷的剪切和拼接技术实现多种不同缺陷的融合，生成新的缺陷图像样本，但通过这种技术融合后的缺陷与真实样本之间差异较大，并且边缘差异明显。例如现有的基于抠图算法的图像合成技术，由于来自不同图像的图像块之间存在不一致的问题，导致合成的图像出现像素不连续、存在尖锐的边缘、光照不一致等情况。

技术实现思路

[0005]本专利技术主要解决的技术问题是现有的图像合成方法所生成的图像与真实图像之间差异较大的问题。
[0006]根据第一方面，一种实施例中提供一种基于异源特征融合的图像生成方法，包括：/>[0007]获取源图像、目标图像和掩膜图，其中目标图像为一个或多个；
[0008]分别对所述源图像以及每个所述目标图像进行特征提取，获得所述源图像的第一特征图组以及每个所述目标图像的第一特征图组，其中第一特征图组包括多个不同分辨率的第一特征图；
[0009]选取所述源图像、每个所述目标图像的第一特征图组中分辨率相同的第一特征图作为第一待融合特征图，执行第一特征融合步骤得到融合特征图；
[0010]第一特征融合步骤，对于各第一待融合特征图上位置对应的像素点，根据所述掩膜图选取其中一个第一待融合特征图的像素点，作为融合特征图对应位置处的像素点，由各位置处选取的像素点组成融合特征图，其中掩膜图用于标识融合特征图中每个像素点的来源；
[0011]按预定顺序依次选取所述源图像、每个所述目标图像的第一特征图组中分辨率相同的第一特征图作为第二待融合特征图，执行第二特征融合步骤，直至所述源图像、每个所述目标图像的第一特征图组中的第一特征图都已执行过第二特征融合步骤；
[0012]第二特征融合步骤，将各第二待融合特征图分别与融合特征图进行特征融合，将特征融合得到的图像作为第一待融合特征图执行所述第一特征融合步骤，由第一特征融合步骤的结果得到新的融合特征图；
[0013]将最终得到的融合特征图经过卷积和非线性激活函数得到合成图像。
[0014]根据第二方面，一种实施例中提供一种基于异源特征融合的图像生成方法，包括：
[0015]获取源图像、目标图像和掩膜图，其中目标图像为一个或多个；
[0016]分别对所述源图像以及每个所述目标图像进行特征提取，获得所述源图像的第一特征图组以及每个所述目标图像的第一特征图组，其中第一特征图组包括多个不同分辨率的第一特征图；
[0017]选取所述源图像、每个所述目标图像的第一特征图组中分辨率相同的第一特征图，对选取的所述目标图像的第一特征图和所述掩膜图进行相同的几何变换，之后将所选取的所述源图像、所述目标图像的第一特征图作为第一待融合特征图，执行第一特征融合步骤得到融合特征图；
[0018]第一特征融合步骤，对于各第一待融合特征图上位置对应的像素点，根据所述掩膜图选取其中一个第一待融合特征图的像素点，作为融合特征图对应位置处的像素点，由各位置处选取的像素点组成融合特征图，其中掩膜图用于标识融合特征图中每个像素点的来源；
[0019]按预定顺序依次将所述源图像、每个所述目标图像的第一特征图组中分辨率相同的第一特征图作为第二待融合特征图，执行第二特征融合步骤，直至所述源图像、每个所述目标图像的第一特征图组中的第一特征图都已执行过第二特征融合步骤；
[0020]第二特征融合步骤，将各第二待融合特征图分别与融合特征图进行特征融合，将特征融合得到的图像作为第一待融合特征图执行所述第一特征融合步骤，由第一特征融合步骤的结果得到新的融合特征图；
[0021]将最终得到的融合特征图经过卷积和非线性激活函数得到合成图像。
[0022]一种实施例中，所述分别对所述源图像以及每个所述目标图像进行特征提取，获得所述源图像的第一特征图组以及每个所述目标图像的第一特征图组，包括：
[0023]分别将所述源图像以及每个所述目标图像输入特征提取网络，得到所述源图像以及每个所述目标图像N个分辨率递减的特征图，将这些特征图作为第一特征图组成第一特征图组；
[0024]其中所述特征提取网络包括N个下采样模块，每个下采样模块产生一个特征图，N为正整数且N≥2。
[0025]一种实施例中，每个所述下采样模块包括一个下采样层和若干个卷积
‑
激活层。
[0026]一种实施例中，所述选取所述源图像、每个所述目标图像的第一特征图组中分辨率相同的第一特征图作为第一待融合特征图，执行第一特征融合步骤得到融合特征图，具体为：选取所述源图像、每个所述目标图像的第N个第一特征图作为第一待融合特征图，执行第一特征融合步骤得到融合特征图；
[0027]所述按预定顺序依次将所述源图像、每个所述目标图像的第一特征图组中分辨率相同的第一特征图作为第二待融合特征图，执行第二特征融合步骤，具体为：从所述源图像、每个所述目标图像的第一特征图组的第N个第一特征图开始到第1个第一特征图为止，
依次将所述源图像、每个所述目标图像的第一特征图组中的第一特征图作为第二待融合特征图，执行第二特征融合步骤；
[0028]所述由第一特征融合步骤的结果得到新的融合特征图具体为：将第一特征融合步骤的结果输入解码器网络的上采样模块得到新的融合特征图；
[0029]其中所述解码器网络对应的编码器网络为所述特征提取网络，所述解码器网络包括N个上采样模块，第n个上采样模块的输入为第N+1
‑
n个第一特征图执行第二特征融合步骤时其中的第一特征融合步骤的结果，输出为与第N
‑
n个第一特征图分辨率相同的特征图，其中第N个上采样模块的输出为与源图像、目标图像分辨率相同的特征图，n＝1,2
…
N。
[0030]一种实施例中，每个所述上采样模块包括一个上采样层和若干个卷积
‑
激活层。
[0031]一种实施例中，所述编码器网络和所述解码器网络通过以下方式进行训练：
[0032]由所述编码器网络和所述解码器网络组成生成器，并与预先构建的判别器组成一生成对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于异源特征融合的图像生成方法，其特征在于，包括：获取源图像、目标图像和掩膜图，其中目标图像为一个或多个；分别对所述源图像以及每个所述目标图像进行特征提取，获得所述源图像的第一特征图组以及每个所述目标图像的第一特征图组，其中第一特征图组包括多个不同分辨率的第一特征图；选取所述源图像、每个所述目标图像的第一特征图组中分辨率相同的第一特征图作为第一待融合特征图，执行第一特征融合步骤得到融合特征图；第一特征融合步骤，对于各第一待融合特征图上位置对应的像素点，根据所述掩膜图选取其中一个第一待融合特征图的像素点，作为融合特征图对应位置处的像素点，由各位置处选取的像素点组成融合特征图，其中掩膜图用于标识融合特征图中每个像素点的来源；按预定顺序依次选取所述源图像、每个所述目标图像的第一特征图组中分辨率相同的第一特征图作为第二待融合特征图，执行第二特征融合步骤，直至所述源图像、每个所述目标图像的第一特征图组中的第一特征图都已执行过第二特征融合步骤；第二特征融合步骤，将各第二待融合特征图分别与融合特征图进行特征融合，将特征融合得到的图像作为第一待融合特征图执行所述第一特征融合步骤，由第一特征融合步骤的结果得到新的融合特征图；将最终得到的融合特征图经过卷积和非线性激活函数得到合成图像。2.一种基于异源特征融合的图像生成方法，其特征在于，包括：获取源图像、目标图像和掩膜图，其中目标图像为一个或多个；分别对所述源图像以及每个所述目标图像进行特征提取，获得所述源图像的第一特征图组以及每个所述目标图像的第一特征图组，其中第一特征图组包括多个不同分辨率的第一特征图；选取所述源图像、每个所述目标图像的第一特征图组中分辨率相同的第一特征图，对选取的所述目标图像的第一特征图和所述掩膜图进行相同的几何变换，之后将所选取的所述源图像、所述目标图像的第一特征图作为第一待融合特征图，执行第一特征融合步骤得到融合特征图；第一特征融合步骤，对于各第一待融合特征图上位置对应的像素点，根据所述掩膜图选取其中一个第一待融合特征图的像素点，作为融合特征图对应位置处的像素点，由各位置处选取的像素点组成融合特征图，其中掩膜图用于标识融合特征图中每个像素点的来源；按预定顺序依次将所述源图像、每个所述目标图像的第一特征图组中分辨率相同的第一特征图作为第二待融合特征图，执行第二特征融合步骤，直至所述源图像、每个所述目标图像的第一特征图组中的第一特征图都已执行过第二特征融合步骤；第二特征融合步骤，将各第二待融合特征图分别与融合特征图进行特征融合，将特征融合得到的图像作为第一待融合特征图执行所述第一特征融合步骤，由第一特征融合步骤的结果得到新的融合特征图；将最终得到的融合特征图经过卷积和非线性激活函数得到合成图像。3.如权利要求1或2所述的图像生成方法，其特征在于，所述分别对所述源图像以及每
个所述目标图像进行特征提取，获得所述源图像的第一特征图组以及每个所述目标图像的第一特征图组，包括：分别将所述源图像以及每个所述目标图像输入特征提取网络，得到所述源图像以及每个所述目标图像N个分辨率递减的特征图，将这些特征图作为第一特征图组成第一特征图组；其中所述特征提取网络包括N个下采样模块，每个下采样模块产生一个特征图，N为正整数且N≥2。4.如权利要求3所述的图像生成方法，其特征在于，每个所述下采样模块包括一个下采样层和若干个卷积
‑
激活层。5.如权利要求3所述的图像生成方法，其特征在于，所述选取所述源图像、每个所述目标图像的第一特征图组中分辨率相同的第一特征图作为第一待融合特征图，执行第一特征融合步骤得到融合特征图，具体为：选取所述源图像、每个所述目标图像的第N个第一特征图作为第一待融合特征图，执行第一特征融合步骤得到融合特征图；所述按预定顺序依次将所述源图像、每个所述目标图像的第一特征图组中分辨率相同的第一特征图作为第二待融合特征图，执行第二特征融合步骤，具体为：从所述源图像、每个所述目标图像的第一特征图组的第N个第一特征图开始...

【专利技术属性】
技术研发人员：李杰明，杨洋，翟爱亭，郭家元，
申请(专利权)人：深圳市华汉伟业科技有限公司，
类型：发明
国别省市：