一种基于宽松空间结构对齐样本的增强方法及系统技术方案

本发明专利技术涉及机器视觉技术领域，尤其涉及一种基于宽松空间结构对齐样本的增强方法及系统，其方法包括对源域输入噪声，以噪声为圆心半径为r的领域中采集一批向量样本；将其从源域转移到目标域，获取这批向量的空间相似性和干扰相关一致性损失；构建源域和目标域相同层的每一对自相关矩阵，并对源域和目标域相同层的每一对自相关矩阵进行损失约束，获得自相关一致性损失；通过干扰相关一致性损失和自相关一致性损失，获取这批向量之间的空间结构一致性损失；将源域中原始潜在空间压缩到靠近目标域的一个子空间，获得最终目标域；使用StyleGANv2模型分别在不同的源域进行预训练；将预训练好的StyleGANv2模型进行不同场景的最终目标域的匹配，获得最终的StyleGANv2模型。型。型。

【技术实现步骤摘要】
一种基于宽松空间结构对齐样本的增强方法及系统


[0001]本专利技术涉及机器视觉
，尤其涉及一种基于宽松空间结构对齐样本的增强方法及系统。

技术介绍

[0002]目前，生成对抗网络(GANs)在各种计算机视觉场景中取得了很好的结果，如自然图像合成、图像到图像的转换和图像修复等。同时，GANs是出了名的难以训练，其训练一个图像生成模型通常需要数千张图像和几十个小时的训练时间。如果没有足够的训练数据，GANs很容易发生过拟合和崩溃。
[0003]为了解决这一问题，研究人员开始关注有限样本有效GAN训练。一个简单有效的方案就是将大规模预训练的模型适配到包含少量数据的目标域上，然而，现有方法在给定少量样本(如少于10个样本)的时候，容易发生模型过度拟合和崩溃现象。另一个方案是对训练数据进行数据增强从而提升模型的鲁棒性，然而这类方法通常也只适用于训练数据大于100个样本的场景。

技术实现思路

[0004]本专利技术的第一目的在于提出一种基于宽松空间结构对齐样本的增强方法，能够在少量样本的情况下生成有着极佳效果的适应模型，其通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于宽松空间结构对齐样本的增强方法，其特征在于，包括以下步骤：S1、对源域输入噪声，以噪声为圆心半径为r的领域中采集一批向量样本；S2、将这批向量样本从源域转移到目标域，获取这批向量在源域与目标域之间的空间相似性和干扰相关一致性损失；S3、构建源域和目标域相同层的每一对自相关矩阵，并对源域和目标域相同层的每一对自相关矩阵进行损失约束，获得源域和目标域之间的自相关一致性损失；S4、通过干扰相关一致性损失和自相关一致性损失，获取这批向量之间的空间结构一致性损失；S5、将源域中原始潜在空间压缩到靠近目标域的一个子空间，获得最终目标域；S6、使用StyleGANv2模型分别在不同的源域进行预训练；S7、将预训练好的StyleGANv2模型进行不同场景的最终目标域的匹配，获得最终的StyleGANv2模型。2.根据权利要求1所述的一种基于宽松空间结构对齐样本的增强方法，其特征在于，在S2中，所述获取这批向量在源域与目标域之间的空间相似性，具体通过如下公式获取：S2中，所述获取这批向量在源域与目标域之间的空间相似性，具体通过如下公式获取：其中为任意两个向量样本z
j
和z
k
第l层特征的空间相似性，其对于位置(x,y)，通过特征之间的余弦相似度的Softmax函数计算；Q是计算(x,y)对应区域的位置，f
l
为第l层的特征图；所述获取这批向量在源域与目标域之间的干扰相关一致性损失，具体通过如下公式获取：其中L
dcc
(Gt,G
s
)表示源域和目标域之间的干扰相关一致性损失；表示维度潜在空间；表示两个任意向量样本z
j
和z
k
的特征图f
l
在目标域G
t
的像素级空间相关性；表示两个任意向量样本z
j
和z
k
的特征图f
l
在源域G
s
的像素级空间相关性。3.根据权利要求2所述的一种基于宽松空间结构对齐样本的增强方法，其特征在于，在S3中，所述每一对自相关矩阵的计算方法如下：式中，f
l
∈R
c
×
w
×
h
为第l
th
层的卷积核，即feature map，f
l
(x,y)是一个c维向量，cos(f
l
(x,y),f
l
(i,j))为余弦相似函数；所述获得源域和目标域之间的自相关一致性损失，具体通过如下公式获取：式中，Lscc(Gt,Gs)表示源域G
t
和目标域G
s
之间的自相关一致性损失，表示维度
潜在空间；l1表示平均绝对误差，采用一种常用的回归损失函数；和分别表示目标域G
t
和源域G
s
在第l
th
层位置(x,y)的自相关矩阵。4.根据权利要求3所述的一种基于宽松空间结构对齐样本的增强方法，其特征在于，在S4中，所述获取这批向量之间的空间结构一致性损失，具体通过如下公式获取：其中
ɑ
和β均为比值参数，L
scc
表示自相关一致性损失，L
dcc
表示干扰相关一致性损失。5.根据权利要求4所述的一种基于宽松空间结构对齐样本的增强方法，其特征在于，在S5中，所述将潜在空间压缩到靠近目标域的一个子空间，获得最终目标域，具体通过如下公式获取：式获取：式中，是反潜伏代码集；是的共轭矩阵；A
l
为组成的n列矩阵；是A
l
的转置矩阵；是输入噪声z对应l层的潜码；
ɑ
l
为调制系数，通过最小二乘法对进行调制；是噪声矢量的投影代码。6.一种基于宽松空间结构对齐样本的增强系统，其特征在于，采用如权利要求1
‑
5任一项所述的一种基于宽松空间结构对齐样本的增强方法，包括：样本采集模块，用于执行对源域输入噪声，以噪声为圆心半径为r的领域中采集一批向量样本；第一获取模型，用...

【专利技术属性】
技术研发人员：王华龙，黄河，李泽辉，杨海东，
申请(专利权)人：佛山市南海区广工大数控装备协同创新研究院，
类型：发明
国别省市：