基于融合空间关系的小样本自编码神经网络模型的方法技术

本发明专利技术公开了基于融合空间关系的小样本自编码神经网络模型的方法，包括：采集图像F1，并图像F1输入至数据输入层；卷积层1将经过数据输入层后的图像F1卷积处理后得到图像F2；图像F2经过逆残差卷积层进行特征提取，得到特征图F3；SE逆残差卷积层对特征图F3进行特征提取，并输出特征图F4；特征图F4经空间关系自编码模块融合空间关系并进行自编码得到特征图F5，并将特征图F5输出至编码空间。本发明专利技术在小样本特征提取网络中融合空间关系自编码模块，设计了空间位置自匹配编码的算法，通过学习局部特征的空间位置自匹配编码信息，提高特征提取能力，增强网络在新样本上的泛化特性，提升了小样本数据分类的准确率。了小样本数据分类的准确率。了小样本数据分类的准确率。

【技术实现步骤摘要】
基于融合空间关系的小样本自编码神经网络模型的方法


[0001]本专利技术涉及的
，尤其涉及基于融合空间关系的小样本自编码神经网络模型的方法。

技术介绍

[0002]由于深度学习自身有大量参数需要调整的特性，现今的小样本学习方法在效果上还和传统大数据深度学习方法有较大差距，特别是在待预测类别增多的情况下，效果会下降得更厉害。目前小样本学习主要存在如下两个问题，一是由于样本量小，网络不易学习到有效的特征提取能力，所提取特征区分力差，识别准确度低。二也是由于样本量小，网络容易过拟合，仅对学习过的样本有较好的识别能力，在新的待测样本上识别效果下降严重。

技术实现思路

[0003]本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
[0004]鉴于上述现有存在的问题，提出了本专利技术。
[0005]因此，本专利技术解决的技术问题是：小样本网络的特征提取能力及模型泛化能力差的问题。
[0006]为解决上述技术问题，本专利技术提供如下技术方案：采集图像F1，将所述图像F1的尺寸设置为256
×
256
×
3，并将所述尺寸为256
×
256
×
3的图像F1输入至数据输入层；卷积层1将经过数据输入层后的图像F1卷积处理后得到尺寸为128
×
128
×
16的图像F2；所述图像F2经过逆残差卷积层进行特征提取，得到尺寸为32
×
32
×
24的特征图F3；SE逆残差卷积层对特征图F3进行特征提取，并输出尺寸为16
×
16
×
64的特征图F4；所述特征图F4经空间关系自编码模块融合空间关系并进行自编码得到尺寸为16
×
16
×
64的特征图F5，并将所述特征图F5输出至编码空间。
[0007]作为本专利技术所述的基于融合空间关系的小样本自编码神经网络模型的方法的优选方案，其中：所述卷积层1的卷积核尺寸为3
×
3，核个数为16，步长为2；所述逆残差卷积层包括逆残差卷积层1、逆残差卷积层2和逆残差卷积层3，且所述逆残差卷积层1、逆残差卷积层2和逆残差卷积层3都是由两个1
×
1卷积和一个3
×
3卷积组成；
[0008]所述SE逆残差卷积层包括SE逆残差卷积1、SE逆残差卷积2、SE逆残差卷积3。
[0009]作为本专利技术所述的基于融合空间关系的小样本自编码神经网络模型的方法的优选方案，其中：所述逆残差卷积层中逆残差结构在1
×
1卷积之后增加了一个分支为两个3
×
3的卷积相当于一个5
×
5卷积的感受野，两个分支按不同比例捕获上下文特征信息，并引用超参数C
′
对通道进行挤压和通道数上的拼接，将两个分支捕获的特征信息进行合并，使用1
×
1卷积把通道数输出调整为设定的通道数C。
[0010]作为本专利技术所述的基于融合空间关系的小样本自编码神经网络模型的方法的优
选方案，其中：包括，
[0011]空间关系自编码模块以特征提取网络提取的三维特征f
θ
(x)作为输入，生成表示每个通道重要程度的一维向量，所述融合通道注意力网络使用平均池化层对f
θ
(x)进行池化降维，使得输出为一个通道数为C的一维向量，通过全连接层压缩通道使通道数变为C/r，再通过一个全连接层扩张通道数为原来的C个通道，并使用sigmoid函数激活得到了代表原特征图不同通道特征图重要程度的权重w∈R
C
。
[0012]作为本专利技术所述的基于融合空间关系的小样本自编码神经网络模型的方法的优选方案，其中：包括，
[0013]利用广播机制将权重w广播成三维张量与通道注意力模块f
θ
(x)相乘，并加到述通道注意力模块的特征图f
θ
(x)上以生成强化后的特征图f
Φ
(f
θ
(x))，所权重w和所述特征图f
Φ
(f
θ
(x))的计算包括，
[0014][0015]f
Φ
(f
θ
(x))＝baroadcast(w)
×
f
θ
(x)+f
θ
(x)
[0016]其中，f
p1
表示全局平均池化层，表示输入通道数为C、输出通道数为C/r的全连接层，表示输入通道数为C/r、输出通道数为C的全连接层，σ表示sigmoid激活函数。
[0017]作为本专利技术所述的基于融合空间关系的小样本自编码神经网络模型的方法的优选方案，其中：特征和通道特征增强的特征图的获取包括，
[0018]主通道先使用1
×
1卷积扩充通道，再使用3
×
3的卷积，最后再使用1
×
1卷积来进行还原通道并进行求和处理；
[0019]通道注意力网络在逆残差结构使用1
×
1卷积扩充通道后，通过使用全局平均池化特征图的空间信息，进行充分提取之后得到C
×1×
1的特征向量，再将C
×1×
1的向量送入输入C输出C/r的全连接层，压缩通道后再送入输入C/r输出C的另一个全连接层扩张通道，再使用sigmoid函数激活从而得到了代表通道特征图重要程度的权重C
×1×
1的的一维权重向量；
[0020]将送入通道注意力网络之前的特征图与得到的通道特征权重向量广播点乘，再使用1
×
1的卷积还原到原通道的特征图，最终和逆残差结构的特征图相加得到了特征和通道特征增强的特征图。
[0021]作为本专利技术所述的基于融合空间关系的小样本自编码神经网络模型的方法的优选方案，其中：包括，
[0022]空间关系自编码模块从逆残差网络得到提取的特征图f
Φ
(f
θ
(x))，按通道组织为H
×
W个C维的向量，设定每个区域的局部特征为向量S
i
∈R
C
，i＝1,
…
H
×
W。
[0023]作为本专利技术所述的基于融合空间关系的小样本自编码神经网络模型的方法的优选方案，其中：通过一组可学习的参数{a
1,j
,
…
a
i,j
…
,a
H
×
W,j
}将每个区域的局部特征映射到位置j处，得到位置j处新的局部特征向量为s
j
，j＝1,本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于融合空间关系的小样本自编码神经网络模型的方法，其特征在于，包括：采集图像F1，将所述图像F1的尺寸设置为256
×
256
×
3，并将所述尺寸为256
×
256
×
3的图像F1输入至数据输入层；卷积层1将经过数据输入层后的图像F1卷积处理后得到尺寸为128
×
128
×
16的图像F2；所述图像F2经过逆残差卷积层进行特征提取，得到尺寸为32
×
32
×
24的特征图F3；SE逆残差卷积层对特征图F3进行特征提取，并输出尺寸为16
×
16
×
64的特征图F4；所述特征图F4经空间关系自编码模块融合空间关系并进行自编码得到尺寸为16
×
16
×
64的特征图F5，并将所述特征图F5输出至编码空间。2.如权利要求1所述的基于融合空间关系的小样本自编码神经网络模型的方法，其特征在于：所述卷积层1的卷积核尺寸为3
×
3，核个数为16，步长为2；所述逆残差卷积层包括逆残差卷积层1、逆残差卷积层2和逆残差卷积层3，且所述逆残差卷积层1、逆残差卷积层2和逆残差卷积层3都是由两个1
×
1卷积和一个3
×
3卷积组成；所述SE逆残差卷积层包括SE逆残差卷积1、SE逆残差卷积2、SE逆残差卷积3。3.如权利要求2所述的基于融合空间关系的小样本自编码神经网络模型的方法，其特征在于：所述逆残差卷积层中逆残差结构在1
×
1卷积之后增加了一个分支为两个3
×
3的卷积相当于一个5
×
5卷积的感受野，两个分支按不同比例捕获上下文特征信息，并引用超参数C
′
对通道进行挤压和通道数上的拼接，将两个分支捕获的特征信息进行合并，使用1
×
1卷积把通道数输出调整为设定的通道数C。4.如权利要求1～3任一所述的基于融合空间关系的小样本自编码神经网络模型的方法，其特征在于：包括，空间关系自编码模块以特征提取网络提取的三维特征f
θ
(x)作为输入，生成表示每个通道重要程度的一维向量，所述融合通道注意力网络使用平均池化层对f
θ
(x)进行池化降维，使得输出为一个通道数为C的一维向量，通过全连接层压缩通道使通道数变为C/r，再通过一个全连接层扩张通道数为原来的C个通道，并使用sigmoid函数激活得到了代表原特征图不同通道特征图重要程度的权重w∈R
C
。5.如权利要求4所述的基于融合空间关系的小样本自编码神经网络模型的方法，其特征在于：包括，利用广播机制将权重w广播成三维张量与通道注意力模块f
θ
(x)相乘，并加到述通道注意力模块的特征图f
θ
(x)上以生成强化后的特征图f
Φ
(f
θ
(x))，所权重w和所述特征图f
Φ
(f
θ
(x))的计算包括，f
Φ
(f
θ
(x))＝baroadcast(w)
×
f
θ
(x)+f
θ
(x)其中，f
p1
表示全局平均池化层，f
L(C,C/r)
(x)表示输入通道数为C、输出通道数为C/r的全连接层，f
L(C/r,C)
(x)表示输入通道数为C/r、输出通道数为C的全连接层，σ表示sigmoid激活函数。6.如权利要求5所述的基于融合空间关系的小样本自编码神经网络模型的方...

【专利技术属性】
技术研发人员：吴振田，杨志花，罗崇立，尹震超，李森林，王秀竹，钱鑫，廖颖茜，韦荣桃，钟震宇，刘炜伦，吕灵智，龙邹，
申请(专利权)人：广东电力通信科技有限公司，
类型：发明
国别省市：