基于特征迁移和正交先验的小样本图像分类方法及装置制造方法及图纸

本发明专利技术公开了一种基于特征迁移和正交先验的小样本图像分类方法及装置，在基于深度度量的小样本图像分类研究基础上，研究高辨识度的特征提取的小样本分类框架。通过引入特征迁移和正交先验的小样本图像特征学习，假设新类和基类共享特征提取方式、并假设新类数据的不同类别的特征正交，通过构建一个正交化特征适应网络，来学习正交特征子空间，使得不同类特征彼此正交，从而提高的特征的辨识度。本发明专利技术对小样本学习的理论研究、推动机器识别技术的广泛应用具有非常重要的意义。同时，对我国率先突破小样本学习的理论瓶颈、掌握人工智能的先进技术将起到添砖加瓦的作用。先进技术将起到添砖加瓦的作用。先进技术将起到添砖加瓦的作用。

【技术实现步骤摘要】
基于特征迁移和正交先验的小样本图像分类方法及装置


[0001]本专利技术涉及图像分类
，尤其涉及一种基于特征迁移和正交先验的小样本图像分类方法及装置。

技术介绍

[0002]近年来，随着深度学习的发展，在很多大样本图像分类任务上，机器的识别性能已经超越人类。然而，当样本量比较少时，机器的识别水平仍与人类存在较大差距。因此，少量训练样本的图像分类，尤其是每类仅有一个或几个标记样本的小样本图像分类(Few
‑
shot Image Classification)，近两年得到了研究人员的广泛关注。
[0003]小样本分类(Few
‑
shot Classification)属于小样本学习(Few
‑
shotLearning)范畴，往往包含类别空间不相交的两类数据，即基类数据和新类数据。小样本分类旨在利用基类数据学习的知识和新类数据的少量标记样本(支持样本)来学习分类规则，准确预测新类任务中未标记样本(查询样本)的类别，其框架如图1所示。
[0004]小样本图像分类是当前计算机视觉、人工智能领域中亟待解决的研究问题。现有的、较为成功的大样本图像分类方法严重依赖样本的数量，而现实世界中事物的样本量是服从长尾分布的，即大量事物的样本量都是严重不足的，例如在军事、医疗、工业，天文等领域，样本采集需要消耗大量的人力、物力、时间和经济成本，很难采集大规模的图像样本。因此，开展小样本图像分类的研究对图像分类技术的广泛应用具有重要价值。
[0005]现有技术中，基于深度度量的分类方法，主要通过比较样本间或者样本与类原型间的距离来判断类别。常常结合数据增强、迁移学习等技术来弥补数据量不足以及模型容易过拟合的缺陷，在很多小样本分类任务上获得了较好的分类性能。但与大样图像分类相比，现有小样本图像分类的性能仍不尽人意，很大程度上限制了小样本图像分类技术的实用化，还面临一些问题亟待解决：高辨识度特征学习。对大样本图像分类，现有的深度学习技术可以通过增加模型弹性和样本量来学习高辨识度的图像特征。然而，对标记样本极少的小样本分类任务来说，现有的深度学习技术并不适用。因而，如何基于基类数据和标记样本极少的新类数据，来学习高辨识度的特征表示，是一个值得探索的问题。

技术实现思路

[0006]本专利技术针对小样本图像分类中高辨识度特征学习技术问题，提出一种基于特征迁移和正交先验的小样本图像分类方法及装置。
[0007]为了实现上述目的，本专利技术提供如下技术方案：
[0008]本专利技术首先提供一种基于特征迁移和正交先验的小样本图像分类方法，包括以下步骤：
[0009]S1，数据准备，对图像进行预训练得到嵌入模块f
θ
，提取图像的特征，图像包括训练集和测试集；
[0010]S2，在卷积神经网络模型中引入正交先验的思想，构建基于特征迁移和正交先验
的特征学习网络模型；
[0011]S3，基于训练优化正交先验的特征学习网络模型目标函数；
[0012]S4，利用优化后的图像正交先验的特征学习网络模型对测试集图像进行分类。
[0013]进一步地，步骤S1包括：
[0014]S11，将数据分为和两个部分，且这两个部分类别空间互斥，将D
train
作为基类数据训练模型，D
test
作为新类数据对模型进行测试；
[0015]S12，对于C
‑
way K
‑
shot分类任务，从D
train
中随机选出C个类别，每个类别中随机选出M个样本，其中K个样本作为支持样本S
i
，其余M
‑
K个样本作为查询样本Q
i
，S
i
和Q
i
构成一个任务T
i
，同样对于D
test
有任务
[0016]S13，训练的第一阶段：利用基类数据预训练嵌入模块f
θ
，f
θ
包含4个卷积块，每个卷积块包含卷积层、池化层、非线性激活函数；每个卷积块使用的卷积核窗口大小是3
×
3，一个批量归一化，RGB三通道，一个池化层，采用2
×
2最大池化层，裁剪了最后两个块的最大池化层，一个非线性激活层，其激活函数采用ReLu。
[0017]进一步地，步骤S2基于特征迁移和正交先验的特征学习网络模型中，正交化特征适应网络由三部分组成：嵌入模块f
θ
，正交适应模块和度量模块；正交适应模块由两层卷积层构成，卷积核大小是5
×
5，用于对新类样本特征进行变换以及学习正交化的特征子空间。
[0018]进一步地，步骤S3包括：
[0019]S31，训练的第二阶段，对新类数据进行一个分类任务，将所有的支持样本输入参数固定的嵌入模块f
θ
中，得到对应的支持样本特征f
θ
(S
ck
)；
[0020]S32，利用正交适应模块进行特征变换，得到
[0021]S33，变换后的特征与每个类对应的掩膜M
c
相乘，使得不同类之间的特征两两正交；
[0022]S34，利用度量模块计算同类特征之间的余弦距离C(P
ci
,P
cj
)(i∈[0,K),i≠j)；
[0023]S35，利用均方误差损失函数优化正交适应模块
[0024]进一步地，步骤S33计算公式为：
[0025][0026]其中，S
ck
为第c类的第k个支持样本，表示同阶矩阵对应元素相乘， M
cijh
为第c类掩膜M
c
中第i行第j列第h个通道的值，M
c
的元素构成如下：
[0027][0028]其中，C为当前任务下的总类别数，H为特征通道数，H为C的整数倍；上述公式中，当h在给定范围内时(h的范围从0开始)，M
cijh
等于1，其余位置的值为0。
[0029]进一步地，步骤S34计算公式如下：
[0030][0031]其中，C(P
ci
,P
cj
)为计算同类之间的余弦距离，K为支持样本的个数，c 为其中第c类，P
ci
代表第c类中第i个支持样本特征，P
cj
代表第c类中第j 个支持样本特征，代表矩阵的对应元素相乘，||P
ci
||表示求矩阵P
ci
的二范数。
[0032]进一步地，步骤S35均方误差损失函数计算公式如下：
[0033][0034]其中，N为当前任务下的总类别数，C(P
ci
，P
cj
)为计算同类之间的余弦距离，其中MSE[cos(P
ci
，P...

【技术保护点】

【技术特征摘要】
1.一种基于特征迁移和正交先验的小样本图像分类方法，其特征在于，包括以下步骤：S1，数据准备，对图像进行预训练得到嵌入模块f
θ
，提取图像的特征，图像包括训练集和测试集；S2，在卷积神经网络模型中引入正交先验的思想，构建基于特征迁移和正交先验的特征学习网络模型；S3，基于训练优化正交先验的特征学习网络模型目标函数；S4，利用优化后的图像正交先验的特征学习网络模型对测试集图像进行分类。2.根据权利要求1所述的基于特征迁移和正交先验的小样本图像分类方法，其特征在于，步骤S1包括：S11，将数据分为和两个部分，且这两个部分类别空间互斥，将D
train
作为基类数据训练模型，D
test
作为新类数据对模型进行测试；S12，对于C
‑
way K
‑
shot分类任务，从D
train
中随机选出C个类别，每个类别中随机选出M个样本，其中K个样本作为支持样本S
i
，其余M
‑
K个样本作为查询样本Q
i
，S
i
和Q
i
构成一个任务T
i
，同样对于D
test
有任务S13，训练的第一阶段：利用基类数据预训练嵌入模块f
θ
，f
θ
包含4个卷积块，每个卷积块包含卷积层、池化层、非线性激活函数；每个卷积块使用的卷积核窗口大小是3
×
3，一个批量归一化，RGB三通道，一个池化层，采用2
×
2最大池化层，裁剪了最后两个块的最大池化层，一个非线性激活层，其激活函数采用ReLu。3.根据权利要求1所述的基于特征迁移和正交先验的小样本图像分类方法，其特征在于，步骤S2基于特征迁移和正交先验的特征学习网络模型中，正交化特征适应网络由三部分组成：嵌入模块f
θ
，正交适应模块和度量模块；正交适应模块由两层卷积层构成，卷积核大小是5
×
5，用于对新类样本特征进行变换以及学习正交化的特征子空间。4.根据权利要求1所述的基于特征迁移和正交先验的小样本图像分类方法，其特征在于，步骤S3基于训练优化正交先验的特征学习网络模型包括：S31，训练的第二阶段，对新类数据进行一个分类任务，将所有的支持样本输入参数固定的嵌入模块f
θ
中，得到对应的支持样本特征f
θ
(S
ck
)；S32，利用正交适应模块进行特征变换，得到S33，变换后的特征与每个类对应的掩膜M
c
相乘，使得不同类之间的特征两两正交；S34，利用度量模块计算同类特征之间的余弦距离C(P
ci
,P
cj
)(i∈[0,K),i≠j)；S35，利用均方误差损失函数优化正交适应模块5.根据权利要求4所述的基于特征迁移和正交先验的小样本图像分类方法，其特征在于，步骤S33计算公式为：其中，S
ck
为第c类的第k个支持样本，表示同阶矩阵对应元素相乘，M
cijh
为第c类掩膜M
c
中第i行第j列第h个通道的值，M
c
的元素构成如下：其中，C为当前任务下的总类别数，H为特征通道数，H为C的整数倍；上述公式中，当h在给定范围内时，h的范围从0开始，M
cijh
等于1，其余位置的值为0。6.根据权利要求4所述的基于特征迁移和正交先验的小样本图像分类方法，其特征在于，步骤S34计算公式如下：其中，C(P
ci
,P
cj
)为计算同类之间的余弦距离，K是支持样本的个数，c为其中第c类，P
ci
代表第c类中第i个支持样本特征，P
cj
代表第c类中第j个支持样本特征，代表矩阵的对应元素相乘，||P
ci

【专利技术属性】
技术研发人员：李晓旭，张志敏，刘俊，汤卓和，刘忠源，张文斌，曾俊瑀，马占宇，陶剑，董洪飞，
申请(专利权)人：兰州理工大学，
类型：发明
国别省市：