基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法技术

本发明专利技术公开了一种基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法，该方法从其它相关领域迁移知识到目标域，解决深度学习图片分类可训练标签样本少的问题。该方法综合考虑同类别分布差异和不同类别分布差异，领域适应过程中在减小同类别分布差异的基础上增大不同类别分布差异，既增加了源域和目标域同类别的可迁移性，又增加了源域和目标域不同类别间的可辨别性，并且应用最大均值差异缩小源域和目标域的边缘概率分布差异。该方法通过神经元非线性度可变的自适应寻找更适合任务的网络结构，优化了网络结构，提高领域适应能力和泛化能力，从而保证了最终的图片识别的分类精度。别的分类精度。别的分类精度。

【技术实现步骤摘要】
基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法


[0001]本专利技术属于深度学习图片分类领域，特别是涉及了基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法。

技术介绍

[0002]随着移动设备和计算机硬件的大幅度提升，以及互联网的普及。每天都有大量数据被收集。在利用大数据面前，机器学习取得很大进展，成为大数据挖掘信息的主要技术手段。在处理文本、图像、视频等非结构数据方面，一个至关重要的问题就是如何有效的利用来自不同领域的数据，对相关领域的数据迁移和复用。例如，人学会骑自行车之后，对于电动车和摩托车很容易掌握。如何迁移骑自行车的技术知识到电动车和摩托车上，以及如何学习到三种工具的不同之处，更快地掌握新工具。在互联网领域可以很容易得到大量有类别标签的高分辨率图像，但是在实际生活中所产生的图像像素低并且很难获取所有图像的类别，现有的机器学习方法很难取得很好的分类精度。将互联网领域所产生的大数据迁移到实际生活中的小领域数据，解决实际生活中数据标签获取难的问题，迁移学习为利用大数据解决小数据问题提供有效方法。
[000本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法，其特征在于，包括以下步骤：(1)获取数据：读取源域和目标域图片，将图片分为源域样本、有标签目标域样本、待分类目标域样本；(2)提取并处理步骤(1)所获取的图片样本的特征，得到源域图片特征和目标域图片特征X；有标签数据的标签信息Y；(3)非线性度自适应子域领域适应网络搭建；包括神经元非线性度可变层和神经元非线性度固定层；其中，前三层为神经元非线性度可变层，第四层为神经元非线性度固定层，第五层为类别输出层；(4)对步骤(3)搭建的非线性度自适应子域领域适应网络进行训练：(4.1)初始化网络参数，输入步骤(2)处理所得的源域图片特征和目标域图片特征X和有标签数据的标签信息Y，通过领域适应网络数据的前向传播计算源域和目标域图片同类别和不同类别间的特征分布差异、源域和目标域图片特征的边缘概率分布差异以及有标签数据的交叉熵损失；(4.2)根据领域适应网络神经元非线性度计算所有非线性可变神经元参数的和；(4.3)计算领域适应网络的总损失函数；根据步骤(4.1)所得源域和目标域之间的特征分布差异以及步骤(4.2)所得神经元非线性度，对领域适应网络的第四层输出的图片特征计算最大均值差异，通过减小最大均值差异来减小源域和目标域之间的特征分布差异；(4.4)领域适应网络的参数更新；(4.5)重复步骤(4.1)、(4.2)、(4.3)、(4.4)直到网络迭代次数达到设定迭代次数，取最后一次迭代的网络参数θ(ω，b，g)；(4.6)训练结束，网络参数θ(ω，b，g)固定不再更新；(5)在训练好的非线性度自适应子域领域适应网络中输入待分类目标域图片样本的特征矩阵X
Tn
，用该网络的第五层输出，利用softmax计算样本所属概率最大的类别即为图片的预测类别。2.根据权利要求1所述一种基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法，其特征在于，所述步骤(1)包括以下步骤：(1.1)将所有图片都转换为224
×
224尺寸；每张图片转换为RGB三通道，转换为v
×
h
×
o的三维矩阵，v和h分别为图像的宽和高，o为通道数；(1.2)源域图片转换成n
S
×
v
×
h
×
o的四维矩阵数据，n
S
表示源域样本数；目标域少量带标签数据转换成n
Tl
×
v
×
h
×
o的四维矩阵数据，n
Tl
表示有标签目标域样本数；待分类目标域图片转换成n
Tn
×
v
×
h
×
o的四维矩阵数据，n
Tn
表示目标域待分类样本数；(1.3)图片类别用one
‑
hot编码，图片共有N类，则第一类的标签表示[1，0，0，...，0]1×
N
，第二类的标签表示为[0，1，0，...，0]1×
N
，...，第N类图片的标签表示为[0，0，0，...，1]1×
N
。3.根据权利要求1所述一种基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法，其特征在于，所述步骤(2)包括以下步骤：(2.1)特征提取网络的训练：采用ImageNet对ResNet网络进行预训练，获得ResNet残差网络模型，再用步骤(1)所得源域数据训练ResNet残差网络模型，ResNet网络的输入为batch_size
×
v
×
h
×
o的矩阵，batch—size的大小取决于计算机内存；
(2.2)图片特征提取：ResNet残差网络训练完成后保留第一层全连接层和卷积层的所有参数，ResNet网络的第一层全连接层作为特征输出层，然后使用该网络提取源域和目标域的图片特征；提取的源域图片特征为少量带标签目标域图片特征为待分类目标域图片特征为(2.3)图片特征标准化处理：在(2.2)步骤之后对提取的源域图片特征和目标域图片特征进行标准化处理：设矩阵X内任意一点的变量为X
ij
，对该变量进行减均值除标准差处理，标准化的处理计算公式如下：其中，是矩阵X第j列的均值，σ
j
是矩阵第j列的标准差，X
ij
′
表示标准化处理后的特征矩阵；其中，其中，其中，I表示矩阵总行数；将特征矩阵X标准化之后，得到每列均值是0，方差为1的源域数据矩阵少量带标签目标域数据矩阵为待分类目标域数据矩阵为分别把标准化后的有标签图片特征处理为图片标签处理为其中，上标1～N代表类别，下标S、Tl、Tn分别表示源域图片、目标域有标签图片、目标域待分类图片；然后将源域图片特征和目标域图片特征处理为有标签数据标签为4.根据权利要求1所述一种基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法，其特征在于，步骤(3)所述神经元非线性度可变层中，固定每层神经元个数为2048，为了使前三层网
络能够自适应改变神经元非线性度寻找在当前任务下最优网络，为领域适应网络每个神经元设定一个参数g∈[0，1]，这个参数决定了这个神经元作非线性程度，以及它在不进行任何变换的情况下将输入直接作为输出的程度；前三层每层之间的计算公式为：y(x)＝g*σ(ω
T
x+b)+(1
‑
g)*x
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)g作为一个权重参数表示神经元在恒等变换和非线性变换的选择；如果g＝0表示这个神经元完全复制输入到输出，如果g＝1表示这个神经元利用权重ω偏置b和激活函数σ对输入进行非线性变换；g初始化为0，如果在网络的学习过程中它的值变大则表示非线性单元发挥作用，网络也更加复杂，为避免网络过于复杂给g加一个正则化项；第三层到第四层的计算公式为：y(x)＝σ(ω
T
x+b)
ꢀꢀꢀꢀꢀꢀꢀ...

【专利技术属性】
技术研发人员：潘杰，陈宁宁，邹筱瑜，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：