基于多任务协同学习的图像分类方法技术

本发明专利技术提供了一种基于多任务协同学习的图像分类方法。首先，对输入的若干图像分类数据集进行降维预处理，并随机挑选样本数据构成训练数据；然后，构建了包含新式低秩约束项的图像分类优化模型，通过最小化前k个最小奇异值来逼近秩极小化问题，并相应提出了新的交替迭代优化算法来求解所提模型，得到具有低秩结构的分类映射矩阵；最后，利用学习到的映射矩阵对图像数据集进行分类处理。本发明专利技术可以更好地学习到不同图像分类任务间的低秩结构关系，在处理大规模且多种类图像数据集时能更快收敛并得到更好的分类结果。敛并得到更好的分类结果。敛并得到更好的分类结果。

【技术实现步骤摘要】
基于多任务协同学习的图像分类方法


[0001]本专利技术属机器学习
，具体涉及一种基于多任务协同学习的图像分类方法，通过对多个图像分类任务的协同学习，来提高每个学习任务的分类精度。

技术介绍

[0002]多任务学习方法(Multi
‑
task learning，MTL)作为一种重要的机器学习技术，近年来被广泛应用于多个科学领域中。传统的监督学习算法，如回归、图像分类等，其通常需要大量的标签数据进行训练来得到最优的模型参数。然而在现实场景中，有些任务并没有足够的训练数据集来得到较好的分类器，如医学图像分析领域。因此，多任务学习方法无疑是解决这类问题的一种新思路。多任务学习(MTL)可以认为是归纳迁移学习的一种变式；对于传统的监督学习方法，其往往忽略了学习任务之间的相关性，从而单独对模型进行训练学习。然而事实上，当有不同目标但相关性较强的任务联合学习和训练时，其单个任务将会从多个任务中所包含的共享信息和表示下受益，进而提高学习性能。
[0003]在多任务图像分类问题上，MTL方法的最大挑战是如何发现任务间的相关性使得大多数任务能从联合学习的过程中受益。传统的MTL方法大致可分为三类：基于任务关系的学习方法(Task Relation)，分解法(Decomposition Approach)以及特征学习方法(Feature Learning)。任务关系学习方法利用任务间相似度、任务协方差矩阵等对任务关联进行量化，如通过树结构来描述任务之间的关系。分解法是在训练过程中将参数矩阵分解为两个或多个矩阵的和，进而通过对这些成分矩阵的约束来学习任务之间的相关性。尽管这两类方法在MTL问题上取得了很好的性能，但是由于模型设计的复杂性以及参数设置困难，其在真实场景中并不适用。而基于特征学习的方法能够很好地解决这些问题，其假设学习任务之间是存在相关性的，对于具有不同目标的相关任务，在原始特征空间的基础上共享有一个共同的信息或表示子空间。为了找到这个共同表示，文献“J.Liu,S.Ji,and J.Ye,“Multi
‑
task feature learning via efficient
‘
2；1
‑
norm minimization,”in Proceedings of the Twenty
‑
Fifth Conference on Uncertainty in Artificial Intelligence,2009,pp.339
–
348.”提出了基于l
2,1
范数的稀疏约束方法来学习相关任务之间的共享特征子空间，进而通过学习到的稀疏子空间在多任务学习过程中提高单个任务的学习性能。此外，不同于对共享特征子空间的稀疏约束，一类常见的低维特征子空间学习方法也是量化多个任务间相关性的有效方法。文献“A.Argyriou,T.Evgeniou,and M.Pontil,“Convex multi
‑
task feature learning,”Machine learning,vol.73,no.3,pp.243
–
272,2008.”采用低秩约束方法来学习特征子空间所潜在的低维表示，通过引入迹范数(即核范数：Nuclear Norm)作为正则化项来逼近秩极小化问题。迹范数被视为秩函数的最佳凸包络，通常被引入来对秩极小化问题进行松弛求解。这是因为直接求解秩极小化目标函数是一个NP
‑
hard问题。然而，迹范数并不是秩极小化问题的紧逼近(Tight Approximation)。事实上，迹范数和秩极小化之间存在很大的差距。因为，矩阵的秩等于其非零奇异值的个数，当矩阵的最大奇异值发生显著变化时，迹范数也会发生显著变化，但该矩阵的秩却仍然保
持不变，这使得基于迹范数的正则化项在某些实际情况下可能会失去对矩阵秩的控制。为此，需要找到一种更好的近似秩极小化的方法，以便在多个学习任务中发现内在共享信息。

技术实现思路

[0004]为了克服现有技术的不足，本专利技术提供一种基于多任务协同学习的图像分类方法。构建了基于新式低秩约束的MTL图像分类模型，通过最小化前k个最小奇异值来逼近秩极小化问题，从本质上解决了基于迹范数的多任务学习模型不能有效控制矩阵秩的难题。相比于迹范数，所提出的低秩约束正则项可以更紧致地逼近于秩函数，从而有效提高模型学习多任务间低秩结构关系的性能。同时还设计了一种简单且有效的优化算法来求解所提模型。
[0005]一种基于多任务协同学习的图像分类方法，其特征在于步骤如下：
[0006]步骤1：对于给定的不同类型的图像分类数据集，以每类数据集为一项分类任务，首先对所有任务数据集进行降维预处理，使不同任务的数据样本维度一致；然后从预处理后的每类数据集中随机选取30％～50％的样本构成训练集，用来对模型进行训练，剩余样本构成测试集，用来验证模型性能；所述的降维预处理方法采用降采样方法或主成分分析方法；
[0007]步骤2：构建包含新式低秩约束项的优化模型如下：
[0008][0009]其中，为第t个任务的数据矩阵，x
it
表示数据矩阵X
t
的第i个样本，i＝1,2,
…
,n
t
，d表示数据样本维度，n
t
表示第t个任务包含的样本数量；为第t个任务的标签矩阵，其列向量y
it
表示第i个样本x
it
的标签向量，当样本x
it
属于第j类时，则否则否则表示向量y
it
的第j个元素，c
t
表示第t个任务包含的样本类别总数，表示第t个任务需要学习的映射矩阵，W＝[W1,W2,
…
,W
T
]∈R
d
×
c
为具有最优低秩结构的整体映射矩阵，c为所有任务数据集包含的样本类别总数，T表示任务总数；f(W
tT
X
t
,Y
t
)表示多分类模型SVM的损失函数；λ为惩罚参数，可取值范围为[10
‑2,102]，σ
i
(W)为矩阵W的第i个最小奇异值，k表示矩阵W的前k个最小奇异值的个数；
[0010]所述多分类模型SVM的损失函数f(W
tT
X
t
,Y
t
)为：
[0011][0012]其中，表示Hadamard积，1
t
为对应于第t个任务中元素全为1的列向量，b
t
≥0为对应于任务t的SVM损失函数的偏移向量，M
t
≥0为对应于任务t的SVM损失函数的偏移矩阵；
[0013]步骤3：按照以下过程求解上述优化模型，得到最优映射矩阵W、偏移矩阵W
t
和偏移向量b
t
：...

【技术保护点】

【技术特征摘要】
1.一种基于多任务协同学习的图像分类方法，其算法主要步骤如下：步骤1：对于给定的不同类型的图像分类数据集，以每类数据集为一项分类任务，首先对所有任务数据集进行降维预处理，使不同任务的数据样本维度一致；然后从预处理后的每类数据集中随机选取30％～50％的样本构成训练集，用来对模型进行训练，剩余样本构成测试集，用来验证模型性能；所述的降维预处理方法采用降采样方法或主成分分析方法；步骤2：构建包含新式低秩约束项的优化模型如下：其中，为第t个任务的数据矩阵，x
it
表示数据矩阵X
t
的第i个样本，i＝1,2,
…
,n
t
，d表示数据样本维度，n
t
表示第t个任务包含的样本数量；为第t个任务的标签矩阵，其列向量y
it
表示第i个样本x
it
的标签向量，当样本x
it
属于第j类时，则否则否则表示向量y
it
的第j个元素，c
t
表示第t个任务包含的样本类别总数，表示第t个任务需要学习的映射矩阵，W＝[W1,W2,
…
,W
T
]∈R
d
×
c
为具有最优低秩结构的整体映射矩阵，c为所有任务数据集包含的样本类别总数，T表示任务总数；f(W
tT
X
t
,Y
t
)表示多分类模型SVM的损失函数；λ为惩罚参数，可取值范围为[10
‑2,102]，σ
i
(W)为矩阵W的第i个最小奇异值，k表示矩阵W的前k个最小奇异值的个数；所述多分类模型SVM的损失函数f(W
tT
X
t
,Y
t
)为：其中，表示Hadamard积，1
t
为对应于第t个任务中元素全为1的列向量，b
t
≥0为对应于任务t的SVM损失函数的偏移向量，M

【专利技术属性】
技术研发人员：聂飞平，常伟，王榕，李学龙，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：