基于均值迭代的多任务学习模型训练以及预测方法技术

一种基于均值迭代的多任务学习模型训练以及预测方法，先获取多个任务的样本数据集，并将各任务的样本数据集均划分为训练集和测试集。对于每一个任务，利用其对应的训练集得到各任务上各类标签的先验概率以及各任务中各特征变量在各类标签上的条件概率，计算每一个任务对应的测试集中各实例的类标签。基于均值迭代方法更新各任务上各类标签的先验概率。不断循环迭代，直至不同任务上类标签的先验概率误差的绝对值之和Δ小于设定的阈值时收敛，得到训练好的多任务学习模型。本发明专利技术可以显著提高多任务学习的效率。同时,本发明专利技术可以更加充分利用任务之间的共享信息和数据的先验知识,利用较少的计算资源便可以达到更佳的分类效果。

Multi task learning model training and prediction method based on mean iteration

【技术实现步骤摘要】
基于均值迭代的多任务学习模型训练以及预测方法
本专利技术涉及大数据处理
，特别是涉及一种多任务学习模型训练以及预测方法。
技术介绍
随着信息技术的发展与大数据时代的到来,机器学习成为解决实际问题的重要方法之一。目前大多数机器学习方法采用的都是单任务学习(Single-taskLearning,STL)方法,即多个任务之间的学习过程是相互独立的,这种方法忽略了任务之间的相关性。单任务学习方法在解决复杂问题时,往往将问题分解为简单且相互独立的子问题，然后再通过合并结果得到复杂问题的解。然而，这样做看似合理，实则是不正确的。因为现实世界中很多问题不能简单地分解为一个个独立的子问题，这些子问题通常是相互关联的，即通过一些共享因素或共享表示联系在一起。把现实世界中的问题当作相互独立的单任务处理，忽略了问题之间的关联信息。为弥足单任务学习方法的不足，多任务学习(Multi-taskLearning,MTL)方法同时对这些任务进行学习，通过提取和利用任务之间的共享信息，分类器中的参数更新相互影响，从而改善分类器的泛化性能。当任务中已知标记样本数较少时，多任务学习可以有效地增加样本数，从而使分类结果更加准确。一些早期的多任务学习方法假设不同任务的目标函数参数是相似的或多个相关任务共享同一特征子集，这些多任务方法均通过正则项约束使相关任务之间的不同尽可能小。目前，多任务学习主要基于稀疏表示。2008年，Argyriou等人提出MTL-FEAT模型，该模型通过学习多任务之间的稀疏表示来共享信息。2011年，Kang等人对MTL-FEAT模型的约束进行松弛，提出了DG-MTL模型，该模型通过将多任务学习问题转化为混合整数规划问题，显著提高了多任务学习模型的性能。在MTL-FEAT和DG-MTL模型的基础上，2012年Abhishek等人提出GO-MTL模型，GO-MTL模型采用一种新的多任务学习分组和重叠组结构，每个任务组的参数位于一个低维子空间中，不同分组的任务通过共享一个或多个潜在的基任务来共享信息。2018年，Jeong等人在上述模型的基础上进行了改进，提出VSTG-MTL模型，该模型在学习任务间重叠组结构的同时引入变量选择，模型将系数矩阵分解成两个低秩矩阵的乘积，从而更加合理地利用多个相关任务之间的共享信息。2017年，一种区别于传统稀疏表示策略的自步多任务学习spMTFL模型被提出，Murugesan等人采用一种类人学习策略，将自定步长的任务选择方法引入到多任务学习中，模型通过迭代选择最合适的任务来学习任务参数和更新共享信息。遗憾的是，在现有的多任务学习方法中，普遍存在模型运行效率低，数据的利用不充分，特别是对数据的先验知识利用不充分等问题。上述模型主要缺陷如下，在单任务学习模型中，如朴素贝叶斯学习模型，忽略了多个学习任务下不同任务之间的相关性，导致学习得到的模型拥有较差的分类结果；在上述多任务学习模型中，模型需要消耗大量的计算资源和计算时间，计算效率低。
技术实现思路
针对现有技术多任务学习方法运行效率低和数据信息利用不足的缺陷，本专利技术提供一种基于均值迭代的多任务学习模型训练以及预测方法。一种基于均值迭代的多任务学习模型训练方法，包括以下步骤：(1)获取多个任务的样本数据集，并将各任务的样本数据集均划分为训练集和测试集。设有T个任务，对于各任务t(t＝1,2,3…T)分别采集含D个特征变量的多个实例，同时获取每一个任务的各实例所对应的类标签，得到各任务的样本数据集；将各任务的样本数据集均划分为训练集和测试集。(2)训练多任务学习模型。(2.1)对于每一个任务，利用其对应的训练集得到各任务上各类标签的先验概率以及各任务中各特征变量在各类标签上的条件概率。(2.2)根据各任务上各类标签的先验概率以及各任务中各特征变量在各类标签上的条件概率计算每一个任务对应的测试集中各实例的类标签；(2.3)将步骤(2.2)计算得到的各任务测试集中各实例的类标签与步骤(1)中采集得到的对应类标签进行比较，得到步骤(2.2)计算得到的分类结果的准确率或者F1值，根据准确率或者F1值确定当前的分类结果评分；(2.4)将步骤(2.2)计算得到的所有任务对应的测试集的分类结果集成成总的分类结果，基于均值迭代方法更新各任务上各类标签的先验概率，返回步骤(2.2)；(2.5)在循环迭代过程中，如果第m次迭代过程中得到的分类结果评分大于m-1次迭代过程中得到的分类结果评分，则将第m次迭代过程中所采用的各任务上类标签的先验概率作为当前的各任务上类标签的最优先验值；在循环迭代过程中，计算第m次和第m-1次迭代时的不同任务上类标签的先验概率误差的绝对值之和Δ，当Δ小于设定的超参数ε时收敛，得到训练好的多任务学习模型，输出最终的各任务上各类标签的最优先验值。本专利技术步骤(1)中，设有T个任务，对于各任务t(t＝1,2,3…T)分别采集含D个特征变量的多个实例，同时获取每一个任务的各实例所对应的类标签，各实例所对应的类标签可用{C1,C2,…,CK}表示，K表示所有实例的类标签的总个数。x1,x2,…,xD表示每一个实例的特征变量，特征变量的总数为D。对于第t个任务的样本数据集，Traint表示第t个任务对应的训练集，其中的实例数有Traint(all)个。Testt表示第t个任务对应的测试集，其中的实例数有Testt(all)个。第t个任务的样本数据集中的所有实例的总数Nt即为Traint(all)+Testt(all)。T个任务总的训练集Train即为{Train1，……，Traint，……，TrainT}，T个任务总的测试集Test即为{Test1，……，Testt，……，TestT}。本专利技术步骤(2.1)中，利用各任务对应的训练集得到各任务上各类标签的先验概率以及各任务中各特征变量在各类标签上的条件概率，方法如下：对于第t个任务对应的训练集Traint，令Traint(Ck)表示Traint的所有实例中类标签为Ck的实例数量，则第t个任务中的第k个类标签Ck的先验概率为：Pt(Ck)＝Traint(Ck)/Traint(all)对于第t个任务对应的训练集Traint，Traint(Ck,xd)表示Traint的所有实例中类标签为Ck且第d个特征变量xd的取值相同的实例数量，则第t个任务中的第d个的特征变量xd在第k个类标签Ck上的条件概率为：Pt(xd|Ck)＝Traint(Ck,xd)/Traint(Ck)进一步地，为了避免其它特征变量所携带的信息被训练集中未出现的特征变量所“抹去”,采用拉普拉斯修正各任务上各类标签的先验概率以及各任务中各特征变量在各类标签上的条件概率，方法如下：令kd表示训练集Train中的第d个特征变量xd可能的取值的总数量，修正后的第t个任务中的第k个类标签Ck的先验概率Pt(Ck)以及第t个任务中的第d个的特征变量xd在第k个类标签Ck上的条件概率Pt(xd|本文档来自技高网...

【技术保护点】
1.一种基于均值迭代的多任务学习模型训练方法，其特征在于，包括：/n(1)设有T个任务，对于各任务t(t＝1,2,3…T)分别采集含D个特征变量的多个实例，同时获取每一个任务的各实例所对应的类标签，得到各任务的样本数据集；将各任务t的样本数据集均划分为训练集和测试集；/n(2)训练多任务学习模型；/n(2.1)对于每一个任务，利用其对应的训练集得到各任务上各类标签的先验概率以及各任务中各特征变量在各类标签上的条件概率；/n(2.2)根据各任务上各类标签的先验概率以及各任务中各特征变量在各类标签上的条件概率计算每一个任务对应的测试集中各实例的类标签；/n(2.3)将步骤(2.2)计算得到的各任务测试集中各实例的类标签与步骤(1)中采集得到的对应类标签进行比较，得到步骤(2.2)计算得到的分类结果的准确率或者F1值，根据准确率或者F1值确定当前的分类结果评分；/n(2.4)将步骤(2.2)计算得到的所有任务对应的测试集的分类结果集成成总的分类结果，基于均值迭代方法更新各任务上各类标签的先验概率，返回步骤(2.2)；/n(2.5)在循环迭代过程中，如果第m次迭代过程中得到的分类结果评分大于m-1次迭代过程中得到的分类结果评分，则将第m次迭代过程中所采用的各任务上类标签的先验概率作为当前的各任务上类标签的最优先验值；/n在循环迭代过程中，计算第m次和第m-1次迭代时的不同任务上类标签的先验概率误差的绝对值之和Δ，当Δ小于设定的超参数ε时收敛，得到训练好的多任务学习模型，输出最终的各任务上各类标签的最优先验值。/n...

【技术特征摘要】
1.一种基于均值迭代的多任务学习模型训练方法，其特征在于，包括：
(1)设有T个任务，对于各任务t(t＝1,2,3…T)分别采集含D个特征变量的多个实例，同时获取每一个任务的各实例所对应的类标签，得到各任务的样本数据集；将各任务t的样本数据集均划分为训练集和测试集；
(2)训练多任务学习模型；
(2.1)对于每一个任务，利用其对应的训练集得到各任务上各类标签的先验概率以及各任务中各特征变量在各类标签上的条件概率；
(2.2)根据各任务上各类标签的先验概率以及各任务中各特征变量在各类标签上的条件概率计算每一个任务对应的测试集中各实例的类标签；
(2.3)将步骤(2.2)计算得到的各任务测试集中各实例的类标签与步骤(1)中采集得到的对应类标签进行比较，得到步骤(2.2)计算得到的分类结果的准确率或者F1值，根据准确率或者F1值确定当前的分类结果评分；
(2.4)将步骤(2.2)计算得到的所有任务对应的测试集的分类结果集成成总的分类结果，基于均值迭代方法更新各任务上各类标签的先验概率，返回步骤(2.2)；
(2.5)在循环迭代过程中，如果第m次迭代过程中得到的分类结果评分大于m-1次迭代过程中得到的分类结果评分，则将第m次迭代过程中所采用的各任务上类标签的先验概率作为当前的各任务上类标签的最优先验值；
在循环迭代过程中，计算第m次和第m-1次迭代时的不同任务上类标签的先验概率误差的绝对值之和Δ，当Δ小于设定的超参数ε时收敛，得到训练好的多任务学习模型，输出最终的各任务上各类标签的最优先验值。


2.根据权利要求1所述的基于均值迭代的多任务学习模型训练方法，其特征在于，步骤(1)中，每一个任务的所有实例的类标签用{C1,C2,…,CK}表示，K表示所有实例的类标签的总个数，x1,x2,…,xD表示每一个实例的特征变量，特征变量的总数为D；
对于第t个任务的样本数据集，将其划分为训练集和测试集，Traint表示第t个任务对应的训练集，其中的实例数分别有Traint(all)个，Testt表示第t个任务对应的测试集，其中的实例数分别有Testt(all)个；第t个任务的样本数据集中的所有实例的总数Nt即为Traint(all)+Testt(all)。
T个任务总的训练集Train即为{Train1，……，Traint，……，TrainT}，T个任务总的测试集Test即为{Test1，……，Testt，……，TestT}。


3.根据权利要求2所述的基于均值迭代的多任务学习模型训练方法，其特征在于，步骤(2.1)中，利用各任务对应的训练集计算各任务上各类标签的先验概率的方法如下：
对于第t个任务对应的训练集Traint，令Traint(Ck)表示Traint的所有实例中类标签为Ck的实例数量，则第t个任务中的第k个类标签Ck的先验概率为：
Pt(Ck)＝Traint(Ck)/Traint(all)
步骤(2.1)中，各任务中各特征变量在各类标签上的条件概率的计算方法如下：
对于第t个任务对应的训练集Traint，Traint(Ck,xd)表示Traint的所有实例中类标签为Ck且第d个特征变量xd的取值相同的实例数量，则第t个任务中的第d个的特征变量xd在第k个类标签Ck上的条件概率为：
Pt(xd|Ck)＝Traint(Ck,xd)/Traint(Ck)。


4.根据权利要求3所述的基于均值迭代的多任务学习模型训练方法，其特征在于，步骤(2.1)中，采用拉普拉斯修正各任务上各类标签的先验概率以及各任务中各特征变量在各类标签...

【专利技术属性】
技术研发人员：周鋆，孙立健，符鹏涛，朱先强，张维明，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南;43