一种利用跨任务信息的数字图像自动标注方法技术

本发明专利技术公开了一种利用跨任务信息的数字图像自动标注方法。迁移学习已成功应用于图像标注任务中标注样本不足的场景。通过利用相关领域的知识，迁移学习可提高目标任务模型的效果。然而在许多图像标注场景中，难以保证辅助领域与目标任务有较强的相关性，因此迁移算法往往难以稳定地取得效果提升。本发明专利技术通过矩阵分解技术从辅助领域模型中提取领域间共有知识，并利用此共有知识对目标模型的有偏正则化实现了知识迁移。在领域间相关性不确定的情况下实现目标任务模型稳定的效果提升，在标注样本数量不足的情况下学得高效模型。本数量不足的情况下学得高效模型。本数量不足的情况下学得高效模型。

【技术实现步骤摘要】
一种利用跨任务信息的数字图像自动标注方法


[0001]本专利技术属于数字图像标注
，具体涉及一种利用跨任务信息的数字图像自动标注方法。

技术介绍

[0002]数字图像标注是人工智能应用中的常见任务。现有图像标注模型的训练往往需要大量标注样本，代价高昂。然而，由于现实世界中物体对象的出现概率分布为长尾分布，存在大量对象类别仅能收集到少量标注样本。同时，有些任务领域本身就带有难以获取目标任务对应标注数据的属性。例如在医疗健康和生物信息领域，数据的标注需要专家给出，标注代价极高。除此之外，也有些任务存在训练数据和预测分布存在差异而无法进行泛化的情况。例如在计算机视觉领域中的手机照片分类任务，由于不可控的任务场景中的光照、朝向、清晰度等问题，从公共数据集上学得的模型通常无法在目标任务上获取良好泛化效果，无法满足用户需求。一个解决方案是使用模型迁移算法，利用相关任务的模型辅助目标任务上的模型训练，通过跨领域的知识迁移实现目标模型的效果提升。通常利用在超大数据集上训练得到的深度模型(VGG，ResNet等)抽取图像的一般特征。在此特征基础上进行目标任务线性分类模型的训练。现有模型迁移算法往往直接将相关任务的分类模型作用到目标任务样本或模型上，利用辅助模型的加权组合表示或约束目标模型。然而，在辅助领域与目标任务相关性较低时，通常方法包含大量无用的知识迁移，无法稳定有效地提升目标模型效果。

技术实现思路

[0003]专利技术目的：为了克服在领域相关性较低时，难以利用辅助领域模型提升目标模型性能的问题，本专利技术提供了一种利用跨任务信息的数字图像自动标注方法，
[0004]技术方案：为实现上述目的，本专利技术采用的技术方案为：
[0005]一种利用跨任务信息的数字图像自动标注方法，包括以下步骤：
[0006]步骤1：收集相关图像标注任务上的预训练模型，并由用户判断模型的丰富程度，若足够丰富则转到步骤2，否则转到步骤4；
[0007]步骤2：利用丰富的辅助模型进行领域共享知识的抽取，即获取共享基模型集合D；
[0008]步骤3：利用共享基模型集合D对目标模型w
t
进行有偏正则化约束，同时最小化模型w
t
的经验损失，输出目标模型w
t
；
[0009]步骤4：利用步骤1收集到的辅助模型以及当前任务少量标注样本上学得的较差模型，同时进行领域共享知识D抽取，模型w
t
的经验误差最小化与有偏正则化，输出目标模型w
t
；
[0010]步骤5：利用步骤3或4学得的标注模型，对经过与辅助模型相同预处理方式得到的数字图像样本进行标注预测，选择预测概率最大的类别作为图像标记。
[0011]进一步的：步骤2中抽取领域共享基模型集合D的具体方法为：
[0012]我们假设在来自多个相关的图像领域的模型间，存在一组通用基础模型D可用于表示每个领域上的模型中的共有知识部分，比如多领域任务共有的形状或纹理知识。假设共搜集到m个辅助模型其中d为图像抽取到的特征维度；设D∈R
d
×
k
，V
s
∈R
k
×
m
。假设收集到较多的辅助模型来自与目标任务具有相似的形状、纹理、颜色或场景等特征的标注任务，则认为收集到了丰富的辅助模型，这种情况下我们认为从辅助模型中可以直接获得对目标任务较为有效的共有知识。因此我们基于上述想法采用矩阵分解的方式抽取共享基模型集合D，得到了下列优化目标：
[0013][0014]其中λ为控制权重矩阵V
s
每列光滑程度的超参数，需根据问题搜索最优值；k为基模型的数量，在(3，min(d，2m/3))中搜索最优值。由于我们希望抽取到对每个领域都有用的基模型，我们对模型权重V
s
采用2，1范数作为约束，使每一个辅助模型对应的基模型权重分布尽量光滑。
[0015]进一步的：可通过梯度下降求解式(1)。不同于直接对所有变量求导的常用梯度下降法，我们为本专利技术提出的式(1)专门设计了一种分块最速梯度下降法，在固定某些变量的情况下找到其它变量的最优值，依次更新变量迭代收敛到局部最优。具体如下：首先将变量D，V
s
以标准正态分布初始化，D在V
s
固定的情况下，对优化目标求导并使梯度为零，得到D的更新式：接着固定D使目标函数关于V
s
的梯度为零，由于我们设计的目标函数式(1)的特殊性，我们仅能获得V
s
的隐式更新式：(D
T
D)V
s
+V
s
M＝D
T
W
s
。其中M＝diag(1/||v
i
||，i＝1，...)，v
i
为V
s
中的第i列；V
s
的隐式更新式为Sylvester方程，形如AX+XB＝Q，通过python包scipy中的scipy.linalg._solvers.solve_sylvester(A，B，Q)求解；由于M为关于V
s
的变量，需重复求解此式直到收敛获取固定D情况下V
s
的最优值。依次重复D与V
s
的更新直到收敛，由目标函数的块凸性可保证收敛到局部最优，得到共享基模型集合D。接着即可利用D对通过有偏最小化目标模型的经验损失学习目标模型。
[0016]进一步的：所述步骤3对目标模型w
t
经验损失的有偏最小化的具体方法为：
[0017]在抽取到对目标任务较为有效的基模型集合D之后。假设目标任务图像有c个类别，将线性模型推广到多分类设V
t
∈R
k
×
c
。为了使学得的模型能良好的应用于目标图像标注任务，我们结合目标任务的少两样本标注与领域共用知识设计了模型学习方法，通过优化下式可学得目标模型W
t
：
[0018][0019]其中分别为目标任务的样本与标记，L(
·
)为任意可求梯度的损失函数，λ，μ为需要搜索的超参数。通过同时最小化模型分类的损失函数以及基模型对目标模型的表达损失，我们利用领域间共有的模型先验知识表达目标模型的共有知识部分，同时也利用目标任务的标注信息尽可能地学习目标任务的特有知识。式(2)可通过分块最速梯度下降求解，类似地分别固定V
t
与W
t
，依次更新直到目标函数收敛可得目标分类模型W
t
。
[0020]进一步的：所述步骤4同时抽取领域共享基模型集合D与训练有偏目标模型的具体方法为：
[0021]假设目标任务图像有c个类别，将线性模型推广到多分类设假设目标任务图像有c个类别，将线性模型推广到多分类设假设收集到的辅助模型来自与目标任务具有较少相似特征的标注任务，则认为没有收集到丰富的辅本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种利用跨任务信息的数字图像自动标注方法，其特征在于：包括以下步骤：步骤1：收集相关图像标注任务上的预训练模型，并由用户判断模型的丰富程度，若足够丰富则转到步骤2，否则转到步骤4；步骤2：利用丰富的辅助模型进行领域共享知识的抽取，即获取共享基模型集合D；步骤3：利用共享基模型集合D对目标模型w
t
进行有偏正则化约束，同时最小化模型w
t
的经验损失，输出目标模型w
t
；步骤4：利用步骤1收集到的辅助模型以及当前任务少量标注样本上学得的较差模型，同时进行领域共享知识D抽取，模型w
t
的经验误差最小化与有偏正则化，输出目标模型w
t
；步骤5：利用步骤3或4学得的标注模型，对经过与辅助模型相同预处理方式得到的数字图像样本进行标注预测，选择预测概率最大的类别作为图像标记。2.根据权利要求1所述的一种利用跨任务信息的数字图像自动标注方法，其特征在于：步骤2中抽取领域共享基模型集合D的具体方法为：假设在来自多个相关的图像领域的模型间，存在一组通用基础模型D可用于表示每个领域上的模型中的共有知识部分；假设共搜集到m个辅助模型其中d为图像抽取到的特征维度；设D∈R
d
×
k
，V
s
∈R
k
×
m
；采用矩阵分解的方式抽取共享基模型集合D，得到下列优化目标：其中λ为控制权重矩阵V
s
每列光滑程度的超参数，需根据问题搜索最优值；k为基模型的数量，在(3，min(d,2m/3))中搜索最优值。3.根据权利要求2所述的一种利用跨任务信息的数字图像自动标注方法，其特征在于：通过分块最速梯度下降法求解式(1)，具体如下：首先将变量D,V
s
以标准正态分布初始化，D在V
s
固定的情况下，对优化目标求导并使梯度为零，得到D的更新式：接着固定D使目标函数关于V
s
的梯度为零，获得V
s
的隐式更新式：其中M＝diag(1/‖v
i
‖,i＝1,
…
)，v
i
为V
s
中的第i列；V
s
...

【专利技术属性】
技术研发人员：黄圣君，潘杰，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：