域自适应学习方法技术

本发明专利技术涉及面向计算机视觉领域的域自适应技术，为解决物体分类问题训练类别和测试类别的分布不同而引起的域偏移问题，本发明专利技术：域自适应学习方法，用表示包含n个样本的训练数据集，其中表示视觉特征空间，包含N个类别，利用表示来自M个类别的m个测试样本，并且训练类别和测试类别是不相交的，每一个类别利用嵌入在类别语义空间中的一个向量表征，为属性空间或者文本描述空间，p和q表示视觉空间和类别语义空间的维度，跨模态嵌入方法的基本原理是利用训练数据S学习一个转移矩阵将视觉样本从视觉空间χ转移到类别语义空间y中，在测试阶段，利用在训练阶段学习到的转移矩阵W*将测试样本x映射到类别语义空间。本发明专利技术主要应用于计算机视觉场合。

【技术实现步骤摘要】

本专利技术涉及面向计算机视觉领域的域自适应技术，具体讲,涉及域自适应学习方法。
技术介绍
传统的物体分类技术中测试样本所属的类别一定包含在训练阶段出现过的类别中，为了获得更好的分类性能，每一类别往往需要大量的训练样本。而在现实情况下，有些类别的样本很难获得。对于在训练阶段某些类别中训练样本较少或者缺失的场景，则训练模型无法获得测试类别的数据分布。利用训练类别学习到的模型去预测测试类别的样本容易产生域偏移问题。以零样本分类为例进行介绍。零样本分类是测试类别在训练阶段的样本缺失的场景，显然，传统的分类技术无法解决这一问题。为了实现这一目标，研究者们提出了一种所有类别共享的中间层语义特征空间将信息从训练类别中转移到测试类别中。除了视觉特征外，零样本分类还需要类别描述的语义特征，因此零样本分类可以利用跨模态嵌入的方法进行解决。当前利用跨模态嵌入方法解决零样本分类的基本框架是：在训练阶段，利用有标注样本的训练类别学习一个跨模态嵌入的模型，将训练样本从视觉空间转移到中间层的类别语义空间。在类别语义空间中，每一个类别(训练类别和测试类别)都对应着一个类别语义向量。在测试阶段，利用在训练阶段学习到的跨模态嵌入模型将测试样本嵌入到类别语义空间中，根据样本在类别语义空间中的嵌入向量与测试类别在类别语义空间中的类别语义向量之间的关系，利用最近邻分类器对测试样本进行分类。因为训练类别和测试类别是不相交的，因此不加调整地将训练阶段学习到的模型应用到测试类别中容易产生域偏移的问题。例如：“斑马”和“猪”都有“尾巴”这一属性，而在训练阶段只有“斑马”这一类别的样本，因此我们可以利用这些样本建立从视觉样本到“尾巴”属性的预测模型。在测试阶段，如果直接利用训练到的预测模型去预测“猪”是否有“尾巴”这一属性可能达不到预期的效果，这就是域偏移问题。域偏移在计算机视觉领域中是常见的问题。对于测试类别在训练阶段样本较少或者缺失的场景就容易产生域偏移问题。而零样本分类属于测试类别在训练阶段样本完全缺失的场景，因此域偏移问题普遍存在于零样本分类中。当前的域自适应技术主要是基于直推式学习的方法。其主要思想是假设所有的测试样本可以在训练阶段同时获得，通过无监督学习方法挖掘分布在数据中的结构信息，并结合训练样本的标注信息学习更适合测试样本的分类模型。与直推式学习不同，本专利技术假设所有的测试样本在测试阶段可以同时获得，利用在训练阶段学习到的分类模型在测试样本上加以调整以重新学习一个更适合测试样本的分类模型。
技术实现思路
为克服现有技术的不足，本专利技术旨在解决物体分类问题训练类别和测试类别的分布不同而引起的域偏移问题，提出一种域自适应的方法。为此，本专利技术采用的技术方案是，域自适应学习方法，用表示包含n个样本的训练数据集，其中表示视觉特征空间，包含N个类别，利用表示来自M个类别的m个测试样本，并且训练类别和测试类别是不相交的，即：每一个类别利用嵌入在类别语义空间中的一个向量表征，为属性空间或者文本描述空间，p和q表示视觉空间和类别语义空间的维度，跨模态嵌入方法的基本原理是利用训练数据S学习一个转移矩阵将视觉样本从视觉空间转移到类别语义空间中，在测试阶段，利用在训练阶段学习到的转移矩阵W*将测试样本x映射到类别语义空间，然后利用公式1预测测试样本的类别：其中yc是第c个测试类对应的类别语义向量，利用公式1获得m个测试样本对应的预测类别，根据测试类别和类别语义向量之间的对应关系，得到测试样本集XU对应的预测类别语义矩阵矩阵的每一列向量表示测试样本的测试类别所对应的类别语义向量。利用测试样本自学习一个更适合测试样本的转移矩阵W，其目标函数为：其中λ1和λ2是权重系数，表示将测试样本xi映射到类别语义空间中的损失，vi表示测试样本xi在语义空间中的映射向量，表示利用测试样本学习得到的转移矩阵要与利用训练样本学习得到的转移矩阵相似；表示利用转移矩阵学习得到的映射向量vi要与类别的真实类别语义向量相似，其中Aij表示预测的映射向量vi与第j类的类别语义向量的相似度，Aij＝cos(vi,yj)，利用表示测试集在类别语义空间中的映射矩阵。采用迭代优化求解目标函数，具体步骤是：(1)首先固定V，对W进行更新：将V设置为优化的目标函数变为：公式(3)是标准的最小二乘问题，因此得到W的显示解：其中I表示单位矩阵。(2)固定W，对V进行更新：将公式(5)对V进行求导并将导数设为0，得到V的解：V＝(WTXU+λ2YUAT)(I+λ2D)-1,(6)其中表示M个测试类别在类别语义空间中的语义矩阵，表示测试样本在类别语义空间中的嵌入向量与类别的语义向量之间的相似度矩阵，Dii＝∑jAij；(3)将W*设置为W，利用公式(1)对测试样本进行预测，并利用预测得到的类别标签更新测试样本对应的类别语义矩阵更新A；迭代更新(1)(2)(3)直到收敛为止；收敛结束后得到的转移矩阵W为最终用来预测测试样本的参数，并利用公式(1)对测试样本的类别进行预测。本专利技术的特点及有益效果是：本专利技术主要针对计算机视觉领域中训练类别和测试类别的分布不同而引起的域偏移问题，在当前跨模态嵌入方法的基础上，提出了一种新的域自适应的方法。其优势主要体现在：(1)新颖性：提出了一种新的域自适应方法物体分类中存在的域偏移问题。假设所有的测试样本在测试阶段可以同时获得，利用测试样本对在训练阶段学习到的模型加以调试，以重新学习到更适合测试样本的分类模型。(2)有效性：通过实验证明了在跨模态嵌入方法的基础上，利用本专利技术提供域自适应方法能明显提升零样本分类的性能。并且本专利技术提出的域自适应方法复杂度低，并且通过实验证明了所提方法能很快收敛，因此是一种有效解决域偏移问题的方法。(4)实用性：简单可行，可以应用零样本分类以及一次性学习(One-shotlearning)等易产生“域偏移”问题的场景中。附图说明：图1是本专利技术提供的基于域自适应方法的零样本分类流程图。具体实施方式本专利技术涉及一种面向计算机视觉领域的域自适应技术。针对某些场景下的训练类别和测试类别的分布不同，直接将从训练类别中学习到的模型应用到测试类别中容易产生域偏移的问题，提出了一种新的域自适应学习技术，达到提高分类效果的目的。本专利技术还提供了利用本方法实现的零样本分类系统。下面以零样本分类这一具体应用为例，介绍本专利技术的具体原理。用表示包含n个样本的训练数据集，其中表示视觉特征空间，包含N个类别。利用表示来自M个类别的m个测试样本，并且训练类别和测试类别是不相交的，即：每一个类别利用嵌入在类别语义空间(属性空间或者文本描述空间)中的一个向量表征。p和q表示视觉空间和类别语义空间的维度。跨模态嵌入方法的基本原理是利用训练数据S学习一个转移矩阵将视觉样本从视觉空间转移到类别语义空间中。零样本分类的目的是将样本分类到未标注的类别U中。因为训练类别和测试类别属于不同的域，因此直接利用在训练阶段学习到的转移矩阵W*对属于未标注类别的样本进行分类容易产生域偏移问题。为了解决这一问题，假设测试样本可以一起获得，并提出了一种域自适应的方法。在测试阶段，利用在训练阶段学习到的转移矩阵W*将测试样本x映射到类别语义空间，然后利用公式1预测测试样本的类别。其中yc是第c个测试类对应的类别语义向量本文档来自技高网...

【技术保护点】
一种域自适应学习方法，其特征是，用表示包含n个样本的训练数据集，其中表示视觉特征空间，包含N个类别，利用表示来自M个类别的m个测试样本，并且训练类别和测试类别是不相交的，即：每一个类别利用嵌入在类别语义空间中的一个向量表征，为属性空间或者文本描述空间，p和q表示视觉空间和类别语义空间的维度，跨模态嵌入方法的基本原理是利用训练数据S学习一个转移矩阵将视觉样本从视觉空间转移到类别语义空间中，在测试阶段，利用在训练阶段学习到的转移矩阵W*将测试样本x映射到类别语义空间，然后利用公式1预测测试样本的类别：c*=argmaxcxTW*yc,---(1)]]>其中yc是第c个测试类对应的类别语义向量，利用公式1获得m个测试样本对应的预测类别，根据测试类别和类别语义向量之间的对应关系，得到测试样本集XU对应的预测类别语义矩阵矩阵的每一列向量表示测试样本的测试类别所对应的类别语义向量。

【技术特征摘要】
1.一种域自适应学习方法，其特征是，用表示包含n个样本的训练数据集，其中表示视觉特征空间，包含N个类别，利用表示来自M个类别的m个测试样本，并且训练类别和测试类别是不相交的，即：每一个类别利用嵌入在类别语义空间中的一个向量表征，为属性空间或者文本描述空间，p和q表示视觉空间和类别语义空间的维度，跨模态嵌入方法的基本原理是利用训练数据S学习一个转移矩阵将视觉样本从视觉空间转移到类别语义空间中，在测试阶段，利用在训练阶段学习到的转移矩阵W*将测试样本x映射到类别语义空间，然后利用公式1预测测试样本的类别：c*=argmaxcxTW*yc,---(1)]]>其中yc是第c个测试类对应的类别语义向量，利用公式1获得m个测试样本对应的预测类别，根据测试类别和类别语义向量之间的对应关系，得到测试样本集XU对应的预测类别语义矩阵矩阵的每一列向量表示测试样本的测试类别所对应的类别语义向量。2.如权利要求1所述的域自适应学习方法，其特征是，进一步地，利用测试样本自学习一个更适合测试样本的转移矩阵W，其目标函数为：argminW,VΣi=1m||WTxi-vi||F2+λ1||W-W*||F2+λ2Σi=1mΣj=1MAij||vi-yj||22,---(2)]]>其中λ1和λ2是权重系数，表示将测试样本xi映射到类别语义空间中的损失，vi表示测试样本xi在语义空间中的映射向量，表示利用测试样本学习得到的转移矩阵要与利用训练样本学习得到的转移矩阵相似；表示...

【专利技术属性】
技术研发人员：冀中，于云龙，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12