一种基于交互建模的多标记距离度量学习方法技术

本发明专利技术公开了一种基于交互建模的多标记距离度量学习方法，对任一多标记应用场景提取训练数据，并对其进行多标记标注；对已提取训练样本进行预处理，提高样本质量；将待学习的距离度量矩阵表示为组合距离度量形式；定义基于特征与标记协同计算的多标记语义相似度，并构造三元组约束集；结合组合距离度量和三元组约束集，构造多标记距离度量学习模型，对其优化求解；学得距离度量后，将训练数据映射到距离度量空间，然后使用已有多标记学习算法进行学习，得到基于距离度量学习的多标记分类器；将待预测样本输入上述分类器，得到标注样本。本发明专利技术可大大降低多标记学习系统的时间复杂度，增加了多标记学习框架的实用性。

A learning method of distance measurement based on interactive modeling

【技术实现步骤摘要】
一种基于交互建模的多标记距离度量学习方法
本专利技术涉及一种基于交互建模的多标记距离度量学习方法，具体涉及一种基于特征空间与标记空间交互建模的多标记距离度量学习方法，适用于任意多标记学习场景，属于机器学习

技术介绍
近年来，多标记学习得到研究者们的广泛关注并出现大量研究成果。但是，由于标记空间的组合性，多标记学习具有很高的复杂度而难以应用于实际场景。现有多标记学习方法多从标记空间出发对标记间的相关性进行建模，对特征空间处理较少。分析多标记数据，特征空间存在冗余，因此，如何构造一个合适的多标记距离度量表示可以大幅度提升多标记系统的学习性能，同时距离度量与近邻策略的结合降低了学习系统的复杂度，从而推动多标记学习的实际应用。基于上述问题，有必要对本专利技术的学习方法进行更加深入的研究。
技术实现思路
专利技术目的：为解决现有技术的不足，本专利技术的目的在于从特征空间处理角度出发，考虑到标记间相关性及特征空间与标记空间的结构化交互，提出一种基于交互建模的多标记距离度量学习方法。本专利技术采用如下技术方案：本专利技术所述的一种基于交互建模的多标记距离度量学习方法，包括以下步骤：(1)对任一多标记应用场景提取训练数据，并对其进行多标记标注；(2)对已提取训练样本进行预处理，过滤标记占有率小于设定阈值的样本，提高样本质量；(3)基于马氏距离度量学习框架，考虑到多标记数据中特征空间与标记空间的结构化交互，将待学习的距离度量矩阵表示为组合距离度量形式；(4)定义基于特征与标记协同计算的多标记语义相似度，并构造三元组约束集；(5)综合步骤(3)和(4)，得到多标记距离度量学习模型，对其优化求解；(6)学得距离度量后，将训练数据映射到距离度量空间，然后使用已有多标记学习算法(MLKNN)进行学习，从而得到基于距离度量学习的多标记分类器；(7)将待预测样本输入上述分类器，得到标注样本；(8)对标注结果进行抽检，若合格，结束；否则，返回步骤(1)，继续提取样本进行模型调整更新。其中，步骤(1)所述的应用场景包括但不限于图像、文本、视频场景等。优选地，所述步骤(3)将待学习的距离度量表示为如下组合度量形式：其中，bl∈Rd是组合基向量，wl≥0是待学习的非负组合系数(权重)；l是求和符号的区间下标，从1变化到K。K是求和符号的上界，是自定的值，本方法为每个标记构造一个组成基向量。T表示矩阵的转置。更优选地，考虑到标记与特征间的结构化交互性，结合标记的判别性信息来构造b，具体来说，对于每个标记，使用主成分分析(PCA)得到前K个特征向量作为局部度量向量，因此共有K*q个b，组合系数w为1*Kq维的向量。进一步优选地，所述步骤(4)包括以下步骤：(41)通过将特征空间和标记空间的识别信息进行协同计算得到语义相似度矩阵S：sij＝yiTGyjwhereG＝(αA+(1-α)C)其中，j对应样本xj的下标，i对应样本xi的下标；A是q×q的矩阵，q表示标记个数，矩阵内每行每列的值由alh的计算公式得到，m是求和符号的上界，表示m个样本；alh对应同时有标记yl和yh的样本，但由于标记之间的关联往往是非对称的，因此alh≠ahl；clh对应组合基向量的余弦相似度，α和平衡系数，平衡特征空间和标记空间对语义相似度的相对贡献度；C是q×q的矩阵，q表示标记个数，矩阵内每行每列的值由clh的计算公式得到，T表示矩阵的转置；(42)设置语义相似度的阈值参数θ，根据语义相似度矩阵的定义，针对训练样本xi，可分为如下相似集Zi和不相似集Zi＝{xj|sij≥θ,j≠i,1≤j≤m}(43)在相似集和不相似集中分别找到欧氏距离最近的k个样本，组成集合Ki和则三元组约束集R表示如下：更进一步优选地，步骤(5)所述的学习模型如下：ζi≥0,wi≥0(1≤i≤m)其中表示两个样本的嵌入空间距离，表示两个标记向量的不相似度。w是步骤(3)中待学习的非负组合系数(权重)，C为平衡系数，m表示样本个数，ζ是松弛变量，表示损失，R为三元组约束集。本专利技术的有益效果：与现有技术相比，本专利技术提出一种基于交互建模的多标记距离度量学习方法，充分利用标记间相关性及特征空间与标记空间的交互性，可以对任意多标记学习场景进行处理，并通过结合距离度量和k近邻策略，降低了多标记学习系统的复杂度，促进了多标记学习框架的实际应用。附图说明图1为本专利技术的一种基于交互建模的多标记距离度量学习方法流程图。具体实施方式下面结合附图和具体实施例对本专利技术作进一步详细说明。如图1所示，本专利技术是一种基于特征空间与标记空间交互建模的多标记距离度量学习方法，包括以下步骤：(1)对任意多标记应用场景如图像、视频、文本等进行采样，获得训练数据，提取相应特征并进行人工标注，得到训练数据D＝{(xi,yi)|1≤i≤m}，其中xi∈χ为d维特征向量，为示例xi的标记集合。(2)对已提取训练样本进行预处理，过滤掉标记占有率小于设定阈值的样本，以此提高样本质量。(3)基于马氏距离度量学习框架，考虑到多标记数据中特征空间与标记空间的结构化交互，将待学习的距离度量矩阵表示为组合距离度量形式。基于多标记数据特性，将距离度量表示为如下组合度量形式：其中，其中，bl∈Rd是组合基向量，wl≥0是待学习的非负组合系数(权重)，刻画了各个基向量的重要度。考虑到标记与特征间的结构化交互性，结合标记的判别性信息来构造b，具体来说，对于每个标记，使用主成分分析(PCA)得到前K个特征向量作为局部度量向量，因此共有K*q个b，组合系数w为1*Kq维的向量。(4)定义基于特征与标记协同计算的多标记语义相似度，并构造三元组约束集；具体子步骤如下：(41)多标记场景下，由于多类标记的组合性，通过将特征空间和标记空间的识别信息进行协同计算得到语义相似度矩阵S：sij＝yiTGyjwhereG＝(αA+(1-α)C)其中alh对应同时有标记yl,yh的样本，但由于标记之间的关联往往是非对称的，因此alh≠ahl。clh对应组合基向量的余弦相似度，α为平衡系数，平衡特征空间和标记空间对语义相似度的相对贡献度。(42)基于语义相似度矩阵的定义，训练集可分为如下相似集和Zi＝{xj|sij≥θ,j≠i,1≤j≤m}不相似集：其中，θ为语义相似度的阈值参数。(43)在相似集和不相似集中分别找到欧氏距离最近的个样本，组成集合Ki和则三元组约束集R表示如下：其中R包含个三元组。(5)综合步骤(3)和(4)，得到多标记距离度量学习模型如下：ζi≥0,wi≥0(本文档来自技高网...

【技术保护点】
1.一种基于交互建模的多标记距离度量学习方法，其特征在于，包括以下步骤：/n(1)对任一多标记应用场景提取训练数据，并对其进行多标记标注；/n(2)对已提取训练样本进行预处理，过滤标记占有率小于设定阈值的样本，提高样本质量；/n(3)基于马氏距离度量学习框架，考虑到多标记数据中特征空间与标记空间的结构化交互，将待学习的距离度量矩阵表示为组合距离度量形式；/n(4)定义基于特征与标记协同计算的多标记语义相似度，并构造三元组约束集；/n(5)综合步骤(3)和(4)，得到多标记距离度量学习模型，对其优化求解；/n(6)学得距离度量后，将训练数据映射到距离度量空间，然后使用已有多标记学习算法进行学习，得到基于距离度量学习的多标记分类器；/n(7)将待预测样本输入上述多标记分类器，得到标注样本；/n(8)对标注结果进行抽检，若合格，结束；否则，返回步骤(1)，继续提取样本进行模型调整更新。/n

【技术特征摘要】
1.一种基于交互建模的多标记距离度量学习方法，其特征在于，包括以下步骤：
(1)对任一多标记应用场景提取训练数据，并对其进行多标记标注；
(2)对已提取训练样本进行预处理，过滤标记占有率小于设定阈值的样本，提高样本质量；
(3)基于马氏距离度量学习框架，考虑到多标记数据中特征空间与标记空间的结构化交互，将待学习的距离度量矩阵表示为组合距离度量形式；
(4)定义基于特征与标记协同计算的多标记语义相似度，并构造三元组约束集；
(5)综合步骤(3)和(4)，得到多标记距离度量学习模型，对其优化求解；
(6)学得距离度量后，将训练数据映射到距离度量空间，然后使用已有多标记学习算法进行学习，得到基于距离度量学习的多标记分类器；
(7)将待预测样本输入上述多标记分类器，得到标注样本；
(8)对标注结果进行抽检，若合格，结束；否则，返回步骤(1)，继续提取样本进行模型调整更新。


2.根据权利要求1所述的一种基于交互建模的多标记距离度量学习方法，其特征在于，步骤(1)中所述的应用场景包括图像、文本、视频场景。


3.根据权利要求1所述的一种基于交互建模的多标记距离度量学习方法，其特征在于，步骤(3)中将待学习的距离度量表示为如下组合度量形式：



其中，bl∈Rd是组合基向量，wl≥0是待学习的非负组合系数(权重)，l是求和符号的区间下标，从1变化到K。K是求和符号的上界，是自定的值，本方法为每个标记构造一个组成基向量。T表示矩阵的转置。


4.根据权利要求1所述的一...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：南京智谷人工智能研究院有限公司，
类型：发明
国别省市：江苏;32