【技术实现步骤摘要】
本专利技术属于模式识别，尤其涉及一种基于双分支对比学习的不完备多视图多标签分类方法和装置。
技术介绍
1、随着多视图学习的兴起，大量研究表明，从多个渠道和角度收集到的异构多源特征能够更加丰富和多样化地描述观测样本。例如在实践中，提取一张图片的sift特征和深度特征作为它的不同角度的描述或是分别从图片和文本等多媒体数据中提取特征以表达更高级的语义对象。现有大量的多视图学习方法围绕着多视图语义一致性和特征互补性假设展开，这些方法追求从多源特征中学习唯一的样本标签以保持多个视图在语义层面上的统一，并通过挖掘每个视图自身的独特优势以弥补单一视图表示的局限性。例如，一些方法强调学习跨视图相似度矩阵的重要性；另一些方法提出在谱嵌入空间中学习一个公共图以获取高级语义信息。
2、另一方面，作为一种经典的分类问题，多标签分类在很长一段时间占据着模式识别的重要领地。结合多视图学习的新的复合问题，即多视图多标签分类问题，正引起越来越多的关注。多视图多标签分类即可以被划分为多视图学习范围内的有监督子任务，又可以被看作是传统单视图多标签分类关于特征多样性应用中的扩展。因此现有的多视图多标签分类方法即考虑多视图学习的基本特点，又要兼顾下游任务即多标签分类的需求。一些方法尝试通过利用希尔伯特-施密特独立性准则(hilbert–schmidt independencecriterion)增强每个视图的多样性并通过后融合方式获得一致性的预测结果。
3、然而，现有的面向理想情况的多视图多标签分类方法忽略了多视图特征和多标签可能存在数据和标签
技术实现思路
1、本专利技术要解决的技术问题是，提供一种基于双分支对比学习的不完备多视图多标签分类方法和装置，以双分支深度神经网络模型作为框架，通过对比学习的方法提升嵌入特征的鉴别能力，进而提升模型在不完备多视图不完备多标签数据上的分类性能。
2、为实现上述目的，本专利技术采用如下的技术方案：
3、一种不完备多视图多标签分类方法，包括：
4、步骤s1、获取多视图数据训练集及其对应的缺失视图与缺失标签位置信息；
5、步骤s2、将多视图数据训练集及其对应的视图与标签缺失位置信息作为不完备多视图多标签分类深度神经网络模型的输入，根据深度神经网络模型训练损失函数，得到输入数据在深度神经网络模型的总损失，其中，所述总损失函数包含：多视图跨分支对比损失、重构损失、图约束损失和多标签交叉熵损失；
6、步骤s3、将待处理的多视图数据及其对应的缺失视图位置信息输入到具有所述总损失函数的深度神经网络模型中进行不完备多视图数据的多标签分类。
7、作为优选，多视图跨分支对比损失为：
8、
9、其中，是相似度度量函数x和y泛指该函数的输入，其为和和分别为第i个样本在第v个视图上对应的共享和专有特征向量，1[υ]表示条件函数，当条件{υ:wi,uwi,v＝1}成立时，1[υ]＝1，反之1[υ]＝0，n＝∑u,vwi,uwi,v代表可用实例对数量，n表示输入数据的样本个数，m表示输入多视图数据的视图个数，w是一个n行m列的矩阵，存储了输入数据的视图缺失位置信息，wi,u表示其第i行第u列的元素，若输入数据的第i个样本的第u个视图缺失，则wi,u＝0，否则wi,u＝1。
10、作为优选，重构损失为：
11、
12、其中，n是输入数据的样本个数，dv是输入数据第v个视图数据的特征维度，表示第i个样本的第v个视图原始输入数据，表示经过深度神经网络模型重构的数据，m表示输入多视图数据的视图个数。
13、作为优选，图约束损失如下：
14、
15、其中，t表示从标签矩阵中提取的样本邻接矩阵，n是输入数据的样本个数，z是加权融合后的共享特征和视图专有特征的拼接，zi,:和zj,:分别表示z的第i行和第j行向量。
16、作为优选，多标签交叉熵损失为：
17、
18、其中，n是输入数据的样本个数，c是输入数据的类别数，g为输入数据对应标签矩阵的缺失位置指示矩阵，gi,j＝1表示第i个样本的第j个标签是可用的，反之则表示该样本是否含有这个标签是未知的，p∈rn×c为输入数据经过深度神经网络模型后的分类预测结果矩阵，y是输入训练数据对应的标签矩阵。
19、本专利技术还提供一种不完备多视图多标签分类装置，包括：
20、获取模块，用于获取多视图数据训练集及其对应的缺失视图与缺失标签位置信息；
21、训练模块，用于将多视图数据训练集及其对应的视图与标签缺失位置信息作为不完备多视图多标签分类深度神经网络模型的输入，根据深度神经网络模型训练损失函数，得到输入数据在深度神经网络模型的总损失，其中，所述总损失函数包含：多视图跨分支对比损失、重构损失、图约束损失和多标签交叉熵损失；
22、分类模块，用于将待处理的多视图数据及其对应的缺失视图位置信息输入到具有所述总损失函数的深度神经网络模型中进行不完备多视图数据的多标签分类。
23、作为优选，多视图跨分支对比损失为：
24、
25、其中，是相似度度量函数x和y泛指该函数的输入，其为和和分别为第i个样本在第v个视图上对应的共享和专有特征向量，1[υ]表示条件函数，当条件{υ:wi,uwi,v＝1}成立时，1[υ]＝1，反之1[υ]＝0，n＝∑u,vwi,uwi,v代表可用实例对数量，n表示输入数据的样本个数，m表示输入多视图数据的视图个数，w是一个n行m列的矩阵，存储了输入数据的视图缺失位置信息，wi,u表示其第i行第u列的元素，若输入数据的第i个样本的第u个视图缺失，则wi,u＝0，否则wi,u＝1。
26、作为优选，重构损失为：
27、
28、其中，n是输入数据的样本个数，dv是输入数据第v个视图数据的特征维度，表示第i个样本的第v个视图原始输入数据，表示经过深度神经网络模型重构的数据，m表示输入多视图数据的视图个数。
29、作为优选，图约束损失如下：
30、
31、其中，t表示从标签矩阵中提取的样本邻接矩阵，n是输入数据的样本个数，z是加权融合后的共享特征和视图专有特征的拼接，zi,:和zj,:分别表示z的第i行和第j行向量。
32、作为优选，多标签交叉熵损失为：
33、
34、其中，n是输入数据的样本个数，c是输入数据的类别数，g为输入数据对应标签矩阵的缺失位置指示矩阵，gi,j＝1表示第i个样本文档来自技高网...
【技术保护点】
1.一种不完备多视图不完备多标签分类方法，其特征在于，包括：
2.如权利要求1所述的不完备多视图不完备多标签分类方法，其特征在于，多视图跨分支对比损失为：
3.如权利要求2所述的不完备多视图不完备多标签分类方法，其特征在于，重构损失为：
4.如权利要求3所述的不完备多视图不完备多标签分类方法，其特征在于，图约束损失如下：
5.如权利要求4所述的不完备多视图不完备多标签分类方法，其特征在于，多标签交叉熵损失为：
6.一种不完备多视图不完备多标签分类装置，其特征在于，包括：
7.如权利要求5所述的不完备多视图不完备多标签分类装置，其特征在于，多视图跨分支对比损失为：
8.如权利要求7所述的不完备多视图不完备多标签分类装置，其特征在于，重构损失为：
9.如权利要求8所述的不完备多视图不完备多标签分类装置，其特征在于，图约束损失如下：
10.如权利要求9所述的不完备多视图不完备多标签分类装置，其特征在于，多标签交叉熵损失为：
【技术特征摘要】
1.一种不完备多视图不完备多标签分类方法，其特征在于，包括：
2.如权利要求1所述的不完备多视图不完备多标签分类方法，其特征在于，多视图跨分支对比损失为：
3.如权利要求2所述的不完备多视图不完备多标签分类方法，其特征在于，重构损失为：
4.如权利要求3所述的不完备多视图不完备多标签分类方法，其特征在于，图约束损失如下：
5.如权利要求4所述的不完备多视图不完备多标签分类方法，其特征在于，多标签交叉熵损失为：
...【专利技术属性】
技术研发人员：刘成亮，文杰，唐瞻雁，
申请(专利权)人：哈尔滨工业大学深圳哈尔滨工业大学深圳科技创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。