基于多阶段分类器网络的跨域多视角目标检索方法及装置制造方法及图纸

本发明专利技术公开了一种基于多阶段分类器网络的跨域多视角目标检索方法及装置，相比于传统方法过度依赖静态的具有较高复杂度学习器，本发明专利技术考虑了不同样本间可转移性的差异，通过在网络中加入多个中间分类器，在训练中根据样本不同阶段特征动态地判断样本是否“容易”转移。通过样本在不同分类器前特征进行相似性度量来计算置信度分数这一策略判断各分类器的预测一致性，并得到准确的目标伪标签；同时在保证输入类别多样性的前提下重新对目标样本筛选以训练从源域到目标域的多阶段分类器。在针对多视图表示的三维模型跨域检索上，通过融合不同分类器前的特征以获取样本特征的全局表示。基于以上操作能够在传统检索指标上获得更好的性能，提升检索效果。提升检索效果。提升检索效果。

【技术实现步骤摘要】
基于多阶段分类器网络的跨域多视角目标检索方法及装置


[0001]本专利技术涉及域适应与深度学习
，尤其涉及一种基于多阶段分类器网络的跨域多视角目标检索及装置。

技术介绍

[0002]随着三维模型的应用日益广泛以及三维模型建模技术的快速发展，产生了海量的三维模型数据。如何在大量重复的三维模型数据中进行模型数据库的管理以及有效的检索逐渐成为人们的需求，高效的三维模型检索算法成为了当下研究的热点。
[0003]当前深度神经网络在二维图像上的分类识别技术已经十分成熟，通过大量有标记的二维图像上学习到的知识来跨域检索三维模型成了许多学者研究的热点。其中基于视图的三维模型检索方法将三维模型转化为二维投影视图，以多视图特征融合的全局描述子通过深度神经网络来进行分类或检索是当下最热门的研究方向之一。例如：有的方法在网络最后一个池化层对多视图特征进行融合以获得信息更为丰富的特征；有的方法在前者基础上对视图增加了分组操作；还有的方法通过图卷积网络将视图聚合。由于深度神经网络针对二维图像的处理技术比较成熟，大量带有真实标签的二维图像数据能使网络充分地进行预训练，因此基于视图的三维模型检索方法取得了比较好的效果。
[0004]在域适应研究领域，比较流行的方法通常利用静态的具有较高复杂度的基础学习器，这些学习器具有由深度和广度架构带来的良好的可迁移能力。然而，它们没有考虑不同目标样本的可转移性。具体来说有些“简单”通过较为浅层的网络便可准确对其进行预测，而通过较深的网络其预测结果不一定优于通过浅层网络的预测；而浅层网络无法对“困难”样本进行预测，这时便需要通过深层网络对“困难”样本进行预测。而大多数数据集同时包含“简单”样本与“困难”样本。
[0005]目前针对这种情况。动态推断输入样本复杂性的自适应网络结构受到越来越多的关注。例如：在网络不同深度添加分类器，这样便可以在训练的不同阶段对样本进行预测。这种网络可以在浅深度分类器对“简单”样本进行准确推理，在深度分类器对“困难”样本进行准确推理。

技术实现思路

[0006]本专利技术提供了一种基于多阶段分类器网络的跨域多视角目标检索方法及装置，本专利技术相对于传统的基于静态神经网络的跨域多视角目标检索算法，充分考虑了不同视角视图可迁移性不同的情况，实现了检索准确率的较大提升，详见下文描述：
[0007]第一方面，一种基于多阶段分类器网络的跨域多视角目标检索方法，所述方法包括：
[0008]将源域二维图像数据与目标域三维模型数据一同输入进多分类器网络中进行训练；选择带有高置信度伪标签的目标数据，利用目标数据再次训练多分类器网络获得更好的域适应性能；
[0009]利用再次训练后的新多分类器网络M
′
分别对源域及目标域的数据提取特征，获取源域数据集的全部样本在第n个分类器前的特征集合表示；
[0010]目标域每个样本都包含若干张二维视图，在新多分类器网络的前一层对属于同一样本的视图特征进行融合，获取单个目标域样本的特征；将新多分类器网络的前特征向量计算得到的矩阵进行相加，将样本的不同细粒度特征进行融合，实现对跨域多视角目标的检索。
[0011]第二方面，一种基于多阶段分类器网络的跨域多视角目标检索装置，所述装置包括：
[0012]处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行第一方面中的任一项所述的方法步骤。
[0013]第三方面，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行第一方面中的任一项所述的方法步骤。
[0014]本专利技术所提出的基于多阶段分类器网络的跨域多视角目标检索及装置相比于传统的基于静态的具有较高复杂度的网络的方法具有如下的有益效果：
[0015]1、本专利技术充分考虑了不同样本的可转移性，凭借多分类器网络的结构能够充分考虑样本在不同阶段不同深度的特征，在训练过程中对具有高置信度伪标签目标域样本进行筛选，通过重新筛选的样本进一步对网络进行训练优化；
[0016]2、本专利技术在检索时通过将不同阶段分类器的出口特征进行融合，得到富含多尺度不同深度的全局特征表示，使得常规检索指标性能得到进一步提升；
[0017]3、在实际的面向多视图表示的三维模型数据、且数据没有标签信息的应用场景下，采用本专利技术提出的技术方案进行检索，能够在最近邻(Nearest neighbor，NN)等检索指标上获得更好的性能，提升了检索效果。
附图说明
[0018]图1为多分类器网络的结构示意图；
[0019]图2为多分类器网络分类器的结构示意图；
[0020]图3为block的结构示意图；
[0021]图4为网络训练的流程图；
[0022]图5为一种基于多阶段分类器网络的跨域多视角目标检索装置的结构示意图。
具体实施方式
[0023]为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。
[0024]实施例1
[0025]本专利技术实施例提供了一种基于多阶段分类器网络的跨域多视角目标检索方法，参见图1
‑
图3，该方法包括以下步骤：
[0026]步骤1)将源域二维图像数据与目标域三维模型数据一同输入进多分类器网络中进行训练；选择带有高置信度伪标签的目标数据，利用目标数据再次训练多分类器网络获
得更好的域适应性能；
[0027]步骤2)利用再次训练后的新多分类器网络M
′
分别对源域及目标域的数据提取特征，获取源域数据集的全部样本在第n个分类器前的特征集合表示；
[0028]步骤3)目标域每个样本都包含若干张二维视图，在新多分类器网络的前一层对属于同一样本的视图特征进行融合，获取单个目标域样本的特征；
[0029]步骤4)将新多分类器网络的前特征向量计算得到的矩阵进行相加，将样本的不同细粒度特征进行融合，实现对跨域多视角目标的检索。
[0030]综上所述，本专利技术实施例通过上述步骤1)—4)充分考虑了三维模型不同视角视图可迁移性不同的情况，实现了检索准确率的较大提升。
[0031]实施例2
[0032]下面结合具体的计算公式、图1
‑
图3、实例对实施例1中的方案进行进一步地介绍，详见下文描述：
[0033]本方法采用的网络具有横向纵向两个维度，其中横向是深度维度，纵向是尺度维度。横向上通过常规卷积，保持特征维度不变，在较低尺度维度情况下保持图像的细粒度特征；纵向上通过stride卷积，使得特征维度减小从而获得高阶特征，以便连接分类器(参见图2)进行分类，各层之间引入稠密连接。通过分类器个数将网络划分为相应个数的block(参见图3)。具体操作步骤如下：
[0034]步骤一：遵循大多数有监督学习的设置，对于源域给定真实标签的二维图像样本在多分类器网络的每个分类器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多阶段分类器网络的跨域多视角目标检索方法，其特征在于，所述方法包括：将源域二维图像数据与目标域三维模型数据一同输入进多分类器网络中进行训练；选择带有高置信度伪标签的目标数据，利用目标数据再次训练多分类器网络获得更好的域适应性能；通过再次训练后的新多分类器网络分别对源域及目标域的数据提取特征，获取源域数据集的全部样本在第n个分类器前的特征集合表示；目标域每个样本都包含若干张二维视图，在新多分类器网络的前一层对属于同一样本的视图特征进行融合，获取单个目标域样本的特征；将新多分类器网络的前特征向量计算得到的矩阵进行相加，将样本的不同细粒度特征进行融合，实现对跨域多视角目标的检索。2.根据权利要求1所述的一种基于多阶段分类器网络的跨域多视角目标检索方法，其特征在于，所述选择带有高置信度伪标签的目标数据具体为：对于给定的目标样本，通过二维多视图数据的集合来表示目标样本，计算每个视图在所有分类器的预测平均值作为该样本视图的平均预测，并用余弦相似度来衡量每个分类器预测结果与平均预测之间的一致性；单一视图的置信度分数计算如下：3.根据权利要求1所述的一种基于多阶段分类器网络的跨域多视角目标检索方法，其特征在于，所述方法还包括：通过计算目标类别累计的...

【专利技术属性】
技术研发人员：张静，马明升，李文辉，刘安安，苏育挺，
申请(专利权)人：天津大学，
类型：发明
国别省市：