【技术实现步骤摘要】
一种融合上下文进行超类推理的零样本对象检测方法
本专利技术涉及计算机视觉
，尤其是涉及一种融合上下文进行超类推理的零样本对象检测方法。
技术介绍
对象检测是计算机视觉领域的经典问题之一，基于深度神经网络的对象检测技术在过去的几年里取得了巨大的成功，其原因之一在于使用了大量具有精确边界框标注的有标签训练数据集。然而，一方面，我们很难收集和标注超出日常对象的所有对象类图像，比如一些濒临灭绝的物种、不断推陈出新的新产品等。另一方面，当目标域的数据比较少或不存在时，在源域上训练的对象检测器很难泛化到目标域。相比之下，即使没有看到任何图像，人类也具有快速学习新概念、新对象的非凡能力，一个好的对象检测系统应该具备这种学习能力。为了弥合对象检测器与人类智能之间的差距，赋予对象检测器能够检测全新的未知目标类的能力(即零样本对象检测)已经成为热点问题之一。零样本对象检测旨在缺乏有监督训练样本的情况下检测未知的对象类。与零样本识别相比，它不仅要求模型识别对象的类别，而且还需要在数百万个潜在的候选区域内准确定位目标。零样本对象检测的...
【技术保护点】
1.一种融合上下文进行超类推理的零样本对象检测方法，其特征在于包括如下步骤：/n步骤一：提取深度图片特征；/n步骤二：基于提取的深度图片特征，对每个单元格，使用坐标预测网络预测所述单元格的位置坐标，使用置信度预测网络，预测所述单元格中是否存在对象的置信度；/n步骤三：基于每个单元格的视觉特征，使用零样本分类器对候选对象框进行分类，得到细粒度的分类结果，每个单元格可以预测一个或多个候选对象框位置，每个候选对象框的特征是当前单元格的视觉特征，基于视觉特征进行零样本分类；/n步骤四：在步骤一的基础上，使用上下文提取网络提取每个单元格的上下文信息，同时基于提取的上下文特征，使用超类...
【技术特征摘要】
1.一种融合上下文进行超类推理的零样本对象检测方法，其特征在于包括如下步骤：
步骤一：提取深度图片特征；
步骤二：基于提取的深度图片特征，对每个单元格，使用坐标预测网络预测所述单元格的位置坐标，使用置信度预测网络，预测所述单元格中是否存在对象的置信度；
步骤三：基于每个单元格的视觉特征，使用零样本分类器对候选对象框进行分类，得到细粒度的分类结果，每个单元格可以预测一个或多个候选对象框位置，每个候选对象框的特征是当前单元格的视觉特征，基于视觉特征进行零样本分类；
步骤四：在步骤一的基础上，使用上下文提取网络提取每个单元格的上下文信息，同时基于提取的上下文特征，使用超类预测网络，预测每个候选对象的超类信息；
步骤五：将步骤四预测的超类与步骤三预测的类别进行有机融合，得到最终的分类结果。
2.如权利要求1所述的一种融合上下文进行超类推理的零样本对象检测方法，其特征在于所述步骤三，具体包括如下步骤：
步骤3.1：基于每个单元格的视觉特征，使用非线性方程将视觉特征投影至语义嵌入空间；单元格的视觉特征是xi，投影后的视觉特征是ki，i表示第i个单元格；
步骤3.2：在语义嵌入空间中计算视觉特征的投影向量与对象类的语义嵌入向量之间的相似度，得到分类得分值，给出细粒度的分类结果；得分值表示为Cs表示有对象类的个数，j表示第j个训练类，s表示已知类，即训练类。
3.如权利要求2所述的一种融合上下文进行超类推理的零样本对象检测方法，其特征在于所述步骤四，具体包括如下步骤：
步骤4.1：在给定输入图片的特征矩阵之上，通过上下文特征提取，提取上下文特征矩阵，使用空洞卷积；
步骤4.2：从语义网中抽取对象类与对象类之间的超类关系，使得超类中至少含有1个测试对象类；
步骤4.3：基于每个单元格的上下文特征，使用多层全连接网络预测超类；单元格的真实超类表示为预测的超类表示为使用以下...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。