零样本目标检测系统及可学习语义和固定语义融合方法技术方案

本申请公开了一种零样本目标检测系统及可学习语义和固定语义融合方法，将零样本学习机制引入到深度目标检测框架，建立一套基于具有强判别能力的零样本目标检测系统LAT‑Net，通过LAT‑Net实现端到端的零样本目标检测任务。使用了可学习的语义特征和固定语义特征相结合的方法，使得网络在源域训练时，既可以充分利用类别的词向量信息，又可以利用到端到端学习，发现更加具有鉴别能力的类别原型，取得了最好的检测准确率。本发明专利技术系统框架简单、使用方便、可扩展性强、可解释性强，并在两个主流视觉属性数据集的零样本检测和泛化零样本检测两大任务的结果上，均超过了现有方法。为目标检测技术在军事和工业应用领域，提供基础框架和方法的支持。

【技术实现步骤摘要】
零样本目标检测系统及可学习语义和固定语义融合方法
本申请涉及机器学习
，尤其是涉及一种零样本目标检测系统及可学习语义和固定语义融合方法。
技术介绍
目标检测技术是计算机视觉任务中一个基础的任务，该任务旨在从图像中定位并分类出目标类别物体。目标检测技术的应用范围广泛，它为一些下游任务，例如实例分割，场景理解，姿态估计等任务，提供了基础的支持。已有深度目标检测模型在一些类别上取得了较好的准确率，但严重依赖于在大规模带标定数据集。然而在现实场景中，却面临着数据样本分布不均衡、以及样本无监督等问题，因此如何在样本量不足甚至零样本、以及样本无标注的情况下，充分利用社交媒体中的数据，成为了计算机视觉领域的开放式问题。零样本学习为解决这一类问题提供了一套系统的框架，即利用类的语义信息(classsemanticinformation)，来完成源域到目标域的知识迁移。这些语义信息，如属性标注，标签词向量等，可以一致地编码成属性向量，后者也可称作类嵌入(classembedding)或标签语义嵌入(labelsemanticembedding)。零本文档来自技高网...

【技术保护点】
1.一种零样本目标检测系统，其特征在于，系统从输入到输出依次包括如下几个神经网络模块：/n1)提取输入图像I的多层次特征的卷积网络特征提取模块：通过多层卷积操作，在不同的层上获取到不同语义，不同分辨率大小的视觉特征，并分别输出；/n输入的RGB图像I经过卷积网络特征提取模块后输出为{C

【技术特征摘要】
1.一种零样本目标检测系统，其特征在于，系统从输入到输出依次包括如下几个神经网络模块：
1)提取输入图像I的多层次特征的卷积网络特征提取模块：通过多层卷积操作，在不同的层上获取到不同语义，不同分辨率大小的视觉特征，并分别输出；
输入的RGB图像I经过卷积网络特征提取模块后输出为{C1,C2,...,Ci,...,CN},其中N表示输出的层数，Ci表示第i层的图像特征；
2)特征金字塔特征融合模块：特征金字塔模块通过自顶而下的方法融合步骤1)卷积网络特征提取模块输出的特征，将高层的特征图进行上采样插值操作，将下层的特征图进行1*1的卷积操作来归一化通道数，然后将两部分特征进行直接地逐位数相加完成特征融合，保证图像特征的高分辨率和语义信息充足，所述模块输出{P1,P2,...,Pi,...PN}，其中，Pi＝g(Ci)+h(Pi+1)，其中g(·)是1*1的卷积操作，h(·)为放大两倍的最近邻插值操作；
3)预定义候选框模块：在特征金字塔特征融合模块输出的各个特征图上，分配不同大小和位置的预定义候选框，并将所有预定义候选框经过全局池化模块，生成对应的候选框的视觉特征{T1,T2,T3...TM}，其中M为候选框总数；
4)视觉-语义映射模块：将步骤3)获取到的第k个候选框的视觉特征Tk映射到语义空间对应的语义特征Sk；
对于每一个Tk，分别通过并联的1*1卷积操作，得到维度为Lα的两个语义特征，分别记作固定的语义特征Skfix和可学习语义特征Sklearn，两组语义特征分别和固定的类别语义向量Φfix以及可学习的类别语义向量Φlearn进行相似度计算，得到两组分类打分，记作Scorefix和Scorelearn；
5)候选框分类模块：将步骤4)得到的Scorefix和Scorelearn两部分分类打分进行加权求和，然后通过sigmoid激活层，获取到每个候选框对于每个类别的分类概率Score并输出；
6)候选框回归模块：候选框回归模块输出回归值，用于步骤5)输出的候选框的位置和大小修正；
该模块输入每个候选框的语义特征Sk，然后经过两层全连接神经网络，输出对应候选框的4个回归参数(dxk,dyk,dwk,dhk)，其中，前两个参数对应候选框的位置修正，xk和yk表示第k个标注框左上角的坐标；后两个参数对应候选框的大小修正，wk和hk分别为第k个标注框的宽和高；
7)损失函数层：该层仅用于网络训练，输入为候选框分类模块和候选框回归模块的输出，以及训练时的标签数据，此处的标签数据包括每张图像的物体真实标定框；
该层损失函数L为：
L＝LFL+LBBOX，
其中，LFL为候选框分类的focalloss损失，定义为LFL＝-βt(1-pt)γlog(pt)，其中，βt和γ为超参数，超参数为用户手动设定的参数；当候选框标签为1的时候，pt为候选框分类模块输出的分类概率Score；当候选框标签为0的时候，pt＝1-Scor；此处，标签为1的候选框指的是与真实标定框交并比高于阈值Thr1的候选框，标签为0的候选框指的是与真实标定框交并比低于阈值Thr1的候选框，此处，交并比是指两个框的相交的面积除以相并的面积；LBBOX为候选框回归模块的损失函数，其采用SmoothL1损失函数；
8)结果汇总模块：输入为候选框分类模块的输出，以及候选框回归模块的输出，汇总输出为最终的结果；
对于候选框分类模...

【专利技术属性】
技术研发人员：周水庚，王康，张路，赵佳佳，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海;31