基于在线示例分类器精化的多示例检测网络及其训练方法技术

本发明专利技术公开了一种基于在线示例分类器精化的多示例检测网络及其训练方法，包括：确定训练图片集，并选择每张训练图片中的多个候选区域；获得所述训练图片集中训练图片的卷积特征图，并得到各候选区域的卷积特征；将各候选区域的卷积特征输入到全连接层中，得到各候选区域的特征向量；构建一个基准示例分类器，并构建多个精化示例分类器，通过更新每个候选区域得分的权重进行在线示例分类器精化；合并整个网络中的损失函数，训练端到端的多示例检测网络。本发明专利技术将多示例分类器训练和分类器精化整合到一起，训练速度快识别准确率高，仅依赖图像标签的数据集，不需要人工对目标示例的位置和标签进行标注，适用于弱监督的目标检测问题。

Multi sample detection network based on online sample classifier refinement and training method thereof

The invention discloses an on-line sample classifier refinement of the multi instance detection network and its training method, based on the training include: determining the picture set and select multiple candidate regions in each training image; convolution feature map obtains the training images focus on training images, and the characteristics of each candidate region by convolution convolution input; the characteristics of each candidate region to the connection layer, get the eigenvectors of the candidate region; constructing a benchmark example classifier, and construct a refined sample classifier, by updating the weight score of each candidate online sample classifier refinement; with the loss function of the network, training end to multi instance detection network the end of the. The multi instance classifier training and classifier refinement together, faster training speed and high recognition accuracy, only depends on the image tag data set, do not need artificial target sample position and label to label target detection problems for weak supervision.

【技术实现步骤摘要】
基于在线示例分类器精化的多示例检测网络及其训练方法
本专利技术属于计算机视觉技术中弱监督目标检测
，更具体地，涉及一种基于在线示例分类器精化的多示例检测网络及其训练方法。
技术介绍
目标检测是计算机视觉
中弱监督的重要课题，对于人眼来说，目标检测是再简单不过的任务，但是对于计算机来说，它看到的是一些值为0-255的数组，很难判断和得到高层语义概念，也不清楚目标到底在图像中的哪个区域。图像中的目标可能出现在任何位置，目标的形态可能存在各种各样的变化，图像的背景千差万别，这些因素导致目标检测并不是一个容易解决的任务。得益于深度学习——主要是卷积神经网络和候选区域算法，它们的应用大大提高了目标检测的精度。在训练目标检测网络的过程中，往往需要提前准备大量的具有标签的数据，尤其是标记了目标位置的数据。但相比于图像级别的标签(即只标注了图像中是否含有目标)，获取目标位置级别的标签往往需要更多的人力来进行标注。只使用图像级别的数据来训练目标检测网络称为基于弱监督学习的目标检测。多示例学习是典型的弱监督学习(在多示例学习中，训练数据的标签只有正和负两种，被标记的目标对象可以看作是一个数据包，称为正包和负包。正包中至少有一个样本的标签为正，负包中所有样本的标签都为负)。实际中要获得所有数据的标签是很困难的，为庞大的数据库标记是非常耗时耗力的，特别是目标检测问题中存在巨大的目标候选区域集，要获得每个候选区域的位置和标签，通过人工的方式基本是无法完成的，因此基于弱监督的目标识别是计算机视觉领域中的难点之一。
技术实现思路
针对弱监督目标检测问题的困难，本专利技术提供了一种基于在线示例分类器精化的多示例检测网络及其训练方法，其目的在于仅依赖于图像标签的训练图片数据集，训练得到目标示例的位置，将候选区域选取和卷积神经网络分类融合到一起，将网络分类和精化也融合到一起，从而生成端到端的多示例检测网络以进行目标检测。该方法训练速度快检测精度高，不需要人工标注目标的位置和标签，适用于弱监督问题。为了解决上述技术问题，按照本专利技术一个方面，提供了一种基于在线示例分类器精化的多示例检测网络训练方法，包括下述步骤：(1)确定训练图片集，所述训练数据集包括训练图片的集合，以及每张训练图片的类别标签，所述类别标签用于表示该训练图中包含哪一类或多类目标示例；并选择每张训练图片中的多个候选区域；(2)获得所述训练图片集中训练图片的卷积特征图，并将训练图片的各候选区域在其原始训练图片中的位置映射到该训练图片的卷积层特征图上，得到训练图片的各候选区域的卷积特征；(3)将训练图片的各候选区域的卷积特征输入到全连接层中，得到训练图片的各候选区域的特征向量；(4)构建一个基准示例分类器，并根据所述训练图片的各候选区域的特征向量和所述基准示例分类器构建多个精化示例分类器，通过更新每个候选区域得分的权重，进行在线示例分类器精化；(5)合并整个网络中的损失函数，包含基准示例分类器的损失函数和K个精化示例分类器的损失函数，训练端到端的多示例检测网络。本专利技术的一个实施例中，所述步骤(4)具体包括：(4.1)首先构建基准示例分类器，所述基准示例分类器为基础的多示例目标检测网络，训练图片的各候选区域的特征向量计算各候选区域的得分，并根据各候选区域的得分计算训练图片的分数，利用图片的标签信息和由候选区域得分计算的图片分数来训练基准示例分类器；(4.2)利用图像候选区域的特征向量和上述的基准示例分类器，构建多个精化示例分类器，所述精化示例分类器将步骤(4.1)训练的基准示例分类器中候选区域的分数结果作为第一个精化示例分类器中候选区域的分数的权重系数，将k-1次训练的精化示例分类器中候选区域的分数结果作为第k个训练的精化示例分类器中候选区域的分数的权重，通过更新每个候选区域得分的权重，进行在线示例分类器精化，所述k为精化示例分类器的个数。本专利技术的一个实施例中，所述步骤(4.1)具体包括：(4.1.1)将训练图片的所有候选区域的特征向量输入两个全连接层，得到两个C维度大小的向量Xc和Xd，其中C为类别标签的数目，其中Xc和Xd∈RC*|R|，|R|为每张图片的候选区域的数目；(4.1.2)将Xc和Xd分别输入两个softmax层，经过该两个softmax层后，得到每个候选区域的两组分数σ(Xc)和σ(Xd)，σ(Xc)表示每个候选区域占标签类别中某个类别的概率分数，σ(Xd)表示每个候选区域占该图片做出标签贡献的概率分数，σ(Xc)和σ(Xd)的取值范围为(0，1)；两者逐点乘积得到该候选区域的分数XR；其中两个softmax层，表示为：XR表示为：XR＝σ(Xc)⊙σ(Xd)。(4.1.3)将该训练图片所有候选区域的分数加和表示为该训练图片的分数表示为：每张图片的分数是求和池化的结果，其取值范围为(0，1)，该分数表示该图片被分类为类别c的概率；(4.1.4)利用(4.1.3)得到的图片分数，采用标准的多分类交叉熵损失函数训练基准示例分类器；损失函数表示为：其中Y为训练图片的类别标签，记为：Y＝[y1，y2，…，yC]T∈RC*1其中，yc的值为1或0表示该图片中包括或不包括目标c，总共有C个目标类别。本专利技术的一个实施例中，所述步骤(4.2)具体包括：(4.2.1)将所有候选区域的特征向量输入到一个全连接层，得到C+1维度大小的向量XRk，记为：其中，j表示第j个候选区域，k表示第k次精化训练，精化训练的分类器的类别为{C+1}；(4.2.2)将(4.2.1)得到的C+1维度大小的向量XRk输入到一个softmax层，得到每个候选区域的分数，取值范围为(0，1)，该分数表示该候选区域占{C+1}类别的概率分数；(4.2.3)根据候选区域的分数确定每个候选区域的类别；(4.2.4)利用损失函数：经过多次精化训练逐渐逼近目标示例的位置，训练各精化示例分类器。其中，为所述训练图片集的所有候选区域的标签集：权重系数为第k-1个精化示例分类器训练的分数结果，本专利技术的一个实施例中，所述步骤(5)具体为：将(4.1.4)的基准示例分类器的损失函数和(4.2.4)的K个精化示例分类器的损失函数合并，得到多示例检测网络的损失函数如下：该优化损失函数，将基准示例分类器训练和分类器精化两个阶段融合到一个网络中。本专利技术的一个实施例中，所述步骤(4.2.3)具体为：选择训练图片的|R|个候选区域的分数XRk中分数最大的那个候选区域，用该训练图片的类别标签来标记该候选区域的类别；选择与分数最大的那个候选区域的覆盖率大于设定覆盖率阈值的邻近候选区域，并用该训练图片的类别标签来标记这些邻近候选区域的类别。本专利技术的一个实施例中，在更新权重系数的过程中，当邻近候选区域与当前分数最大的候选区域的IoU最大时，将该最大分数赋给该邻近候选区域的权重。本专利技术的一个实施例中，所述步骤(1)中选择每张训练图片中的多个候选区域，具体为：采用SelectiveSearch方法为每张训练图片选取可能为目标位置的候选区域。本专利技术的一个实施例中，在所述步骤(2)中将训练图片的各候选区域在其原始训练图片中的位置映射到该训练图片的卷积层特征图上，具体为：将训练图片的卷积特征图及训练图片的各候选区域输入到具有SPP-NET网络结本文档来自技高网...

【技术保护点】
一种基于在线示例分类器精化的多示例检测网络训练方法，其特征在于，所述方法包括下述步骤：(1)确定训练图片集，所述训练数据集包括训练图片的集合，以及每张训练图片的类别标签，所述类别标签用于表示该训练图中包含哪一类或多类目标示例，并选择每张训练图片中的多个候选区域；(2)获得所述训练图片集中训练图片的卷积特征图，并将训练图片的各候选区域在其原始训练图片中的位置映射到该训练图片的卷积层特征图上，得到训练图片的各候选区域的卷积特征；(3)将训练图片的各候选区域的卷积特征输入到全连接层中，得到训练图片的各候选区域的特征向量；(4)构建一个基准示例分类器，并根据所述训练图片的各候选区域的特征向量和所述基准示例分类器构建多个精化示例分类器，通过更新每个候选区域得分的权重，进行在线示例分类器精化；(5)合并整个网络中的损失函数，包含基准示例分类器的损失函数和多个精化示例分类器的损失函数，训练端到端的多示例检测网络。

【技术特征摘要】
1.一种基于在线示例分类器精化的多示例检测网络训练方法，其特征在于，所述方法包括下述步骤：(1)确定训练图片集，所述训练数据集包括训练图片的集合，以及每张训练图片的类别标签，所述类别标签用于表示该训练图中包含哪一类或多类目标示例，并选择每张训练图片中的多个候选区域；(2)获得所述训练图片集中训练图片的卷积特征图，并将训练图片的各候选区域在其原始训练图片中的位置映射到该训练图片的卷积层特征图上，得到训练图片的各候选区域的卷积特征；(3)将训练图片的各候选区域的卷积特征输入到全连接层中，得到训练图片的各候选区域的特征向量；(4)构建一个基准示例分类器，并根据所述训练图片的各候选区域的特征向量和所述基准示例分类器构建多个精化示例分类器，通过更新每个候选区域得分的权重，进行在线示例分类器精化；(5)合并整个网络中的损失函数，包含基准示例分类器的损失函数和多个精化示例分类器的损失函数，训练端到端的多示例检测网络。2.如权利要求1所述的基于在线示例分类器精化的多示例检测网络训练方法，其特征在于，所述步骤(4)具体包括：(4.1)首先构建基准示例分类器，所述基准示例分类器为基础的多示例目标检测网络，训练图片的各候选区域的特征向量计算各候选区域的得分，并根据各候选区域的得分计算训练图片的分数，利用图片的标签信息和由候选区域得分计算的图片分数来训练基准示例分类器；(4.2)利用图像候选区域的特征向量和上述的基准示例分类器，构建多个精化示例分类器，所述精化示例分类器将步骤(4.1)训练的基准示例分类器中候选区域的分数结果作为第一个精化示例分类器中候选区域的分数的权重系数，将K-1次训练的精化示例分类器中候选区域的分数结果作为第K个训练的精化示例分类器中候选区域的分数的权重，通过更新每个候选区域得分的权重，进行在线示例分类器精化，所述K为精化示例分类器的个数。3.如权利要求2所述的基于在线示例分类器精化的多示例检测网络训练方法，其特征在于，所述步骤(4.1)具体包括：(4.1.1)将训练图片的所有候选区域的特征向量输入两个全连接层，得到两个C维度大小的向量Xc和Xd，其中C为类别标签的数目，其中Xc和Xd∈RC*|R|，|R|为每张图片的候选区域的数目；(4.1.2)将Xc和Xd分别输入两个softmax层，经过该两个softmax层后，得到每个候选区域的两组分数σ(Xc)和σ(Xd)，σ(Xc)表示每个候选区域占标签类别中某个类别的概率分数，σ(Xd)表示每个候选区域占该图片做出标签贡献的概率分数，σ(Xc)和σ(Xd)的取值范围为(0，1)；两者逐点乘积得到该候选区域的分数XR；其中两个softmax层，表示为：XR表示为：XR＝σ(Xc)⊙σ(Xd)。(4.1.3)将该训练图片所有候选区域的分数加和表示为该训练图片的分数表示为：每张图片的分数是求和池化的结果，其取值范围为(0，1)，该分数表示该图片被分类为类别c的概率；(4.1.4)利用(4.1.3)得到的图片分数，采用标准的多分类交叉熵损失函数训练基准示例分类器；损失函数表示为：其中Y为训练图片的类别标签，记为：Y＝[y1，y2...

【专利技术属性】
技术研发人员：刘文予，姜玉静，唐芃，王兴刚，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42