候选框处理方法、装置、设备及介质制造方法及图纸

本发明专利技术实施例提供了一种候选框处理方法、装置、设备及介质，应用于目标检测网络，所述目标检测网络包括候选框生成模块和目标检测模块，所述方法包括：预测所述目标检测模块对所述候选框生成模块输出的各个候选框的喜好程度；根据所述目标检测网络的当前使用阶段，将所述候选框生成模块输出的各个候选框中相应喜好程度的候选框输入到所述目标检测模块；其中，在不同的使用阶段，输入到所述目标检测模块的候选框的喜好程度不同。

【技术实现步骤摘要】
候选框处理方法、装置、设备及介质
本专利技术涉及图像处理
，特别是涉及一种候选框处理方法、装置、设备及介质。
技术介绍
目标检测(ObjectDetection)是计算机视觉的一项核心技术，以目标为物体为例，目标检测旨在定位图像中每一个物体的同时给出正确的物体类别。目标检测作为基础的视觉算法有着广泛的应用。相关技术中，目标检测算法主要采用两阶段的检测方法，该方法通常需要先生成候选框，再进一步对候选框进行分类和再定位。然而，目前的两阶段的检测方法中生成候选框和对候选框进行分类和再定位是彼此割裂的两个阶段。即，候选框的生成和再检测往往是作为单独的子任务存在，此种方式导致了目标检测的效率低下、准确率不高。
技术实现思路
鉴于上述问题，提出了本专利技术实施例的一种候选框处理方法、装置、设备及介质，以便克服上述问题或者至少部分地解决上述问题。为了解决上述问题，本专利技术的第一方面，公开了一种候选框处理方法，应用于目标检测网络，所述目标检测网络包括候选框生成模块和目标检测模块，所述方法包括：预测所述目标检测模块对所述候选框生成模块输出的各个候选框的喜好程度；根据所述目标检测网络的当前使用阶段，将所述候选框生成模块输出的各个候选框中相应喜好程度的候选框输入到所述目标检测模块；其中，在不同的使用阶段，输入到所述目标检测模块的候选框的喜好程度不同。可选地，根据所述目标检测网络的当前使用阶段，将所述候选框生成模块输出的各个候选框中相应喜好程度的候选框输入到所述目标检测模块，包括：在所述目标检测网络的当前使用阶段为训练阶段的情况下，从所述候选框生成模块输出的各个候选框中，采样喜好程度低于预设阈值的候选框并输入到所述目标检测模块。可选地，根据所述目标检测网络的当前使用阶段，将所述候选框生成模块输出的各个候选框中相应喜好程度的候选框输入到所述目标检测模块，包括：在所述目标检测网络的当前使用阶段为应用阶段的情况下，从所述候选框生成模块输出的各个候选框中，采样喜好程度不低于所述预设阈值的候选框并输入到所述目标检测模块。可选地，所述方法还包括：在所述候选框生成模块的输出端串联预测模块；在所述目标检测网络的当前使用阶段为训练阶段的情况下，根据所述目标检测模块的目标检测损失值，生成喜好程度标签；根据所述预测模块输出的喜好程度预测结果与所述喜好程度标签，对所述预测模块进行训练，得到喜好程度预测模块，所述喜好程度预测模块用于预测所述目标检测模块对所述候选框生成模块输出的各个候选框的喜好程度。可选地，所述目标检测模块包括目标分类子模块和目标定位子模块；根据所述目标检测模块输出的目标预测结果与所述候选框生成模块输出的候选框对应的标签，生成喜好程度标签，包括：根据所述目标分类子模块的分类损失值，生成喜好程度标签；或根据所述目标分类子模块的分类损失值和所述目标定位子模块的定位损失值，生成喜好程度标签。可选地，根据所述预测模块输出的喜好程度预测结果与所述喜好程度标签，对所述预测模块进行训练，得到喜好程度预测模块，包括：根据所述预测模块输出的喜好程度预测结果与所述喜好程度标签，确定喜好程度损失值；根据所述喜好程度损失值，对所述预测模块进行参数更新；可选地，在所述目标检测网络的当前使用阶段为训练阶段的情况下，所述方法还包括：根据所述目标检测模块输出的目标预测结果与所述候选框生成模块输出的候选框对应的标签，生成目标检测损失值；根据所述喜好程度损失值和所述目标检测损失值，对所述候选框生成模块和所述目标检测模块进行参数更新。可选地，所述方法还包括：在所述目标检测网络的当前使用阶段为应用阶段的情况下，获得所述目标检测模块输出的对相应的候选框进行检测的检测结果；输出所述检测结果。本专利技术实施例的第二方面，提供了一种候选框处理装置，应用于目标检测网络，所述目标检测网络包括候选框生成模块和目标检测模块，所述装置包括：预测模块，用于预测所述目标检测模块对所述候选框生成模块输出的各个候选框的喜好程度；输入模块，用于根据所述目标检测网络的当前使用阶段，将所述候选框生成模块输出的各个候选框中相应喜好程度的候选框输入到所述目标检测模块；其中，在不同的使用阶段，输入到所述目标检测模块的候选框的喜好程度不同。本专利技术实施例的第三方面，还公开了一种电子设备，包括：包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现如第一方面实施例所述的候选框处理方法。本专利技术实施例的第四方面，还公开了一种计算机可读存储介质，其存储的计算机程序使得处理器执行如本专利技术第一方面实施例所述的候选框处理方法。本专利技术实施例包括以下优点：在本专利技术实施例中，目标检测网络包括候选框生成模块和目标检测模块，其中，候选框生成模块可以用于生成多个候选框，目标检测模块可以用于对多个候选框中的部分候选框进行分类检测。具体而言，为了提高对目标检测的效率和准确率，本申请提出了在生成多个候选框的同时，可以预测目标检测模块对各个候选框的喜好程度，进而可以根据当前目标检测网络所处的使用阶段，从候选框生成模块生成的多个候选框中筛选出相应的候选框输入到目标检测模块中进行分类检测。例如，可以在目标检测网络的应用阶段(或测试阶段)，可以将目标检测模块所喜好的候选框输入给目标检测模块，以达到更高准确度的检测结果。在目标检测网络的训练阶段，可以将目标检测模块所不喜好的候选框输入给目标检测模块，以达到难例样本训练的目的，从而提高模型的训练效果，使模型训练的更好。由于可以预测目标检测模块对候选框生成模块输出的各个候选框的喜好程度，并在不同的使用阶段，将相应喜好程度的候选框输入到目标检测模块，如此，候选框生成模块和目标检测模块之间进行了任务上的联动，使得候选框的生成(可以称为上游任务)和再检测(可以称为下游任务)并不是单独的子任务，也即是，目标检测的上下游任务进行了联动，处于上游的候选框生成任务可以更加关注自身生成的候选框对下游的目标检测任务所施加的影响，从而在训练阶段使得目标检测任务能学习的更好，在应用阶段使得目标检测任务更加高效和准确，以此从整体上提高了目标检测的效率和准确率。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例中提出的总的技术方案的原理示意图；图2是本专利技术实施例中训练得到目标检测网络的步骤流程图；图3是本专利技术实施中一种目标检测网络的网络结构图；图4是本专利技术实施中利用一种目标检测网络进行目标检测的原理示意图；图5是本专利技术实施中候选框处理方法的步骤流程图；图6是本专利技术实施中一种候选框处理装置的结构框图。...

【技术保护点】
1.一种候选框处理方法，其特征在于，应用于目标检测网络，所述目标检测网络包括候选框生成模块和目标检测模块，所述方法包括：/n预测所述目标检测模块对所述候选框生成模块输出的各个候选框的喜好程度；/n根据所述目标检测网络的当前使用阶段，将所述候选框生成模块输出的各个候选框中相应喜好程度的候选框输入到所述目标检测模块；其中，在不同的使用阶段，输入到所述目标检测模块的候选框的喜好程度不同。/n

【技术特征摘要】
1.一种候选框处理方法，其特征在于，应用于目标检测网络，所述目标检测网络包括候选框生成模块和目标检测模块，所述方法包括：
预测所述目标检测模块对所述候选框生成模块输出的各个候选框的喜好程度；
根据所述目标检测网络的当前使用阶段，将所述候选框生成模块输出的各个候选框中相应喜好程度的候选框输入到所述目标检测模块；其中，在不同的使用阶段，输入到所述目标检测模块的候选框的喜好程度不同。


2.根据权利要求1所述的方法，其特征在于，根据所述目标检测网络的当前使用阶段，将所述候选框生成模块输出的各个候选框中相应喜好程度的候选框输入到所述目标检测模块，包括：
在所述目标检测网络的当前使用阶段为训练阶段的情况下，从所述候选框生成模块输出的各个候选框中，采样喜好程度低于预设阈值的候选框并输入到所述目标检测模块。


3.根据权利要求1所述的方法，其特征在于，根据所述目标检测网络的当前使用阶段，将所述候选框生成模块输出的各个候选框中相应喜好程度的候选框输入到所述目标检测模块，包括：
在所述目标检测网络的当前使用阶段为应用阶段的情况下，从所述候选框生成模块输出的各个候选框中，采样喜好程度不低于所述预设阈值的候选框并输入到所述目标检测模块。


4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
在所述候选框生成模块的输出端串联预测模块；
在所述目标检测网络的当前使用阶段为训练阶段的情况下，根据所述目标检测模块的目标检测损失值，生成喜好程度标签；
根据所述预测模块输出的喜好程度预测结果与所述喜好程度标签，对所述预测模块进行训练，得到喜好程度预测模块，所述喜好程度预测模块用于预测所述目标检测模块对所述候选框生成模块输出的各个候选框的喜好程度。


5.根据权利要求4所述的方法，其特征在于，所述目标检测模块包括目标分类子模块和目标定位子模块；根据所述目标检测模块的目标检测损失值，生成喜好程度标签，包括：
根据所述目标分类子模块的分类损失值，生成喜...

【专利技术属性】
技术研发人员：黎泽明，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：北京;11