一种模型训练方法、开放域目标检测方法及相关装置制造方法及图纸

本说明书一个或多个实施例公开了一种模型训练方法、开放域目标检测方法及相关装置，该方法包括：将从待训练的图像样本中提取的包含多个尺度特征的第一语义特征样本，与从训练目标样例中提取的第二语义特征样本进行语义特征交织，可以保证第一语义特征样本中特征与第二语义特征样本自适应对齐，得到图像样本的交织特征样本，然后以该交织特征样本和图像样本的标注作为输入，对待训练的模型进行训练，得到目标检测模型。该特征交织过程可以通过自注意机制实现对训练目标样例的多个细粒度局部特征比对，克服只能对训练目标样例使用单一全局特征的局限性，对目标具有更好的适应性和识别性，提高模型训练效率以及训练精度，保证后续目标检测准确性。后续目标检测准确性。后续目标检测准确性。

【技术实现步骤摘要】
一种模型训练方法、开放域目标检测方法及相关装置


[0001]本文件涉及计算机
，尤其涉及一种模型训练方法、开放域目标检测方法及相关装置。

技术介绍

[0002]目标检测是计算机视觉的核心技术，也是目标跟踪和识别的基础，在视觉应用中具有举足轻重的重要地位。目前被广泛应用的检测方法都是面向确定类别的专有检测，需要采集大量感兴趣类别的标注数据，通过监督训练得到一个目标检测模型，然后使用该目标检测模型对目标类别进行检测。
[0003]随着检测业务的不断扩展，对于包含未知类别目标的开放域的目标检测需求日益强烈。然而，现有的对不确定类别的目标检测方案只能将所有的新目标笼统的归为未知类，而无法进一步准确识别新目标（例如，类别、颜色等），限制了开放域的目标检测需求。

技术实现思路

[0004]本说明书一个或多个实施例的目的是提供一种模型训练方法、开放域目标检测方法及相关装置，以通过特征交织的方式，提升模型学习能力，得到检测粒度更为精细的目标检测模型，进而，实现对开放域目标的准确检测。
[0005]为解决上述技术问题，本说明书一个或多个实施例是这样实现的：第一方面，提出了一种模型训练方法，包括：获取待训练的图像样本集以及训练目标样例；从所述待训练的图像样本集包含的每个图像样本中提取包含多个尺度特征的第一语义特征样本，以及从所述训练目标样例中提取第二语义特征样本；将所述第一语义特征样本与所述第二语义特征样本进行语义特征交织，得到图像样本的交织特征样本，其中，所述交织特征样本包含尺度特征的个数与所述第一语义特征样本包含尺度特征的个数相同；将所述图像样本的交织特征样本以及图像样本的标注数据，输入待训练的模型进行训练，得到目标检测模型。
[0006]第二方面，提出了一种开放域目标检测方法，包括：获取待检测图像以及检测目标样例；从所述待检测图像中提取包含多个尺度特征的第一语义特征，以及从所述检测目标样例中提取第二语义特征；将所述第一语义特征与所述第二语义特征进行语义特征交织，得到待检测图像的交织特征，其中，所述交织特征包含尺度特征的个数与所述第一语义特征包含尺度特征的个数相同；将所述交织特征输入目标检测模型，基于输出的预测结果对所述待检测图像进行目标检测，其中，所述目标检测模型是基于第一方面所述的模型训练方法训练得到。
[0007]第三方面，提出了一种模型训练装置，包括：获取模块，用于获取待训练的图像样本集以及训练目标样例；提取模块，用于从所述待训练的图像样本集包含的每个图像样本中提取包含多个尺度特征的第一语义特征样本，以及从所述训练目标样例中提取第二语义特征样本；交织模块，用于将所述第一语义特征样本与所述第二语义特征样本进行语义特征交织，得到图像样本的交织特征样本，其中，所述交织特征样本包含尺度特征的个数与所述第一语义特征样本包含尺度特征的个数相同；训练模块，将所述图像样本的交织特征样本以及图像样本的标注数据，输入待训练的模型进行训练，得到目标检测模型。
[0008]第四方面，提出了一种开放域目标检测装置，包括：获取模块，用于获取待检测图像以及检测目标样例；提取模块，用于从所述待检测图像中提取包含多个尺度特征的第一语义特征，以及从所述检测目标样例中提取第二语义特征；交织模块，用于将所述第一语义特征与所述第二语义特征进行语义特征交织，得到待检测图像的交织特征，其中，所述交织特征包含尺度特征的个数与所述第一语义特征包含尺度特征的个数相同；检测模块，用于将所述交织特征输入目标检测模型，基于输出的预测结果对所述待检测图像进行目标检测，其中，所述目标检测模型是基于第一方面所述的模型训练方法训练得到。
[0009]第五方面，提出了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行第一方面所述的模型训练方法，或者，执行第二方面所述的开放域目标检测方法。
[0010]第六方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行第一方面所述的模型训练方法，或者，执行第二方面所述的开放域目标检测方法。
[0011]由以上说明书一个或多个实施例提供的技术方案可见，将从待训练的图像样本中提取的包含多个尺度特征的第一语义特征样本，与从训练目标样例中提取的第二语义特征样本进行语义特征交织，可以保证第一语义特征样本中特征与第二语义特征样本自适应对齐，得到所需图像样本的交织特征样本，然后以该交织特征样本和图像样本的标注作为输入，对待训练的模型进行反复训练，得到目标检测模型。该方案可以通过特征交织的方式，提升模型学习能力，得到检测粒度更为精细的目标检测模型，进而，实现对开放域目标的准确检测。尤其该特征提取过程可以通过自注意机制实现对目标样例的多个细粒度局部特征进行比对，克服了只能对目标样例使用单一的全局特征的局限性，对于局部相似、部分遮挡等目标具有更好的适应性和识别性，从而，提高模型训练效率以及训练精度，保证后续目标检测准确性。
附图说明
[0012]为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对一个或多个实施例或现有技术描述中所需要使用的附图做简单介绍，显而易见地，以下描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0013]图1是本说明书实施例的模型训练方案以及目标检测方案所基于的网络模型结构示意图。
[0014]图2a是本说明书实施例提供的一种模型训练方法的步骤示意图。
[0015]图2b是本说明书实施例提供的训练阶段特征交织的原理示意图之一。
[0016]图3是本说明书的一个实施例提供的训练阶段特征交织的原理示意图之二。
[0017]图4是本说明书的一个实施例提供的训练阶段特征交织的原理示意图之三。
[0018]图5是本说明书的一个实施例提供的训练阶段特征交织的原理示意图之四。
[0019]图6是本说明书实施例提供的一种开放域目标检测方法的步骤示意图。
[0020]图7是本说明书实施例提供的检测阶段特征交织的原理示意图之一。
[0021]图8是本说明书实施例提供的检测阶段特征交织的原理示意图之二。
[0022]图9是本说明书实施例提供的模型训练
‑
模型检测的框架流程示意图。
[0023]图10是本说明书实施例提供的一种模型训练装置的结构示意图。
[0024]图11是本说明书实施例提供的一种开放域目标检测装置的结构示意图。
[0025]图12是本说明书的一个实施例提供的电子设备的结构示意图。
具体实施方式
[0026]为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的一个或多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，包括：获取待训练的图像样本集以及训练目标样例；从所述待训练的图像样本集包含的每个图像样本中提取包含多个尺度特征的第一语义特征样本，以及从所述训练目标样例中提取第二语义特征样本；将所述第一语义特征样本与所述第二语义特征样本进行语义特征交织，得到图像样本的交织特征样本，其中，所述交织特征样本包含尺度特征的个数与所述第一语义特征样本包含尺度特征的个数相同；将所述图像样本的交织特征样本以及图像样本的标注，输入待训练的模型进行训练，得到目标检测模型。2.如权利要求1所述的模型训练方法，将所述第一语义特征样本与所述第二语义特征样本进行语义特征交织，得到图像样本的交织特征样本，包括：将所述第一语义特征样本与所述第二语义特征样本进行语义相似比对，根据比对结果将所述第二语义特征中满足第一相似度的特征与所述第一语义特征样本进行特征拼接，得到图像样本的交织特征样本。3.如权利要求1或2所述的模型训练方法，获取训练目标样例，包括：从待训练的图像样本集确定待输入的图像样本，并从待输入的图像样本中确定目标体；将所述目标体与候选样例库中维护的样例进行比对分析，提取鉴别性特征；基于鉴别性特征从候选样例库中选择与所述目标体之间满足第二相似度的样例作为对应待输入的图像样本的训练目标样例。4.如权利要求3所述的模型训练方法，所述训练目标样例中包含同一目标类别且顺序排列的多个目标样例；从所述训练目标样例中提取第二语义特征样本，包括：从所述训练目标样例包含的多个目标样例中，分别提取每个目标样例的语义特征；将提取的多个目标样例分别对应的语义特征顺序拼接，得到第二语义特征样本。5.如权利要求3所述的模型训练方法，所述训练目标样例中包含多个目标样例，每个目标样例对应不同目标类别；从所述训练目标样例中提取第二语义特征样本，包括：从所述训练目标样例包含的多个目标样例中，分别提取每个目标样例的语义特征作为对应目标样例所属目标类别的语义特征；将分属不同目标类别的语义特征汇总为第二语义特征样本；将所述第一语义特征样本与所述第二语义特征样本进行语义特征交织，得到图像样本的交织特征样本，包括：将所述第一语义特征样本分别与所述第二语义特征样本中不同目标类别对应的语义特征进行特征交织，得到分属不同目标类别的多个子交织特征样本；将所述多个子交织特征样本作为所述图像样本的交织特征样本。6.如权利要求3所述的模型训练方法，所述训练目标样例中存在多个目标类别，且每个目标类别对应有一个或多个目标样例；从所述训练目标样例中提取第二语义特征样本，包括：
从所述训练目标样例包含的多个目标样例中，分别提取每个目标样例的语义特征；将属于同一目标类别的目标样例对应的语义特征进行拼接作为该目标类别的语义特征；将分属不同目标类别的语义特征汇总为第二语义特征样本；将所述第一语义特征样本与所述第二语义特征样本进行语义特征交织，得到图像样本的交织特征样本，包括：将所述第一语义特征样本分别与所述第二语义特征样本中不同目标类别对应的语义特征进行特征交织，得到分属不同目标类别的多个子交织特征样本；将所述多个子交织特征样本作为所述图像样本的交织特征样本。7.一种开放域目标检测方法，包括：获取待检测图像以及检测目标样例；从所述待检测图像中提取包含多个尺度特征的第一语义特征，以及从所述检测目标样例中提取第二语义特征；将所述第一语义特征与所述第二语义特征进行语义特征交织，得到待检测图像的交织特征，其中，所述交织特征包含尺度特征的个数与所述第一语义特征包含尺度特征的个数相同；将所述交织特征输入目标检测模型，基于...

【专利技术属性】
技术研发人员：倪鼎，李鹏，王炎，
申请(专利权)人：浙江莲荷科技有限公司，
类型：发明
国别省市：