图像中的对象检测制造技术

在图像中的对象检测的实现中，使用异构训练数据集合来训练对象检测器。第一训练数据集合用于训练图像标记网络以确定目标概念的输入图像的注意力图。第二训练数据集合用于训练条件检测网络，该条件检测网络接受目标概念的注意力图和词嵌入作为条件输入。尽管条件检测网络使用具有少量可见类(例如训练数据集合中的类)的训练数据集合进行训练，但是它通过概念条件推广到新颖的、不可见类，因为目标概念通过条件检测网络经由条件输入传播，从而影响分类和区域建议。因此，扩展了可以检测的对象类，而无需扩展训练数据库以包括附加类。

Object detection in image

【技术实现步骤摘要】
图像中的对象检测
技术介绍
对象检测器检测图像中的对象，诸如利用已经用图像数据集合训练的自适应模型(例如机器学习模型、神经网络等)。对象检测器的性能通常限于对象属于用于训练自适应模型的图像的数据集合内包括的类别的检测，称为“可见”类或类别。因此，当训练数据集合包括狗类别而不是树类别时，对象检测器可能能够检测图像中的狗，但是不能检测图像中的树。在一些情况下，对象检测器将其检测结果偏向于可见类，诸如最接近目标类别的训练数据集合的对象类别。例如当训练数据集合包括狗类别而不是狐狸类别时，对象检测器可以将图像中的狐狸检测为狗。此外，诸如零射击检测器的一些对象检测器可以尝试将知识从训练数据集合的对象类别(例如可见类)转移到在训练数据集合中不包括的对象类别(例如不可见类)。然而，这些对象检测器仅限于为了分类目的而不是对象检测和区域建议目的，将知识从可见类转移到不可见类。因此，这些对象检测器经常无法检测不可见类的对象的图像区域。为了克服对象检测器的这些缺点，可以缩放图像的训练数据集合以包括附加类别(例如数万个可见类)。然而，就成本和时间而言，缩放图像的训练数据集合可本文档来自技高网...

【技术保护点】
1.一种在用于检测图像中的对象的数字媒体环境中由计算设备实现的对象检测方法，所述对象检测方法包括：/n由所述计算设备获得输入图像和基于词语的概念；/n由所述计算设备的图像标记网络基于所述输入图像和所述基于词语的概念来生成注意力图，所述注意力图包括指示所述输入图像内所述基于词语的概念的存在值的像素；/n由所述计算设备基于所述基于词语的概念来生成词嵌入，所述词嵌入描述所述基于词语的概念和不同的基于词语的概念之间的关系；/n由所述计算设备将所述词嵌入和所述注意力图提供给条件检测网络的相应层；以及/n由所述计算设备的所述条件检测网络基于所述词嵌入和所述注意力图来检测所述输入图像的至少一个区域，所述至少...

【技术特征摘要】
20181113 US 16/189,8051.一种在用于检测图像中的对象的数字媒体环境中由计算设备实现的对象检测方法，所述对象检测方法包括：
由所述计算设备获得输入图像和基于词语的概念；
由所述计算设备的图像标记网络基于所述输入图像和所述基于词语的概念来生成注意力图，所述注意力图包括指示所述输入图像内所述基于词语的概念的存在值的像素；
由所述计算设备基于所述基于词语的概念来生成词嵌入，所述词嵌入描述所述基于词语的概念和不同的基于词语的概念之间的关系；
由所述计算设备将所述词嵌入和所述注意力图提供给条件检测网络的相应层；以及
由所述计算设备的所述条件检测网络基于所述词嵌入和所述注意力图来检测所述输入图像的至少一个区域，所述至少一个区域包括与所述基于词语的概念相对应的相应对象。


2.根据权利要求1所述的对象检测方法，其中所述存在值中的每一个指示在所述输入图像的相应像素处的所述基于词语的概念的相应存在。


3.根据权利要求1所述的对象检测方法，还包括利用第一图像的第一数据集合来训练所述图像标记网络，所述第一图像包括不具有所述第一图像中的对象的边界框的注释。


4.根据权利要求3所述的对象检测方法，还包括：利用第二图像的第二数据集合来训练所述条件检测网络，所述第二图像包括具有所述第二图像中的相应对象的相应边界框的注释。


5.根据权利要求1所述的对象检测方法，其中所述生成所述词嵌入包括：根据所述基于词语的概念和所述不同的基于词语的概念的共现概率来构造的矩阵的特征分解来形成向量。


6.根据权利要求1所述的对象检测方法，其中所述相应层包括所述条件检测网络的相同卷积级。


7.根据权利要求1所述的对象检测方法，其中所述提供包括：
将所述注意力图提供给所述条件检测网络的层；以及
将所述词嵌入提供给所述条件检测网络的附加层，所述条件检测网络的所述层在所述条件检测网络的所述附加层之间。


8.根据权利要求1所述的对象检测方法，还包括使用图像数据集合来训练所述条件检测网络，所述图像包括所述图像中的每个图像中的相应对象的相应边界框，所述训练包括：
将正训练标记分配给所述条件检测网络的检测输出，所述检测输出与对应于所述基于词语的概念的所述相应边界框中的真相边界框基本上重叠；以及
将负训练标记分配给未被分配给正训练标记的所述条件检测网络的其他检测输出。


9.根据权利要求1所述的对象检测方法，还包括通过以下各项来训练所述条件检测网络：
确定所述基于词语的概念的负类；
将所述负类提供给所述条件检测网络；以及
将负训练标记分配给用于所述负类的所述条件检测网络的检测输出，所述检测输出与对应于所述基于词语的概念的真相边界框基本上重叠。


10.根据权利要求1所述的对象检测方法，还包括通过以下项来训练所述条件检测网络：
将所述注意力图的所述存在值设置为一；
将所述词嵌入的值设置为零；以及
检测针对不同的基于词语的概念的多个对象的所述输入图像的相应区域。


11.一种在用于检测图像中的对象的数字媒体环境中的对象检测系统，包括：
图像模块，所述图像模块至少部分地在计算设...

【专利技术属性】
技术研发人员：林哲，沈晓辉，凌明阳，张健明，J·W·Y·权，
申请(专利权)人：奥多比公司，
类型：发明
国别省市：美国;US