用于对象检测的系统和方法技术方案

公开了一种用于对象检测的方法，包括：将待检测的对象类别分组成构成阶层式树状结构的多个对象集群；获得图像和用于所获得的图像的至少一个边界框；从所述阶层式树状结构的根集群到叶集群，通过针对所述阶层式树状结构的每个所述集群分别训练的CNN来评估每个边界框中的对象，以确定所述对象的最深叶集群；以及将所确定的最深叶集群处的对象类别标签输出为所述对象的预测对象类别标签。在本公开内还公开了一种用于对象检测的系统。

System and method for object detection

A method for object detection is disclosed, including: grouping the object class to be detected into a plurality of object clusters constituting a hierarchical tree structure; obtaining an image and at least one boundary frame for the obtained image; and from the root cluster to the leaf cluster of the hierarchical tree structure, by targeting the hierarchical tree structure. The CNN trained by each of the clusters of the structure evaluates the objects in each boundary box to determine the deepest leaf cluster of the objects, and outputs the object class label at the deepest leaf cluster to the predicted object class label of the objects. In the present disclosure, a system for object detection is also disclosed.

【技术实现步骤摘要】
【国外来华专利技术】用于对象检测的系统和方法
本公开涉及用于对象检测的方法和系统。
技术介绍
微调是指从在另一相关任务上预先训练的参数初始化用于目标任务的模型参数的方法。已发现从在大型图像网络(ImageNet)数据集上预先训练的深度模型的微调对于许多视觉任务(例如，跟踪、分段、对象检测、动作识别和事件检测)取得了目前先进水平的性能。当微调用于对象检测的深度模型时，对多个对象类别的检测由多项任务构成。对每个类别的检测是一项任务。在应用阶段，不同对象类别的检测评分是独立的。且对结果的评估也独立于这些对象类别。现有的深度学习方法一并考虑所有类别/任务并学习单个特征表示。但是，此共享的表示对于所有对象类别并非是最好的。如果学习到的表示能够聚焦于具体类别，例如哺乳动物，那么学习到的表示在描述这些具体类别时将表现得更好。深度学习在许多工作中应用于类属对象检测。现有工作主要聚焦于开发新的深度模型和更好的对象检测流程。这些工作针对所有对象类别使用一个特征表示。当使用手工制作的特征时，针对所有对象类别使用相同的特征提取机制。但是，该相同的特征提取机制对于每个对象类别并非不最适合的，这自然会降低针对一些对象类别的准确性。
技术实现思路
下文呈现对本公开的简化概述以便提供对本公开的一些方面的基本理解。此
技术实现思路
部分并非本公开的详尽综述。其既不旨在指出本公开的重要要素或关键要素，也不旨在划定本公开的具体实施例的任何范围，或权利要求书的任何范围。其唯一目的是以简化形式呈现本公开的一些构思来作为稍后呈现的更详细描述的序言。在一方面中，公开了一种用于对象检测的方法，包括：将待检测的对象的对象类别分组成构成阶层式树状结构的多个对象集群；获得图像和用于所获得的图像的至少一个边界框；从所述阶层式树状结构的根集群到叶集群，通过针对所述阶层式树状结构的每个集群分别训练的CNN来评估每个边界框中的对象，以确定所述对象的最深叶集群；以及将所确定的最深叶集群处的对象类别标签输出为所述对象的预测对象类别标签。在本申请的一个实施例中，将待检测的对象的对象类别分组成构成阶层式树状结构的多个对象集群包括：从训练集获得包含待检测的对象的训练图像和用于所述训练图像的至少一个边界框；通过经训练的CNN，提取每个边界框中的对象的特征；以及根据所提取的特征之间的相似性，将每个边界框中的对象的对象类别分配到构成所述阶层式树状结构的所述对象集群中。在本申请的一个实施例中，将每个边界框中的对象的对象类别分配到构成所述阶层式树状结构的所述对象集群中是基于视觉相似性进行的。在本申请的一个实施例中，从所述阶层式树状结构的根集群到叶集群，通过针对所述阶层式树状结构的每个集群分别训练的CNN来评估每个边界框中的对象，以确定所述对象的最深叶集群包括：通过针对父集群训练的CNN从所获得的图像提取特征；根据所提取的特征计算对象针对所述父集群的每个子集群的分类评分；将所述对象接收到具有大于阈值的分类评分的子集群中，且子集群在下一评估中用作父集群，其中，不针对除了所述子集群以外的其它集群进行评估；重复执行提取、计算和接收的步骤，直到对象集群定位于最后层级中或不存在大于所述阈值的分类评分为止。在本申请的一个实施例中，所述用于对象检测的方法还包括：训练分别用于每个对象集群的CNN，所述训练包括：对分别用于每个对象集群的CNN以其父集群的CNN进行初始化；通过提取、计算、接收的步骤评估每个边界框中的对象，直到对象集群定位于最后层级中或不存在大于所述阈值的分类评分为止，以确定该对象的最深叶集群；将所确定的最深叶集群处的对象类别标签输出为该对象的预测对象类别标签；基于预测对象类别标签与训练图像中的对象的真实对象类别标签之间的差异对每个集群的CNN进行微调；以及重复初始化、评估、输出和微调的步骤直到所述预测对象类别标签的准确性收敛为止。在本申请的一个实施例中，通过针对父集群训练的CNN从所获得的图像提取特征包括：通过所述边界框裁剪所获得的图像；使所裁剪的图像弯曲成经训练的CNN需要的预定大小；以及通过经训练的CNN从弯曲的图像提取特征。在本申请的一个实施例中，分类评分表示对象属于一个集群中的对象类别的可能性。在本申请的一个实施例中，将所确定的最深叶集群处的对象类别标签输出为所述对象的预测对象类别标签包括：确定所确定的叶集群是所述阶层式树状结构的端集群；以及将所述叶集群处的对象类别标签输出为所述对象的预测对象类别标签。在一方面中，公开了一种用于对象检测的系统，包括：分组单元，所述分组单元用于将待检测的对象的对象类别分组成构成阶层式树状结构的多个对象集群；以及预测单元，所述预测单元用于：获得图像和所获得的图像的至少一个边界框；从所述阶层式树状结构的根集群到叶集群，通过针对所述阶层式树状结构的每个集群分别训练的CNN来评估每个边界框中的对象，以确定所述对象的最深叶集群；以及将所确定的最深叶集群处的对象类别标签输出为所述对象的预测对象类别标签。在一方面中，公开了一种用于对象检测的系统，包括：存储器，所述存储器存储可执行组件；以及处理器，所述处理器电联接到所述存储器以执行所述可执行组件以用于：将待检测的对象的对象类别分组成构成阶层式树状结构的多个对象集群；获得图像和用于所获得的图像的至少一个边界框；从所述阶层式树状结构的根集群到叶集群，通过针对所述阶层式树状结构的每个集群分别训练的CNN来评估每个边界框中的对象，以确定所述对象的最深叶集群；以及将所确定最深叶集群处的对象类别标签输出为所述对象的预测对象类别标签。附图说明在下文参考附图描述本专利技术的示范性非限制性实施例。附图是说明性的且通常未按确切比例绘制。不同附图上的相同或类似元件用相同的附图标签表示。图1示出了根据本申请的一些实施例的对象检测的实例；图2示出了根据本申请的一些实施例的用于对象检测的系统的整体流程；图3示出了根据本申请的一些实施例的用于分组单元的步骤；图4示出了根据本申请的一些实施例的阶层式树状结构的实例；图5示出了根据本申请的一些实施例的用于预测单元的步骤；图6是示出根据本申请的一些实施例的预测单元的关键步骤的算法；以及图7示出了根据本申请的一些实施例的用于训练单元的步骤。具体实施方式现将详细参考本专利技术的一些具体实施例，这些实施例包括专利技术人预期的用于实施本专利技术的最佳模式。在附图中示出了这些具体实施例的实例。虽然结合这些具体实施例描述本专利技术，但应理解，这不旨在将本专利技术限于所描述实施例。相反，旨在涵盖可包含在如所附权利要求书限定的本专利技术的精神和范围内的替代、修改和等效物。在以下描述中，陈述了众多具体细节以便提供对本专利技术的透彻理解。本专利技术可在没有这些特定细节中的一些或全部的情况下实践。在其它情况下，并未详细描述众所周知的过程操作以避免不必要地使本专利技术含糊不清。本文中所使用的术语仅用于描述具体实施例的目的，并且不旨在限制本专利技术。如本文所使用，除非上下文另外明确指示，否则单数形式“一(a、an)”以及“所述(the)”旨在还包含复数形式。还应理解，当用于本说明书中时，术语“包括(comprises)”和/或“包括(comprising)”指示所陈述的特征、整体、步骤、操作、元件和/或组件的存在，但不排除一个或多个其它特征、整体、步骤、操作、元件、组件和/或其组合的本文档来自技高网...

【技术保护点】
1.一种用于对象检测的方法，包括：将待检测的对象的对象类别分组成构成阶层式树状结构的多个对象集群；获得图像和用于所获得的图像的至少一个边界框；从所述阶层式树状结构的根集群到叶集群，通过针对所述阶层式树状结构的每个所述对象集群分别训练的CNN来评估每个边界框中的对象，以确定所述对象的最深叶集群；以及将所确定的最深叶集群处的对象类别标签输出为所述对象的预测对象类别标签。

【技术特征摘要】
【国外来华专利技术】1.一种用于对象检测的方法，包括：将待检测的对象的对象类别分组成构成阶层式树状结构的多个对象集群；获得图像和用于所获得的图像的至少一个边界框；从所述阶层式树状结构的根集群到叶集群，通过针对所述阶层式树状结构的每个所述对象集群分别训练的CNN来评估每个边界框中的对象，以确定所述对象的最深叶集群；以及将所确定的最深叶集群处的对象类别标签输出为所述对象的预测对象类别标签。2.根据权利要求1所述的方法，其中，将待检测的对象的对象类别分组成构成阶层式树状结构的多个对象集群包括：从训练集获得包含待检测的对象的训练图像和用于所述训练图像的至少一个边界框；通过经训练的CNN，提取每个所述边界框中的对象的特征；以及根据所提取的特征之间的相似性，将每个所述边界框中的对象的对象类别分配到构成所述阶层式树状结构的所述对象集群中。3.根据权利要求2所述的方法，其中，将每个所述边界框中的对象的对象类别分配到构成所述阶层式树状结构的所述对象集群中是基于视觉相似性进行的。4.根据权利要求1所述的方法，其中，从所述阶层式树状结构的根集群到叶集群，通过针对所述阶层式树状结构的每个所述对象集群分别训练的CNN来评估每个边界框中的对象，以确定所述对象的最深叶集群包括：通过针对父集群训练的CNN从所获得的图像提取特征；根据所提取的特征计算所述对象针对所述父集群的每个子集群的分类评分；将所述对象接收到具有大于阈值的分类评分的子集群中，且所述子集群在下一评估中用作父集群，其中，不针对除了所述子集群以外的其它集群进行评估；重复执行所述提取、所述计算和所述接收的步骤，直到所述对象集群定位于最后层级中或不存在大于所述阈值的分类评分为止。5.根据权利要求4所述的方法，其中，所述方法还包括：训练分别用于每个所述对象集群的CNN，所述训练包括：对分别用于每个所述对象集群的CNN以其父集群的CNN进行初始化；通过所述提取、所述计算、所述接收的步骤评估每个边界框中的对象，直到所述对象集群定位于最后层级中或不存在大于所述阈值的分类评分为止，以确定该对象的最深叶集群；将所确定的最深叶集群处的对象类别标签输出为该对象的预测对象类别标签；基于所述预测对象类别标签与训练图像中的该对象的真实对象类别标签之间的差异对用于每个集群的CNN进行微调；以及重复所述初始化、所述评估、所述输出和所述微调的步骤直到所述预测对象类别标签的准确性收敛为止。6.根据权利要求5所述的方法，其中，通过针对父集群训练的CNN从所获得的图像提取特征包括：通过所述边界框裁剪所获得的图像；使所裁剪的图像弯曲成经训练的CNN所需的预定大小；以及通过经训练的CNN从弯曲的图像提取特征。7.根据权利要求4所述的方法，其中，所述分类评分表示所述对象属于一个集群中的对象类别的可能性。8.根据权利要求1所述的方法，其中，将所确定的最深叶集群处的对象类别标签输出为所述对象的预测对象类别标签包括：确定所确定的叶集群是所述阶层式树状结构的端集群；以及将所述叶集群处的对象类别标签输出为所述对象的预测对象类别标签。9.一种用于对象检测的系统，包括：分组单元，所述分组单元用于将待检测的对象的对象类别分组成构成阶层式树状结构的多个对象集群；以及预测单元，所述预测单元用于：获得图像和所获得的图像的至少一个边界框；从所述阶层式树状结构的根集群到叶集群，通过针对所述阶层式树状结构的每个所述对象集群分别训练的CNN来评估每个边界框中的对象，以确定所述对象的最深叶集群；以及将所确定的最深叶集群处的对象类别标签输出为所述对象的预测对象类别标签。10.根据权利要求9所述的系统，其中，所述分组单元还用于：从训练集获得包含待检测的对象的训练图像和用于所述训练图像的至少一个边界框；通过经训练的CNN，提取每个所述边界框中的对象的特征；以及根据所提取的特征之间的相似性，将每个所述边界框中的对象的对象类别分配到构成所述阶层式树状结构的所述对象集群中。11.根据权利要求10所述的系统，其中，将每个所述边界框中的对象的对象类别分配到构成所述阶层式树状结构的所述对象集群中是基于视觉相似性进行的。12.根据权利要求9所述的系统，其中，所述预测单元用于：通过针对父集群训练的CNN从所获得的图像提取特征；根据所提取的特征计算所述对象针对所述父集群的每个子集群的分类评分；将所述对象接收到具有大于阈值的分类评分的子集群中，且子集群在下一评估中用作父集群，其中，不针对除了所述子集群以外的其它集群进行评估；重复执行所述提取、所述计算和所述接收的步骤，直到所述对象集群定位于最后层级中或不存在大于所述阈值的分类评分为止。13.根据...

【专利技术属性】
技术研发人员：王晓刚，欧阳万里，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11