物体的多模型检测制造技术

本公开涉及物体的多模型检测。公开了一种物体检测系统，该物体检测系统被配置为使用生成各组物体检测结论的多个物体检测模型，来检测场景的图像内的受关注的物体。物体检测系统被配置为实现一系列功能，以调和其多组物体检测结论中存在的任何差异，以便针对给定图像内的每个感知到的受关注的物体生成一组结论。的每个感知到的受关注的物体生成一组结论。的每个感知到的受关注的物体生成一组结论。

【技术实现步骤摘要】
物体的多模型检测


[0001]本公开涉及物体检测，更具体地，涉及一种物体的多模型检测。

技术介绍

[0002]已经开发计算机来执行各种计算机视觉任务。在日常生活的许多方面中特别重要的这样一种计算机视觉任务是物体检测，它通常涉及计算机处理给定图像以识别和定位给定图像内的某些受关注的物体。
[0003]最近，已经开发出能够执行计算机视觉任务的系统，以帮助人类筛查人员(例如，机场，博物馆等处的安保人员)从某个位置的场景图像中识别出存在于个人身上和/或包含在一件行李中以及可能存在受关注的物体的其他位置的受关注的物体(例如，潜在的安全威胁，违禁品等)。这种系统改进了传统上由人类执行的物体识别。
[0004]如上所述，传统上，人类要负责识别场景图像内的受关注的物体，例如TSA安全筛查人员确定所扫描行李物品的图像是否包含任何被视为安全风险的物体(例如，枪，刀等)。然而，人类通常在执行这种零星的视觉搜索方面表现不佳，这至少部分是由于认知疲劳。因此，人类通常无法在扫描的场景图像中识别出受关注的物体，这可能导致各种负面后果，例如枪进入旅客列车、航班、公共汽车等。
[0005]因此，已经开发了计算机系统来代表人类执行物体检测。通常，物体检测是指以下功能：(i)识别场景图像中潜在的受关注的物体，(ii)对受关注的物体进行分类(例如，通过确定物体属于“枪”或“锋利物”类)，(iii)确定物体分类的置信度，以及(iv)确定图像内物体的定位描述(例如，通过为图像内物体限定边界框)。
[0006]近来，计算机系统已经变得相对擅长对“简单”场景图像执行物体检测。但是，随着场景图像变得更加“复杂”，现有的计算机系统在执行物体检测方面变得越来越差。例如，一些现有系统可以在扫描的行李物品的图像内准确地对受关注的物体执行物体检测，该扫描的行李物品包含以最小重叠方式排列的少量物体。另一方面，现有系统的准确性随着扫描的行李物品内的物体数量的增加、物体的布置变得更加拥挤、和/或目标受关注的物体分类的数量的增加而降低。
[0007]为了帮助解决现有物体检测系统的这些以及其他问题，本文公开的示例提供了一种物体检测系统，该系统利用多个物体检测模型来检测场景图像内的受关注的物体。相对于依靠单个模型来执行物体检测的现有系统和仅依靠多个模型来执行物体检测的分类功能的现有系统(整体上本质上没有物体检测复杂)，这样的系统提供了技术上的改进。在这方面，本公开的新的多模型物体检测系统可以提供优于现有系统的各种技术优势，例如，改进的物体检测精度、改进的检测速率、降低的误报、可支持的受关注的物体分类数量的增加、和/或促进持续的系统增强等优点。
[0008]除了提供对现有物体检测系统的技术改进之外，多模型物体检测系统还提出了其自身的附加技术挑战，这些挑战由本文公开的示例实施例解决。例如，对于给定图像，多模型系统的每个模型都会生成其自己的关于给定图像内特定受关注的物体的一组物体检测
结论(即“推断”)，该结论可能包括(i)分配给特定受关注的物体的分类“标签”(可能构成“分类结论”的全部或部分)，(ii)特定受关注的物体的分类的置信度(可能构成“置信结论”的全部或部分)，以及(iii)在给定图像内特定受关注的物体的定位描述(例如，受关注的物体限定的边界框的大小和/或位置)(可以形成“定位结论”的全部或部分)。一组物体检测结论也可以包括其他类型的结论，这可能取决于给定物体检测模型的性质。
[0009]实际上，来自多模型系统的第一模型的一组物体检测结论至少有时会不同于来自多模型系统的第二模型的一组物体检测结论。例如，第一模型可以将特定受关注的物体分类为“锋利物”，而第二模型可以将特定受关注的物体分类为“枪”。作为另一示例，第一模型可以为特定受关注的物体限定边界框，该边界框在给定图像内限定出不同于第二模型限定的边界框的区域的区域。因此，提出了一种多模型系统，其中存在挑战，即确定给定图像内是否存在多个受关注的物体和/或两个或两个以上竞争性结论(competing conclusion)是否指向给定图像内的相同受关注的物体。
[0010]这些挑战可能与一个或多个“下游”动作相关联，这些动作可以由多模型系统基于多组物体检测结论来执行。例如，多模型系统可能必须选择多个竞争的物体检测结论中的哪一个(如果有的话)，作为将物体检测结果呈现给安全筛查人员工作站等的显示器的基础。作为另一示例，多模型系统可能必须基于多个竞争的物体检测结论来选择是否应当允许扫描的行李物品通过筛查系统、或被阻止以便由行李处理人员等进行进一步检查。
[0011]因此，多模型系统通常面临着调和其多组物体检测结论中的差异的挑战，以便为给定图像内的每个感知到的受关注的物体生成一组结论。本公开的新的多模型物体检测系统有助于为这种调和挑战提供技术解决方案。

技术实现思路

[0012]在示例实施例中，多模型物体检测系统被配置为使得其可以耦接至一个或多个检测设备，诸如X射线机、金属检测器、MRI扫描仪、CT扫描仪、毫米波扫描仪或其他类型的扫描设备。每个检测设备被配置为扫描场景(例如，通过筛查系统的行李物品、给定空间内的一个或多个个人等)，然后将这种扫描的图像提供给多模型物体检测系统。
[0013]在一些实现中，多模型物体检测系统被配置为经由诸如互联网的广域网(WAN)通信地耦接到一个或多个检测设备中的一些或每个。例如，多模型物体检测系统可以是基于云的。在其他实现中，多模型物体检测系统被配置为经由局域网(LAN)通信地耦接到一个或多个检测设备中的一些或每个。例如，多模型物体检测系统可以是筛查系统本地的。在某些情况下，多模型物体检测系统的全部或部分可以物理地耦接到一个或多个检测设备中的一些或每个，或者可能集成在其中。例如，在某些方面，多模型物体检测系统可以物理地附接到筛查系统(screening system)。
[0014]在任何情况下，多模型物体检测系统被配置为从一个或多个检测设备接收扫描场景的图像，并对接收到的图像执行多模型物体检测。在一些实现中，执行多模型物体检测可以涉及多模型物体检测系统在其接收的每个给定图像上执行两个或两个以上物体检测模型，以生成两组或两组以上物体检测结论。在其他实现中，可能在多模型物体检测系统首先将给定图像传输到一个或多个其他系统之后，执行多模型物体检测可以另外或替代地涉及：多模型物体检测系统从一个或多个被配置为执行物体检测模型的其他系统，接收给定
图像的两组或两组以上物体检测结论。还存在其他可能性。
[0015]在一些示例实施例中，多模型物体检测系统可以被配置为首先选择两个或两个以上物体检测模型(例如，在存在两个以上可用的物体检测模型的情况下)，这些模型将生成给定图像的物体检测结论，多模型物体检测系统可以用多种方式执行该结论。作为一种可能性，多模型物体检测系统可以基于多种因素来选择两个或两个以上物体检测模型，这些因素通知多模型物体检测系统关于哪两个或两个以上物体检测模型将最适合执行给定图像的物体检测，例如设计模型的供应商、制造商等，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算系统，包括：至少一个处理器；非暂时性计算机可读介质；以及程序指令，存储在所述非暂时性计算机可读介质上，所述程序指令能由所述至少一个处理器执行以使所述计算系统：接收由筛查系统的检测设备扫描的场景的图像，其中，所述图像包括受关注的物体；至少识别由第一物体检测模型针对所述图像生成的第一组物体检测结论以及由第二物体检测模型针对所述图像生成的第二组物体检测结论，其中，在所述第一组物体检测结论和所述第二组物体检测结论之间存在至少一个结论差异；通过以下解决所述至少一个结论差异：确定来自所述第一组物体检测结论的第一定位结论与来自所述第二组物体检测结论的第二定位结论之间的相似度，其中，所述第一定位结论和所述第二定位结论均被确定为指代所述受关注的物体；限定多个候选分区，其中，所述多个候选分区中的至少一个候选分区是基于所述第一定位结论与所述第二定位结论之间的所述相似度来限定；以及基于分配给所述至少一个候选分区的权重，从所述第一组物体检测结论和所述第二组物体检测结论得出针对所述受关注的物体的调和的一组物体检测结论，从而解决所述至少一个结论差异；以及基于所述调和的一组物体检测结论，确定所述场景的所述图像包含所述受关注的物体。2.根据权利要求1所述的计算系统，其中，所述第一组物体检测结论包括：(i)分配给所述受关注的物体的第一分类标签，(ii)所述受关注的物体的第一分类的第一置信度，以及(iii)所述图像内的所述受关注的物体的第一定位描述，并且其中，所述第二组物体检测结论包括：(i)分配给所述受关注的物体的第二分类标签，(ii)所述受关注的物体的第二分类的第二置信度，以及(iii)所述图像内的所述受关注的物体的第二定位描述。3.根据权利要求1所述的计算系统，其中，由所述至少一个处理器能执行的所述程序指令还包括：由所述至少一个处理器执行以使所述计算系统用于以下的程序指令：在至少识别所述第一组物体检测结论和所述第二组物体检测结论之前，从三个以上可用物体检测模型中选择所述第一物体检测模型和所述第二物体检测模型，所述第一物体检测模型和所述第二物体检测模型将基于以下中的一项或多项来生成所述图像的物体检测结论：(i)所述第一物体检测模型和所述第二物体检测模型的各自设计者；(ii)用于分别训练所述第一物体检测模型和所述第二物体检测模型的训练数据类型；以及(iii)关于所述三个以上可用物体检测模型中每个的性能的反馈数据。4.根据权利要求1所述的计算系统，其中，来自所述第一组物体检测结论的所述第一定位结论包括所述受关注的物体的第一边界框，其中，来自所述第二组物体检测结论的所述第二定位结论包括所述受关注的物体的第二边界框，并且其中，确定来自所述第一组物体检测结论的所述第一定位结论与来自所述第二组物体检测结论的所述第二定位结论之间的所述相似度包括：确定所述第一边界框和所述第二边界框之间的重叠度。5.根据权利要求1所述的计算系统，其中，限定所述多个候选分区包括：
根据所述第一定位结论限定第一候选分区，并根据所述第二定位结论限定第二候选分区；以及通过基于所述第一定位结论与所述第二定位结论之间的所述相似度，将所述第一候选分区与所述第二候选分区合并来限定所述至少一个候选分区。6.根据权利要求1所述的计算系统，其中，从所述第一组物体检测结论和所述第二组物体检测结论中得出针对所述受关注的物体的所述调和的一组物体检测结论包括：向所述多个候选分区的每个候选分区分配权重，其中，分配给给定候选分区的权重基于与所述给定候选分区对应的一个或多个物体检测模型，并且其中，分配给所述至少一个候选分区的权重基于(i)分配给所述第一物体检测模型的第一权重和(ii)分配给所述第二物体检测模型的第二权重。7.根据权利要求6所述的计算系统，其中，由所述至少一个处理器能执行的所述程序指令还包括：由所述至少一个处理器执行以使所述计算系统用于以下的程序指令：基于从所述第一组物体检测结论和所述第二组物体检测结论得出针对所述受关注的物体的所述调和的一组物体检测结论，修改(i)分配给所述第一物体检测模型的所述第一权重和/或(ii)分配给所述第二物体检测模型的所述第二权重。8.根据权利要求6所述的计算系统，其中，由所述至少一个处理器能执行的所述程序指令还包括：由所述至少一个处理器执行以使所述计算系统用于以下的程序指令：基于关于所述第一物体检测模型和/或所述第二物体检测模型的性能的反馈数据，修改(i)分配给所述第一物体检测模型的所述第一权重和/或(ii)分配给所述第二物体检测模型的所述第二权重。9.根据权利要求1所述的计算系统，其中，由所述至少一个处理器执行以使所述计算系统确定包括所述受关注的物体的所述场景的所述图像的程序指令包括：由所述至少一个处理器执行以使所述计算系统用于以下的程序指令：基于所述调和的一组物体检测结论和所述筛查系统的一个或多个特定物体检测要求，确定所述场景的所述图像包含所述筛查系统的所述受关注的物体。10.根据权利要求1所述的计算系统，其中，由所述至少一个处理器能执行的所述程序指令还包括：由所述至少一个处理器执行以使所述计算系统用于以下的程序指令：基于确定所述场景的所述图像包含所述受关注的物体，产生以下项中的至少一项(i)与所述筛查系统相关的显示屏显示与所述调和的一组物体检测结论相关的可视化效果，或(ii)在所述筛查系统中进行通过操作。11.一种有形的非暂时性计算机可读介质，包括存储的程序指令，所述程序指令能由至少一个处理器执行以使计算系统：接收由筛查系统的检测设备扫描的场景的图像，其中，所述图像包括受关注的物体；至少识别由第一物体检测模型针对所述图像生成的第一组物体检测结论以及由第二物体检测模型针对所述图像生成的第二组物体检测结论，其中，在所述第一组物体检测结论和所述第二组物体检测结论之间存在至少一个结论差异；通过以下解决所述至少一个结论差异：确定来自所述第一组物体检测结论的第一定位结论与来自所述第二组物体检测结论的第二定位结论之间的相似度，其中，所述第一定位结论和所述第二定位结论均被确定为
指代所述受关注的物体；限定多个候选分区，其中，所述多个候选分区中的至少一个候选分区是基于所述第一定位结论与所述第二定位结论之间的所述相似度来限定；以及基于分配给所述至少一个候选分区的权重，从所述第一组物体检测结论和所述第二组物体检测结论得出针对所述受关注的物体的调和的一组物体检测结论，从而解决所述至少一个结论差异；以及基于所述调和的一组物体检测结论，确定所述场景的所述图像包含所述受关注的物体。12.根据权利要求11所述的非暂时性计算机可读介质，其中，所述第一组物体检测结论包括：(i)分配给所述受关注的物体的第一分类标签；(ii)所述受关注的物体的第一分类的第一置信度；以及(iii)所述图像内的所述受关注的物体的第一定...

【专利技术属性】
技术研发人员：克莱尔，
申请(专利权)人：拉皮斯坎实验室股份有限公司，
类型：发明
国别省市：