一种高分辨率图像目标分类系统和方法包括：被配置为接收与场景关联的第一数据集的提议组件，该第一数据集包括场景的至少一个图像；包括多个神经网络的多级神经网络，每个神经网络被训练为接收感兴趣区域并根据关联的资源分配输出对象分类；和注意力协调器，其被配置为根据可用的系统资源确定图像中的感兴趣区域并将每个确定的区域分配给多尺度神经网络中的多个神经网络中的一个。该系统可以被配置为优化在图像中检测到对象的概率，同时最小化通过多尺度神经网络处理的像素数量。小化通过多尺度神经网络处理的像素数量。小化通过多尺度神经网络处理的像素数量。
【技术实现步骤摘要】
【国外来华专利技术】神经网络及分类器选择系统和方法
[0001]相关申请的交叉引用
[0002]本申请要求于2019年5月20日提交的且题为“神经网络及分类器选择系统和方法”的美国临时专利申请No.62/850,491的优先权及权益，在此通过引用全文并入。
[0003]本公开的一个或多个实施例总体上涉及成像系统，并且更具体地，例如，涉及用于图像分类系统的机器学习系统和方法。
技术介绍
[0004]在图像处理领域，一直需要高效且可靠的方法来检测和分类成像设备的视场(例如，场景)内的感兴趣对象。传统的“智能相机”结合了机器视觉成像组件和运行基于规则的图像处理软件的单板计算机。这些系统用于简单的问题，例如条形码读取或识别已知对象的特定特征。
[0005]机器学习系统已被实现为提供更复杂的图像分析。在一种方法中，将感兴趣对象的各种图像收集到用于训练神经网络以对对象进行分类的训练数据集中。训练图像可以用相机以各种角度和各种设置捕获对象的图像来生成。训练数据集通常包含每个对象分类的数千个图像，并且生成和更新可能耗时、代价高且繁琐。经训练的神经网络可以加载到服务器系统上，该服务器系统从网络上的成像设备接收图像并对其进行分类。在一些实施方式中，经训练的神经网络可以加载到成像系统上。
[0006]可以使用简化的机器视觉和图像分类系统，但这样的系统无法运行稳健的经训练的神经网络，并且难以适应各种用户场景。在实际的实施方式中，存储器、处理和其他系统资源的限制经常会导致系统设计人员产生针对特定任务的分类系统。例如，神经网络通常针对特定分类任务进行训练，并被实现为允许在系统约束内进行实时操作。鉴于上述情况，持续需要改进的对象检测和分类解决方案，以易于适应新的使用情况并提供优于常规系统的性能或其他优势。
技术实现思路
[0007]提供了各种系统和方法来实现具有成像系统的训练神经网络。一种新颖的神经网络目标分类系统使用户可以快速加速的学习技术、框架和工具。
[0008]高分辨率图像目标分类系统和方法可以包括被配置为接收与场景关联的第一数据集的提议组件，该第一数据集包括场景的至少一个图像；包括多个神经网络的多级神经网络，每个神经网络被训练为接收感兴趣区域并根据关联的资源分配输出对象分类；以及注意力协调器，该注意力协调器被配置为根据可用的系统资源确定图像中的感兴趣区域并将每个确定的区域分配给多尺度神经网络的多个神经网络中的一个。该系统可以被配置为优化检测到图像中对象的概率，同时最小化通过多尺度神经网络处理的像素数量。
[0009]在一些实施例中，系统和方法包括用于使用神经网络对象检测和分类来检测对象
的端到端系统。从一个或多个输入设备向系统提供表示场景的图像的视频馈送。外部系统(例如雷达系统)也可用于提供关于感兴趣对象的提议位置的信息。可选地，可以使用内部运动检测器提供感兴趣对象的提议的位置。随机搜索算法可以与大面积神经网络一起使用以找到提议的感兴趣对象(例如，当没有识别出其他提议的位置时)。卷积神经网络注意力协调器可以优化可用的神经网络，以使用多尺度神经网络处理来处理提议。从多尺度神经网络处理和/或运动检测算法识别目标。应用短期目标记忆来预测新的目标位置、消除临时检测不良后果并通过遮挡跟踪。系统可以输出在检测到的感兴趣对象周围带有框的视频或图像。
[0010]本专利技术的范围由权利要求限定，权利要求通过引用并入本部分。通过考虑以下对一个或多个实施例的详细描述，本领域技术人员将更全面地理解本专利技术的实施例，以及实现其附加优点。将参考将首先简要描述的附图。
附图说明
[0011]图1示出了根据本公开的一个或多个实施例的示例神经网络目标分类器。
[0012]图2示出了根据本公开的一个或多个实施例的神经网络目标分类器的示例实施方式。
[0013]图3示出了根据本公开的一个或多个实施例的用于与神经网络目标分类器一起使用的示例输入设备。
[0014]图4A示出了根据本公开的一个或多个实施例的示例神经网络训练过程。
[0015]图4B示出了根据本公开的一个或多个实施例的示例经训练的神经网络操作。
[0016]图5示出了根据本公开的一个或多个实施例的神经网络目标分类器的示例实施方式。
[0017]图6示出了根据本公开的一个或多个实施例的神经网络目标分类器的示例操作。
[0018]通过参考下面的详细描述，可以最好地理解本公开的实施例及其优点。应当理解，相似的附图标记用于标识一个或多个图中所示的相似元件。
具体实施方式
[0019]本公开的各方面总体上涉及图像分类，并且更具体地，例如，涉及对象检测和分类。在各种实施例中，改进的成像系统接收场景的视频和/或来自场景的与对象位置相关的其他数据。例如，成像设备包括图像传感器、视觉处理单元和用于捕获视频以供神经网络目标分类器进一步处理的接口。在一些实施例中，捕获的图像包括高分辨率图像和视频数据。神经网络目标分类器接收数据并生成潜在对象位置的提议，通过注意力协调器根据可用资源分析提议，识别感兴趣区域以供进一步处理，并将每个感兴趣区域提供给适当的神经网络进行对象检测和分类。
[0020]在常规图像分类系统中通过神经网络处理高分辨率图像通常涉及高度复杂的神经网络，其需要处理资源可能超过系统的资源和/或需要处理准确性和细节的降低。本公开的系统和方法克服了这些限制，这使得能够以高灵敏度水平处理感兴趣对象的大分辨率图像或视频。本公开包括用于通过将接收的信息减少到可管理的计算区域来处理大图像和视频文件的方法。在一些实施例中，优化的神经网络生成用于分类的提议的感兴趣区域并且
还接收来自外部输入设备的提议请求。该方法还可以选择最优的神经工作分类器来处理提议并对提议区域中的感兴趣对象进行分类。
[0021]在各种实施例中，公开了一种具有改进的处理的图像分类系统，其在实现系统目标方面比常规系统更高效和有效。图像分类系统可以接收一个或多个高分辨率视频流并且在可用系统资源的约束内以高细节水平和精度实时(或在一些实施例中离线)地高效处理高分辨率视频流。该系统还被配置为同时处理与捕获的场景关联的其他数据流，例如雷达数据或音频数据，并输出识别和分类出现的对象的标注的视频(例如，视频图像上具有关联对象分类标签的边界框)。
[0022]参考图1，将根据本公开的一个或多个实施例描述示例对象检测和分类系统100。系统100包括一个或多个输入设备110，其被配置为感测场景112的特性并生成对应的数据。输入设备110可以包括被配置为捕获场景112的图像和/或视频的可见光谱成像设备、被配置为生成表示场景112中的物理对象的雷达数据信号的雷达系统、被配置为检测来自场景112的红外辐射的红外成像系统和被配置为感测由场景112产生的声音的音频输入系统和/或其他输入设备。
[0023]由输入设备110捕获的数据被提供给神经网络目标分类器120用于对象检测和分类。在一些实施例中，捕获的数据114包括一个或多个高分辨率数据流。捕获的数据本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种系统，所述系统包括：提议组件，所述提议组件被配置为接收与场景关联的第一数据集，所述第一数据集包括所述场景的至少一个图像；多尺度神经网络，所述多尺度神经网络包括多个神经网络，每个神经网络被训练为接收感兴趣区域并根据关联的资源分配输出对象分类；和注意力协调器，所述注意力协调器被配置为确定所述图像中的感兴趣区域，并根据可用的系统资源将每个确定的区域分配给所述多尺度神经网络中的所述多个神经网络中的一个。2.根据权利要求1所述的系统，还包括：多个输入设备，所述多个输入设备包括：被配置为捕获所述场景的图像的可见光谱图像捕获设备以及被配置为生成与所述场景关联的第二数据集的第二输入设备。3.根据权利要求2所述的系统，其中，所述第二输入设备包括雷达系统、音频捕获系统和/或红外成像系统。4.根据权利要求1所述的系统，其中，所述第一数据集还包括至少一个对象区域的标识。5.根据权利要求1所述的系统，其中，所述提议组件还被配置为分析所述第一数据集并在所述场景的所述至少一个图像中识别多个提议的感兴趣区域。6.根据权利要求5所述的系统，其中，所述提议组件包括运动目标组件，所述运动目标组件被配置为识别所述至少一个图像中与检测到的运动关联的一个或多个区域。7.根据权利要求5所述的系统，其中，所述提议组件包括随机搜索组件，所述随机搜索组件被配置为搜索所述至少一个图像并识别与对象关联的一个或多个区域。8.根据权利要求1所述的系统，其中，所述多个神经网络中的每一个被配置为处理具有输入图像大小的感兴趣区域，并且其中，所述输入图像大小对于所述多个神经网络中的每一个不同。9.根据权利要求1所述的系统，其中，所述注意力协调器还被配置为：至少部分地基于在所述图像中检测每个感兴趣对象的概率的优化和/或对由所述多尺度神经网络处理的像素数量的最小化，来确定所述图像中的感兴趣区域并将每个确定的区域分配给所述多尺度神经网络中的所述多个神经网络中的一个。10.根据权利要求1所述的系统，其中，所述提议组件还包括短期目标记忆，...
【专利技术属性】
技术研发人员：B，
申请(专利权)人：菲力尔商业系统公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。