动态选择用于检测预定特征的神经网络制造技术

本公开的实施例涉及动态选择用于检测预定特征的神经网络。在一个实施例中，一种方法包括接收用于机器学习模型的输入，机器学习模型被配置为检测多个预定特征，机器学习模型至少包括被配置为检测多个预定特征的第一子集的第一神经网络和被配置为检测多个预定特征的第二子集的第二神经网络；通过使用第一神经网络来处理输入来生成检测结果；基于检测结果和一个或多个检测标准，确定输入包括多个预定特征的第一子集中的特征；以及响应于确定，输出检测结果作为机器学习模型的输出，而不使用第二神经网络来处理输入。第二神经网络来处理输入。第二神经网络来处理输入。

【技术实现步骤摘要】
动态选择用于检测预定特征的神经网络
[0001]相关申请
[0002]本申请要求于2020年9月25日提交的美国专利申请第17/033,474号的优先权，该申请以其整体内容通过引用并入本文。


[0003]本公开一般涉及网络环境内的数据库和文件管理，并且特别涉及用于使用机器学习模型进行数据分析的硬件和软件。

技术介绍

[0004]人工神经网络(ANN)，通常简称为神经网络(NN)，是一种计算系统，该计算系统由构成动物大脑的生物神经网络模糊地启发。ANN基于称为人工神经元的连接单元或节点的集合，它们对生物大脑中的神经元进行松散建模。每个连接，就像生物大脑中的突触一样，可以向其他神经元传送信号。接收信号的人工神经元然后对信号进行处理，并且可以发信号给被连接到它的神经元。在连接处的“信号”是一个实数，并且每个神经元的输出由每个神经元的输入的和的某个非线性函数来计算。连接被称为边。神经元和边的权重通常会随着学习的进行而调整。权重增加或减少连接处的信号强度。神经元可以具有阈值，使得仅当聚合信号超过该阈值时信号才会被发送。通常，神经元被聚合成层。不同的层可以对它们的输入执行不同的转换。信号从第一层(输入层)传输到最后一层(输出层)，可能在多次遍历多个层之后。
[0005]在计算机科学中，程序优化或软件优化是修改软件系统以使其某些方面更有效地工作或使用更少资源的过程。通常，计算机程序可以被优化使得其执行得更快，或者使得其能够以更少的存储器存储或其他资源来操作。优化可以发生在多个级别。通常，更高的级别可以具有更大的影响，并且在项目后期可能更难更改，如果需要更改时需要进行重大更改或完全重写。因此，优化通常可以经由从高到低的细化来进行，其中初始收益更大并且利用更少的工作被达到，以及后期的收益更小并且需要更多的工作。然而，在某些情况下，整体性能可以取决于程序的非常低级部分的性能，后期阶段处的微小变化或低级细节的早期考虑可以具有大的影响。通常，如果有的话，主要优化通常被认为是晚完成的细化。在更长运行的项目中，可以存在典型的优化循环，其中改进一个领域会暴露出另一领域的局限性，当性能可接受时，这些通常会被削减，或者收益变得太小或成本高。

技术实现思路

[0006]在特定实施例中，计算系统可以通过在多个小型神经网络之间拆分大型神经网络的预期能力并且根据需要顺序使用小型神经网络来减少用于检测预定特征所需的总体计算。如果较早执行的网络提供足够的结果，则序列中较晚的网络可以被跳过，从而节省功率和计算资源。当存在与神经网络的输出相关联的置信度分数时，计算系统可以在不同的任务中使用上述方法，诸如分类、带边界框的对象检测、图像分割，等。以分类作为示例，计算
系统可以使用一个检测器来监视小型神经网络的输出，以决定是否调用另一神经网络，而不是仅使用一个大型神经网络来获取针对所有类别的良好准确性。为了训练这种多网络结构，类可以首先被划分为不同的组，每个组被分配到一个神经网络用于处理。神经网络的复杂性(即，小对抗大)可以取决于与类组相关联的分类能力。作为示例而非限制，一组简单的类可能需要小型神经网络，而一组困难的类可能需要大型神经网络。在一个实例中，当接收输入数据时，计算系统可以使用小型神经网络来针对这些简单的类进行分类。基于小型网络的输出，计算系统可以使用检测器来确定下一级神经网络(例如，大型神经网络)是否应该被调用来执行进一步分类。计算系统可以使用基于层级和能力两者的混合网络架构，其中层级基于高级检测目标分离多个神经网络，以及能力基于更细粒度检测目标分离多个神经网络。尽管本公开描述了通过由特定系统以特定方式拆分特定神经网络来执行特定推理，但是本公开考虑了通过任何合适系统以任何合适方式拆分任何合适神经网络。
[0007]在特定实施例中，计算系统可以接收用于被配置为检测多个预定特征的机器学习模型的输入。机器学习模型可以至少包括被配置为检测多个预定特征的第一子集的第一神经网络和被配置为检测多个预定特征的第二子集的第二神经网络。计算系统然后可以通过使用第一神经网络来处理输入来生成检测结果。在特定实施例中，计算系统可以基于检测结果和一个或多个检测标准来确定输入包括多个预定特征的第一子集中的特征。响应于确定，计算系统可以输出检测结果作为机器学习模型的输出，而不使用第二神经网络来处理输入。
[0008]本文公开的实施例仅为示例，本公开的范围不限于此。特定实施例可以包括本文公开的实施例的所有、一些或不包括组件、元件、特征、功能、操作或步骤。根据本专利技术的实施例在涉及方法、存储介质、系统和计算机程序产品的所附权利要求中被特定公开，其中在一个权利要求类别中提到的任何特征，例如，方法，也可以在另一权利要求类别中被要求保护，例如，系统。所附权利要求中的从属项或引用项仅出于正式原因被选择。然而，任何因对任何先前权利要求(特别是多个从属关系)的故意引用而产生的主题也可以被要求保护，从而公开权利要求及其特征的任何组合并且可以要求保护，而不管所附权利要求中被选择的从属项。可以要求保护的主题不仅包括所附权利要求中提出的特征的组合，还包括权利要求中特征的任何其他组合，其中权利要求中提到的每个特征可以与权利要求中的任何其他特征或其他特征的组合相结合。此外，本文所描述或描绘的任何实施例和特征可以在单独的权利要求中和/或与本文所描述或描绘的任何实施例或特征或与所附权利要求的任何特征的任何组合中被要求保护。
附图说明
[0009]图1示出了用于动态选择用于检测预定特征的神经网络的示例工作流程。
[0010]图2示出了用于动态选择用于检测预定特征的神经网络的示例方法。
[0011]图3示出了示例人工神经网络。
[0012]图4示出了示例计算机系统。
具体实施方式
[0013]在特定实施例中，计算系统可以通过在多个小型神经网络之间拆分大型神经网络
的预期能力并且根据需要顺序使用小型神经网络来减少检测预定特征所需的总体计算。如果较早执行的网络提供足够的结果，则序列中较晚的网络可以被跳过，从而节省功率和计算资源。当存在与神经网络的输出相关联的置信度分数时，计算系统可以在不同的任务中使用上述方法，诸如分类、带有边界框的对象检测、图像分割等。以分类作为示例，计算系统可以使用一个检测器来监视小型神经网络的输出，以决定是否调用另一神经网络，而不是仅使用一个大型神经网络来获取对所有类的良好准确性。为了训练这种多网络结构，类可以首先被划分为不同的组，每个组被分配到神经网络用于处理。神经网络的复杂性(即，小对抗大)可以取决于与类的组相关联的分类能力。作为示例而非限制，一组简单的类可以需要一个小型的神经网络，而一组困难的类可以需要一个大型的神经网络。在一个示例中，当接收输入数据时，计算系统可以使用小型神经网络针对这些简单的类进行分类。基于小型网络的输出，计算系统可以使用检测器来确定下一级神经网络(例如，大型神经网络)是否应该被调用来执行进一步分类。计算系统可以使用基于层级和能力两者的混合网络架构，其中层级基于高级检测目标分离多个神经网络，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法包括，由一个或多个计算系统：接收用于机器学习模型的输入，所述机器学习模型被配置为检测多个预定特征，所述机器学习模型至少包括被配置为检测所述多个预定特征的第一子集的第一神经网络和被配置为检测所述多个预定特征的第二子集的第二神经网络；通过使用所述第一神经网络来处理所述输入来生成检测结果；基于所述检测结果和一个或多个检测标准，确定所述输入包括所述多个预定特征的所述第一子集中的特征；以及响应于所述确定，输出所述检测结果作为所述机器学习模型的输出，而不使用所述第二神经网络来处理所述输入。2.根据权利要求1所述的方法，其中与所述第二神经网络相关联的复杂度高于与所述第一神经网络相关联的复杂度。3.根据权利要求1所述的方法，其中所述输入包括以下中的一项或多项：文本、音频剪辑、图像，或视频剪辑。4.根据权利要求1所述的方法，其中所述多个预定特征中的每个预定特征包括以下中的一项或多项：类别、分割或边界框。5.根据权利要求1所述的方法，其中所述多个预定特征中的特征的所述第一子集与第一类集合相关联，并且其中所述多个预定特征的所述第二子集与第二类集合相关联。6.根据权利要求1所述的方法，其中所述多个预定特征中的特征的所述第一子集与第一分割集合相关联，并且所述多个预定特征的所述第二子集与第二分割集合相关联。7.根据权利要求1所述的方法，其中所述多个预定特征中的特征的所述第一子集与第一边界框集合相关联，并且所述多个预定特征的所述第二子集与第二边界框集合相关联。8.根据权利要求1所述的方法，其中所述检测结果包括与所述多个预定特征相关联的一个或多个置信度分数。9.根据权利要求8所述的方法，还包括对所述一个或多个置信度分数进行排名，其中所述一个或多个检测标准基于所述一个或多个置信度分数中排名最高的置信度分数与预定阈值分数的比较。10.根据权利要求8所述的方法，还包括对所述一个或多个置信度分数进行排名，其中所述一个或多个检测标准基于排名最高的置信度分数与至少排名第二的置信度分数的比较。11.根据权利要求8所述的方法，还包括通过使用所述第一神经网络来处理所述输入来生成所述输入的一个或多个中间嵌入，其中确定所述输入包括所述多个预定特征的所述第一子集中的所述特征还基于另一机器学习模型，所述另一机器学习模型被配置为处理以下各项中的一项或多项：所述一个或多个置信度分数或所述一个或多个中间嵌入。12.根据权利...

【专利技术属性】
技术研发人员：Y，
申请(专利权)人：元平台公司，
类型：发明
国别省市：