选择用于优化推理的流制造技术

本公开涉及选择用于优化推理的流。用于选择流以至少部分地基于启发式运行推理的装置、系统和技术。在至少一个实施例中，至少部分地基于使用应用于流的一个或更多个机器学习模型推理的信息来生成启发式。型推理的信息来生成启发式。型推理的信息来生成启发式。

【技术实现步骤摘要】
选择用于优化推理的流


[0001]至少一个实施例涉及用于根据本文描述的各种新技术至少部分地基于启发式来选择用于推理的流的处理器或计算系统。

技术介绍

[0002]在多个数据流上运行推理可以用于不同的领域。例如，一个或更多个相机可以基于对入口大门、车库、道路或工厂线的视频监控提供多个图像和/或音频帧流，以检测、识别或跟踪一个或更多个对象。为了检测、识别或跟踪一个或更多个对象，系统或应用程序可以使用机器学习模型对多个数据流进行推理。使用机器学习模型对多个数据流进行推理可能很复杂，并且可能需要使用大量的计算资源。
附图说明
[0003]图1示出了根据至少一个实施例的处理多个数据流的系统；
[0004]图2示出了根据至少一个实施例的处理多个数据流的系统；
[0005]图3示出了根据至少一个实施例的基于启发法来选择用于推理的数据流的示例框图；
[0006]图4示出了根据至少一个实施例的基于启发式和用户定义的参数选择用于推理的数据流的示例过程；
[0007]图5示出了根据至少一个实施例的选择用于推理的数据流的示例；
[0008]图6示出了根据至少一个实施例的在推理之前处理数据流的示例过程；
[0009]图7A示出了根据至少一个实施例的逻辑；
[0010]图7B示出了根据至少一个实施例的逻辑；
[0011]图8示出了根据至少一个实施例的神经网络的训练和部署；
[0012]图9示出了根据至少一个实施例的示例数据中心系统；
[0013]图10A示出了根据至少一个实施例的自主车辆的示例；
[0014]图10B示出了根据至少一个实施例的图10A的自主车辆的相机位置和视野的示例；
[0015]图10C是根据至少一个实施例的示出图10A的自主车辆的示例系统架构的框图；
[0016]图10D是根据至少一个实施例的示出用于一个或更多个基于云的服务器与图10A的自主车辆之间进行通信的系统的图；
[0017]图11是根据至少一个实施例的示出计算机系统的框图；
[0018]图12是根据至少一个实施例的示出计算机系统的框图；
[0019]图13示出了根据至少一个实施例的计算机系统；
[0020]图14示出了根据至少一个实施例的计算机系统；
[0021]图15A示出了根据至少一个实施例的计算机系统；
[0022]图15B示出了根据至少一个实施例的计算机系统；
[0023]图15C示出了根据至少一个实施例的计算机系统；
[0024]图15D示出了根据至少一个实施例的计算机系统；
[0025]图15E和图15F示出了根据至少一个实施例的共享编程模型；
[0026]图16示出了根据至少一个实施例的示例性集成电路和相关的图形处理器；
[0027]图17A至图17B示出了根据至少一个实施例的示例性集成电路和相关联的图形处理器；
[0028]图18A至图18B示出了根据至少一个实施例的附加的示例性图形处理器逻辑；
[0029]图19示出了根据至少一个实施例的计算机系统；
[0030]图20A示出了根据至少一个实施例的并行处理器；
[0031]图20B示出了根据至少一个实施例的分区单元；
[0032]图20C示出了根据至少一个实施例的处理集群；
[0033]图20D示出了根据至少一个实施例的图形多处理器；
[0034]图21示出了根据至少一个实施例的多图形处理单元(GPU)系统；
[0035]图22示出了根据至少一个实施例的图形处理器；
[0036]图23是根据至少一个实施例的示出用于处理器的处理器微架构的框图；
[0037]图24示出了根据至少一个实施例的深度学习应用程序处理器；
[0038]图25是根据至少一个实施例的示出了示例神经形态处理器的框图；
[0039]图26示出了根据一个或更多个实施例的图形处理器的至少部分；
[0040]图27示出了根据一个或更多个实施例的图形处理器的至少部分；
[0041]图28示出了根据一个或更多个实施例的图形处理器的至少部分；
[0042]图29是根据至少一个实施例的示出了图形处理器的图形处理引擎的框图；
[0043]图30是根据至少一个实施例的示出了图形处理器核心的至少部分的框图；
[0044]图31A至图31B示出了根据至少一个实施例的线程执行逻辑，其包括图形处理器核心的处理元件的阵列；
[0045]图32示出了根据至少一个实施例的并行处理单元(“PPU”)；
[0046]图33示出了根据至少一个实施例的通用处理集群(“GPC”)；
[0047]图34示出了根据至少一个实施例的并行处理单元(“PPU”)的存储器分区单元；
[0048]图35示出了根据至少一个实施例的流式多处理器；
[0049]图36是根据至少一个实施例的高级计算管线的示例数据流图；
[0050]图37是根据至少一个实施例的用于在高级计算管线中训练、适应、实例化和部署机器学习模型的示例系统的系统图；
[0051]图38包括根据至少一个实施例的用于处理成像数据的高级计算管线的示例图示；
[0052]图39A包括根据至少一个实施例的支持超声设备的虚拟仪器的示例数据流图；
[0053]图39B包括根据至少一个实施例的支持CT扫描仪的虚拟仪器的示例数据流图；
[0054]图40A示出了根据至少一个实施例的用于训练机器学习模型的过程的数据流图；以及
[0055]图40B是根据至少一个实施例的利用预训练的注释模型来增强注释工具的客户端
‑
服务器架构的示例图示。
具体实施方式
[0056]在以下描述中，阐述了许多具体细节以提供对至少一个实施例的更透彻的理解。然而，对于本领域技术人员显而易见的是，可以在没有这些具体细节中的一个或更多个的情况下实践本专利技术的概念。
[0057]在至少一个实施例中，采用本文描述的技术的系统使用一个或更多个机器学习模型来生成和/或修改启发式信息以从特定数量的帧的一个或更多个数据流中推理信息。在一个或更多个实施例中，该系统可以使用或包括具有级联机器学习模型、神经网络或计算机视觉算法的管线来实现，这些需要不同的格式和帧分辨率作为输入。使用一个或更多个机器学习模型、神经网络或计算机视觉算法从特定数量的帧的一个或更多个数据流中推理信息可能会导致从一个数据流集合中检测特定数量帧中的多个对象，但没有从另一个数据流集合中检测到特定数量的帧中较少数量的对象。在另一个示例中，用户定义的参数可以将要检测的对象的数量定义为选择用于推理的数据流的阈值。因此，启发式信息和用户定义的参数都可以确定要对特定数量的帧运行推理的数据流集合。
[0058]在至少一个实施例中，用户定义参数的其他示例包括要检测的对象的尺寸。该尺寸可以包括一个边界本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机实现的方法，包括：使用机器学习模型，至少部分地基于关于来自一个或更多个数据流的第一批次的帧的推理信息来生成启发式信息；至少部分地基于所述启发式信息从来自一个或更多个数据流的第二批次的帧中选择一个或更多个流；使用一个或更多个机器学习模型来推理关于来自所选择的一个或更多个流的一个或更多个帧的信息；以及至少部分地基于关于所选择的一个或更多个流的推理的信息来更新所述启发式信息。2.根据权利要求1所述的方法，所述计算机实现的方法还包括：获取一个或更多个配置参数，其中从所述第二批次中选择一个或更多个流还至少部分地基于一个或更多个配置参数。3.根据权利要求2所述的方法，其中所述一个或更多个配置参数指示检测到的对象的数量。4.根据权利要求1所述的方法，其中所述第一批次的帧和第二批次的帧分别包括视频帧，该视频帧包括相应的图像帧序列。5.根据权利要求1所述的方法，还包括：使用一个或更多个其他机器学习模型推理关于来自所述第二批次的帧的所述一个或更多个帧的附加信息。6.根据权利要求1所述的方法，其中生成所述启发式信息包括确定与所述第二批次的帧对应的所述一个或更多个数据流上的跳过间隔。7.一种系统，包括：一个或更多个处理器；以及存储指令的存储器，该指令如果由所述一个或更多个处理器执行，则导致所述系统：至少部分地基于使用应用于来自一个或更多个第一数据流的一个或更多个帧的一个或更多个机器学习模型推理的信息来获取启发式信息；至少部分地基于所述启发式信息确定来自一个或更多个第二数据流的一个或更多个帧的子集，其中要跳过针对所述子集的一个或更多个处理运算；以及至少部分地基于使用应用于来自所述一个或更多个第二数据流的所述一个或更多个帧的所述子集的所述一个或更多个机器学习模型推理的信息来更新所述启发式信息。8.根据权利要求7所述的系统，其中所述存储器还存储指令，该指令由于由所述一个或更多个处理器执行而导致所述系统获取一个或更多个配置参数，其中确定来自所述一个或更多个第二数据流的所述一个或更多个帧的所述子集还至少部分地基于所述一个或更多个配置参数。9.根据权利要求8所述的系统，其中所述配置参数指示检测到的对象的数量。10.根据权利要求8所述的系统，其中所述配置参数还指示以下各项中的至少一项：来自所述一个或更多个第二数据流的所述一个或更多个帧的分辨率、使用来自所述一个或更多个第二数据流的一个或更多个...

【专利技术属性】
技术研发人员：T，
申请(专利权)人：辉达公司，
类型：发明
国别省市：