用于人工神经网络系统和方法的低延迟中断警报技术方案

提供了各种技术来为神经网络提供更高的效率。在一个示例中，一种系统包括第一人工神经网络(ANN)、第二ANN和逻辑器件。第一ANN被配置为接收与数据流相关联的第一多个数据输入，并且在第一延迟之后处理第一数据输入以生成第一推理输出。第二ANN被配置为接收与数据流相关联的第二多个数据输入，并且在小于第一延迟的第二延迟之后处理第二数据输入以生成第二推理输出。逻辑器件被配置为在第一推理输出被生成之前接收第二推理输出。还提供了其他系统和方法。

【技术实现步骤摘要】
【国外来华专利技术】用于人工神经网络系统和方法的低延迟中断警报相关申请的交叉引用本申请是于2019年3月1日提交的美国专利申请No.16/290,811的继续，该美国专利申请又要求于2018年3月9日提交的美国临时专利申请No.62/640,741的权益，其全部通过引用整体并入本文。
本公开总体上涉及人工神经网络，并且更具体地涉及此类具有减少延迟的网络。
技术介绍
人工神经网络(ANN)通常被实现为用于执行复杂数据分析的可训练系统。ANN通常包括多个节点(例如，也称为神经元)。节点被配置为接收数据，对所接收的数据进行加权，处理加权的数据(例如，通过应用传递函数、偏差、激活函数、设置阈值和/或其他过程)，并且将经处理的数据传递给其他节点。节点可以布置在包括以下各项的层中：输入层，其接收提供给ANN的数据；隐藏层，其执行大部分ANN数据处理；以及输出层，其提供来自ANN的结果(例如，也称为推理)。在某些情况下，ANN用于复杂的图像分析，诸如对图像数据(例如，视频帧或单个图像)执行对象表征(例如，对象识别)。由这样的ANN生成的结果推理可以是数据的表征，诸如图像中出现的特定对象的标识。不幸的是，为了执行这样的分析，常规的ANN可能包括很多隐藏的节点层。因为任何数据输入都可能影响隐藏层的任何节点的处理，所以在生成推理之前，输入数据(例如，整个视频帧)通常必须由ANN的所有层完全处理。这引起这样的ANN从输入层接收数据的时间到输出层提供推理的时间为止表现出显著的延迟。不幸的是，这样的延迟对于可能需要快速响应于各种类型的推理的系统可能会是有问题的。附图说明图1示出了根据本公开的实施例的提供多个人工神经网络(ANN)的系统的框图。图2示出了根据本公开的实施例的示例硬件实现的框图。图3示出了根据本公开的实施例的主ANN、低延迟ANN的框图、以及相关联的时序图。图4示出了根据本公开的实施例的在顺序操作中主ANN和低延迟ANN的框图。图5示出了根据本公开的实施例的在并行操作中主ANN和低延迟ANN的框图。图6示出了根据本公开的实施例的具有预处理操作的主ANN和低延迟ANN的框图。图7示出了根据本公开的实施例的操作主ANN和低延迟ANN的过程。图8示出了根据本公开的实施例的主ANN和低延迟ANN的其他时序图。通过参考下面的详细描述，将能够最好地理解本公开的实施例及其优点。应当理解，相同的附图标记用于标识在一个或多个附图中示出的相同的元素。具体实施方式根据本文中公开的实施例，提供了利用主人工神经网络(ANN)和低延迟ANN来促进不同处理需求的各种系统和方法。例如，图1示出了根据本公开的实施例的提供多个ANN的系统100的框图。如图1所示，主ANN110(例如，第一ANN)和低延迟ANN120(例如，第二ANN)接收数据输入140，并且响应于此而分别生成相关联的推理150和160。推理150和160被提供给应用130，应用130可以响应于推理150和/或推理160而选择性地调节其操作。值得注意的是，与主ANN110相比，低延迟ANN120表现了减少的延迟。在这点上，即使ANN110和120同时都接收数据输入140，低延迟ANN120也会在主ANN110生成推理150之前生成推理160。如进一步讨论的，这种减少的延迟可以与例如低延迟ANN120中包括的更少的层和/或节点、和/或由低延迟ANN120正在处理的更少的数据输入140(例如，或不同的数据输入)相关联。数据输入140可以是期望由系统100分析的任何类型的数据。尽管本文中总体上关于图像数据讨论数据输入140以及推理150和160，但是任何适当类型的数据输入和推理可以用于本文中提供的各种实施例。在一些实施例中，ANN110和120都可以处理相同的数据输入140。在其他实施例中，与主ANN110相比，低延迟ANN120可以处理数目减少的数据输入140(例如，其子集)。在一些实施例中，可以向低延迟ANN120提供更少的数据输入140，和/或在由低延迟ANN120处理之前，可以对数据输入140进行预处理以减少其数目，降低其分辨率(例如，在图像处理的情况下降低像素分辨率)，和/或减小其位深(例如，在图像处理的情况下减小像素深度)。在一些实施例中，数据输入140可以包括诸如视频帧的数据流等图像数据，其中每个帧构成将由ANN110和120处理的一组数据输入140。例如，数据输入140可以由视频文件、实时视频馈送和/或其他适当的来源提供。在该示例中，主ANN110可以被配置为对数据输入140执行特征分析，以生成标识在数据输入140中识别的对象的推理。同样，在该示例中，低延迟ANN120可以被配置为对数据输入140执行不太复杂的分析，以生成标识在数据输入140中识别的事件的发生的推理。在这点上，由低延迟ANN120执行的分析可能不如由主ANN110执行的分析那样复杂(例如，由于低延迟ANN120执行的处理减少)。例如，由低延迟ANN120的示例推理160提供的事件(例如，视频图像的场景中对象的突然出现)的检测可能比由主ANN110的示例推理150提供的事件(例如，出现在视频图像的场景中的对象的类型的识别)的进一步表征需要更少处理。例如，由低延迟ANN120提供的推理160可以对应于对需要应用130的快速响应的事件(例如，成像视频场景中的突然改变、场景中新对象的出现、和/或其他事件)的检测。如果推理160与这样的高优先级事件相关联，则低延迟ANN120和/或应用130可以将其标识为触发应用130以调节其操作的中断警报。与由来自主ANN110的推理150提供的复杂表征相比，这样的中断警报可能构成应用130更高优先级。例如，在视频图像处理的情况下，如果低延迟ANN120检测到对象的突然出现，则可能优选的是，应用130响应于推理160(例如，在这种情况下为中断警报)而执行一个或多个快速动作(例如，指示包括系统100的车辆的引导系统操纵车辆以避免撞到检测到的对象)，而不是等待附加的时间段过去，直到主ANN110对特定类型的对象执行更具体的标识并且最终提供推理150。系统100的各种特征可以在适当的硬件中实现。例如，图2示出了根据本公开的实施例的可以用于提供主ANN110、低延迟ANN120、应用130和数据输入140中的一个或多个的示例硬件实现的框图。如图所示，图2所示的实现提供了包括逻辑器件210、存储器220、通信接口230、显示器240、用户控件250和其他组件260的硬件系统。逻辑器件210可以被实现为用于数据处理的任何适当的器件，诸如处理器(例如，微处理器、单核处理器和/或多核处理器)、微控制器、可编程逻辑器件(PLD)(例如，现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)、片上现场可编程系统(FPSC)或其他类型的可编程器件)、图形处理单元(GPU)、和/或其他器件。存储器220可以由提供机器可读介质的一个或多个存储器设备来实现，诸如易失性存本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n在第一人工神经网络(ANN)处接收第一多个数据输入并且在第二ANN处接收第二多个数据输入，其中所述第一数据输入和所述第二数据输入与数据流相关联；/n在第一延迟之后，由所述第一ANN处理所述第一数据输入以生成第一推理输出；/n在小于所述第一延迟的第二延迟之后，由所述第二ANN处理所述第二数据输入以生成第二推理输出；以及/n在所述第一推理输出被生成之前，将所述第二推理输出提供给逻辑器件。/n

【技术特征摘要】
【国外来华专利技术】20180309 US 62/640,741;20190301 US 16/290,8111.一种方法，包括：
在第一人工神经网络(ANN)处接收第一多个数据输入并且在第二ANN处接收第二多个数据输入，其中所述第一数据输入和所述第二数据输入与数据流相关联；
在第一延迟之后，由所述第一ANN处理所述第一数据输入以生成第一推理输出；
在小于所述第一延迟的第二延迟之后，由所述第二ANN处理所述第二数据输入以生成第二推理输出；以及
在所述第一推理输出被生成之前，将所述第二推理输出提供给逻辑器件。


2.根据权利要求1所述的方法，其中：
所述第二推理输出包括与由所述第二ANN在所述数据流中检测到的事件相关联的中断警报；以及
所述方法还包括在所述第一推理输出被生成之前，响应于所述中断警报而调节所述逻辑器件的操作。


3.根据权利要求1所述的方法，还包括预处理所述第一数据输入以生成所述第二数据输入。


4.根据权利要求3所述的方法，其中：
所述第一数据输入包括所述数据流的视频帧；
所述第二数据输入包括分辨率降低的视频帧；以及
所述预处理包括处理所述数据流的所述视频帧以生成所述分辨率降低的视频帧。


5.根据权利要求1所述的方法，其中：
所述第一推理输出是所述数据流中对象的分类；以及
所述第二推理输出是在所述数据流中检测到的事件。


6.根据权利要求1所述的方法，还包括：
利用第一组视频帧训练所述第一ANN；
利用从所述第一组生成的第二组视频帧训练所述第二ANN；以及
其中所述第二组相对于所述第一组具有减小的像素分辨率和/或减小的像素深度。


7.根据权利要求1所述的方法，其中：
所述第一组数据输入大于所述第二组数据输入；以及
所述第一ANN比所述第二ANN包括更多数目的隐藏层。


8.根据权利要求7所述的方法，其中所述第二ANN的所述隐藏层包括利用二进制权重的节点。


9.根据权利要求1所述的方法，其中：
由所述第一ANN和所述第二ANN执行的所述处理被并行执行；
所述第一ANN由图形处理单元(GPU)实现；以及
所述第二ANN由可编程逻辑器件(PLD)实现。


10.根据权利要求...

【专利技术属性】
技术研发人员：R·L·克莱恩，
申请(专利权)人：美国莱迪思半导体公司，
类型：发明
国别省市：美国;US