智能视频分析和边缘计算系统中的端到端动作识别技术方案

执行动作识别的装置、系统和技术。在至少一个实施例中，使用一个或更多个神经网络和硬件加速器执行动作识别，其中基于例如一个或更多个量化和修剪过程处理所述一个或更多个神经网络。经网络。经网络。

【技术实现步骤摘要】
【国外来华专利技术】智能视频分析和边缘计算系统中的端到端动作识别
[0001]相关申请的交叉引用
[0002]本申请要求2021年4月8日提交的题为“智能视频分析和边缘计算系统中的端到端动作识别(END TO END ACTION RECOGNITION IN INTELLIGENT VIDEO ANALYSIS AND EDGE COMPUTING SYSTEMS)”的美国专利申请第17/225,924号的优先权，其全部内容通过引用整体并入本文并用于所有目的。


[0003]至少一个实施例涉及用于执行和促进图像和视频帧中的动作识别的处理资源。例如，至少一个实施例涉及用于使用神经网络在图像中执行动作识别的处理器或计算系统。

技术介绍

[0004]动作识别是各种环境中的一项重要任务，例如视频监控和自动驾驶。在许多情况下，动作识别需要大量的计算资源来执行。这可能导致特定计算环境中的某些计算设备可能不具有执行动作识别的处理能力的情况。因此可以改进用于执行动作识别的内存量、时间量或计算资源量。
附图说明
[0005]图1示出了根据至少一个实施例的用于动作识别的系统的示例；
[0006]图2示出了根据至少一个实施例的修剪神经网络的示例；
[0007]图3示出了根据至少一个实施例的量化神经网络的权重的示例；
[0008]图4示出了根据至少一个实施例的结合用于动作识别的系统处理图像的示例；
[0009]图5示出了根据至少一个实施例的用于动作识别的边缘设备和系统的示例；
[0010]图6示出了根据至少一个实施例的用于动作识别的系统的过程的示例；
[0011]图7A示出了根据至少一个实施例的推理和/或训练逻辑；
[0012]图7B示出了根据至少一个实施例的推理和/或训练逻辑；
[0013]图8示出了根据至少一个实施例的神经网络的训练和部署；
[0014]图9示出了根据至少一个实施例的示例数据中心系统；
[0015]图10A示出了根据至少一个实施例的自主车辆的示例；
[0016]图10B示出了根据至少一个实施例的图10A的自主车辆的相机位置和视野的示例；
[0017]图10C是根据至少一个实施例的示出图10A的自主车辆的示例系统架构的框图；
[0018]图10D是根据至少一个实施例的示出用于一个或更多个基于云的服务器与图10A的自主车辆之间进行通信的系统的图；
[0019]图11是根据至少一个实施例的示出计算机系统的框图；
[0020]图12是根据至少一个实施例的示出计算机系统的框图；
[0021]图13示出了根据至少一个实施例的计算机系统；
[0022]图14示出了根据至少一个实施例的计算机系统；
[0023]图15A示出了根据至少一个实施例的计算机系统；
[0024]图15B示出了根据至少一个实施例的计算机系统；
[0025]图15C示出了根据至少一个实施例的计算机系统；
[0026]图15D示出了根据至少一个实施例的计算机系统；
[0027]图15E和图15F示出了根据至少一个实施例的共享编程模型；
[0028]图16示出了根据至少一个实施例的示例性集成电路和相关的图形处理器。
[0029]图17A和图17B示出了根据至少一个实施例的示例性集成电路和相关联的图形处理器。
[0030]图18A和图18B示出了根据至少一个实施例的附加的示例性图形处理器逻辑；
[0031]图19示出了根据至少一个实施例的计算机系统；
[0032]图20A示出了根据至少一个实施例的并行处理器；
[0033]图20B示出了根据至少一个实施例的分区单元；
[0034]图20C示出了根据至少一个实施例的处理集群；
[0035]图20D示出了根据至少一个实施例的图形多处理器；
[0036]图21示出了根据至少一个实施例的多图形处理单元(GPU)系统；
[0037]图22示出了根据至少一个实施例的图形处理器；
[0038]图23是根据至少一个实施例的示出用于处理器的处理器微架构的框图；
[0039]图24示出了根据至少一个实施例的深度学习应用程序处理器；
[0040]图25是根据至少一个实施例的示出了示例神经形态处理器的框图；
[0041]图26示出了根据一个或更多个实施例的图形处理器的至少部分；
[0042]图27示出了根据一个或更多个实施例的图形处理器的至少部分；
[0043]图28示出了根据一个或更多个实施例的图形处理器的至少部分；
[0044]图29是根据至少一个实施例的示出了图形处理器的图形处理引擎的框图；
[0045]图30是根据至少一个实施例的示出了图形处理器核心的至少部分的框图；
[0046]图31A和图31B示出了根据至少一个实施例的线程执行逻辑，其包括图形处理器核心的处理元件的阵列。
[0047]图32示出了根据至少一个实施例的并行处理单元(“PPU”)；
[0048]图33示出了根据至少一个实施例的通用处理集群(“GPC”)；
[0049]图34示出了根据至少一个实施例的并行处理单元(“PPU”)的存储器分区单元；
[0050]图35示出了根据至少一个实施例的流式多处理器。
[0051]图36是根据至少一个实施例的高级计算管线的示例数据流图；
[0052]图37是根据至少一个实施例的用于在高级计算管线中训练、适应、实例化和部署机器学习模型的示例系统的系统图；
[0053]图38包括根据至少一个实施例的用于处理成像数据的高级计算管线3710A的示例图示；
[0054]图39A包括根据至少一个实施例的支持超声设备的虚拟仪器的示例数据流图；
[0055]图39B包括根据至少一个实施例的支持CT扫描仪的虚拟仪器的示例数据流图；
[0056]图40A示出了根据至少一个实施例的用于训练机器学习模型的过程的数据流图；以及
[0057]图40B是根据至少一个实施例的利用预训练的注释模型来增强注释工具的客户端
‑
服务器架构的示例图示。
具体实施方式
[0058]在各种实施例中，动作识别是需要大量计算资源来执行的资源密集型任务。本文描述的技术涉及一种用于动作识别的系统，该系统可以基于视频数据有效地对对象的动作进行分类，使得该系统可用于具有有限计算资源的各种设备中，例如边缘设备。具体而言，系统可以基于输入的视频数据，对视频数据中表示的一个或更多个对象的动作进行分类。对象可以指代在视频数据中表示的任何合适的实体或对象。动作可以包括(但不限于)运动动作，例如坐、步行、跑步、攀爬和其他各种动作。该系统可以是高效的，使得它可以部署在具有有限处理能力的计算设备上。
[0059]该系统可以利用各种神经网络模型进行对象检测和动作识别，这些模型在训本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：接收视频的多个帧；确定所述多个帧中表示的一个或更多个对象；使并行处理单元计算在所述多个帧中的各帧中的一个或更多个像素中表示的所述一个或更多个对象的运动；以及使神经网络至少部分地基于计算的运动和确定的一个或更多个对象来对由所述一个或更多个对象执行并在所述多个帧中表示的一个或更多个动作进行分类。2.根据权利要求1所述的方法，还包括：生成与所述多个帧中表示的所述一个或更多个对象对应的包围盒集合。3.根据权利要求2所述的方法，还包括：基于所述包围盒集合对所述计算的运动执行第一裁剪操作集合以确定第一裁剪运动集合；以及基于所述包围盒集合对所述多个帧执行第二裁剪操作集合以确定第一裁剪帧集合。4.根据权利要求1所述的方法，还包括：至少部分地基于所述神经网络的一个或更多个内核确定一个或更多个值；以及至少部分地基于所述一个或更多个值从所述神经网络中移除内核集合。5.根据权利要求1所述的方法，其中所述一个或更多个动作至少包括坐动作、步行动作、跑步动作或爬楼梯动作。6.根据权利要求1所述的方法，其中所述神经网络包括一个或更多个量化的权重。7.一种处理器，包括：一个或更多个电路，用于：从视频数据中识别一个或更多个帧中描绘的一个或更多个对象；使用所述视频数据的所述一帧或更多个帧，计算一个或更多个流场和与所述一个或更多个对象对应的一个或更多个包围盒；以及基于所述一个或更多个流场和所述一个或更多个包围盒确定由所述一个或更多个对象执行的用于一个或更多个动作的一个或更多个分类。8.根据权利要求7所述的处理器，其中所述一个或更多个电路还用于：使用第一神经网络计算所述一个或更多个包围盒；以及使用第二神经网络确定所述一个或更多个分类。9.根据权利要求8所述的处理器，其中所述一个或更多个电路还用于：计算所述第一神经网络和所述第二神经网络的一个或更多个内核的一个或更多个L1范数值；以及至少部分地基于所述一个或更多个L1...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：辉达公司，
类型：发明
国别省市：