一种芯片、加速卡、电子设备和数据处理方法技术

本公开实施例提供一种芯片、加速卡、电子设备以及数据处理方法和装置，通过芯片内的控制单元控制调度神经网络的各子网络到第一处理单元中进行AI推理，在一组子网络的第一处理完成的情况下，控制单元即调度下一组子网络的网络参数到第一处理单元上进行下一阶段的第一处理，从而使神经网络所包括的多组子网络实现流水化处理，进而提升了处理效率。进而提升了处理效率。进而提升了处理效率。

【技术实现步骤摘要】
一种芯片、加速卡、电子设备和数据处理方法


[0001]本公开涉及芯片
，尤其涉及一种芯片、加速卡、电子设备和数据处理方法。

技术介绍

[0002]近年来，神经网络广泛应用于图像处理、故障诊断、视频安防等各种领域中，其中，大部分应用场景下可能需要多个神经网络配合起来才能解决一个复杂问题。然而，在实际应用中，终端在实现时通常需要通过Host CPU将各个神经网络串行调度到GPU或加速卡中，难以实现各个神经网络的流水化处理，处理效率较低。

技术实现思路

[0003]第一方面，本公开实施例提供一种芯片，所述芯片包括：控制单元，用于将神经网络包括的多组子网络中的一组子网络的网络参数调度到第一处理单元上；第一处理单元，用于基于调度到本处理单元的子网络的网络参数对视频中的待处理视频帧进行第一处理，得到第一视频帧；所述控制单元，还用于在所述第一处理完成的情况下，将所述多组子网络中的下一组子网络的网络参数调度到所述第一处理单元上。
[0004]在一些实施例中，所述第一处理单元用于在基于当前调度到本处理单元的子网络的网络参数对所述待处理视频帧进行的第一处理完成的情况下，向所述控制单元发送中断信号；所述控制单元用于在接收到所述中断信号的情况下，将所述下一组子网络的网络参数调度到所述第一处理单元上。
[0005]在一些实施例中，所述第一处理单元的数量大于1，每个第一处理单元用于基于调度到本处理单元的网络参数对所述待处理视频帧进行所述第一处理；所述控制单元用于将相邻的两组子网络的网络参数调度到不同的第一处理单元上。
[0006]在一些实施例中，所述多个第一处理单元中的每个第一处理单元用于：在本处理单元的第一处理完成的情况下，向所述控制单元发送中断信号，以使所述控制单元将所述下一组子网络的网络参数调度到其他第一处理单元上。
[0007]在一些实施例中，所述控制单元还用于：向所述第一处理单元发送使能信号，所述第一处理单元在接收到所述使能信号的情况下进行所述第一处理。
[0008]在一些实施例中，所述芯片还包括：第二处理单元，用于对所述第一视频帧进行第二处理，得到第二视频帧并输出。
[0009]在一些实施例中，所述芯片还包括：第三处理单元，用于对所述待处理视频帧进行第三处理后输出至所述第一处理单元，以使所述第一处理单元对经第三处理后的所述待处理视频帧进行第一处理。
[0010]第二方面，本公开实施例提供一种加速卡，所述加速卡包括：内存单元，用于存储神经网络包括的多组子网络中每组子网络的网络参数；以及本公开任一实施例所述的芯片。
[0011]第三方面，本公开实施例提供一种电子设备，所述电子设备包括：第二方面所述的加速卡；以及外部处理单元，用于将所述神经网络包括的多组子网络中每组子网络的网络参数输出至所述内存单元。
[0012]第四方面，本公开实施例提供一种数据处理方法，所述方法应用于本公开任一实施例所述的芯片中的控制单元；所述方法包括：将神经网络包括的多组子网络中的一组子网络的网络参数调度到第一处理单元上；在所述第一处理完成的情况下，将所述多组子网络中的下一组子网络的网络参数调度到所述第一处理单元上。
[0013]在一些实施例中，所述在所述第一处理完成的情况下，将所述多组子网络中的下一组子网络的网络参数调度到所述第一处理单元上，包括：接收所述第一处理单元发送的中断信号，所述第一处理单元在基于当前调度到本处理单元的子网络的网络参数对所述待处理视频帧进行的第一处理完成的情况下发送所述中断信号；响应于所述中断信号，将所述下一组子网络的网络参数调度到所述第一处理单元上。
[0014]在一些实施例中，所述第一处理单元的数量大于1，每个第一处理单元用于基于调度到本处理单元的网络参数对所述待处理视频帧进行所述第一处理；相邻的两组子网络的网络参数被调度到不同的第一处理单元上。
[0015]在一些实施例中，所述在所述第一处理完成的情况下，将所述多组子网络中的下一组子网络的网络参数调度到所述第一处理单元上，包括：接收所述第一处理单元发送的中断信号，所述第一处理单元在基于当前调度到本处理单元的子网络的网络参数对所述待处理视频帧进行的第一处理完成的情况下发送所述中断信号；响应于所述中断信号，将所述下一组子网络的网络参数调度到除所述第一处理单元以外的第一处理单元上。
[0016]在一些实施例中，所述方法还包括：向所述第一处理单元发送使能信号，所述第一处理单元在接收到所述使能信号的情况下进行所述第一处理。
[0017]第五方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开任一实施例所述方法中的步骤。
[0018]本公开实施例提供一种芯片、加速卡、电子设备和数据处理方法和装置，该芯片通过芯片内的控制单元控制调度神经网络的各子网络到第一处理单元中进行AI运算(包括训练和/或推理)，在一组子网络的第一处理完成的情况下，控制单元即调度下一组子网络的网络参数到第一处理单元上进行下一阶段的第一处理，从而使神经网络所包括的多组子网络实现流水化处理，进而提升了处理效率。
[0019]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
[0020]此处的附图被并入说明书中并构成本公开的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
[0021]图1是本公开实施例的芯片的示意图；
[0022]图2是本公开实施例的数据处理流水线的示意图；
[0023]图3是本公开另一实施例的数据处理流水线的示意图；
[0024]图4是本公开实施例的多个处理单元间的数据流的示意图；
[0025]图5是本公开根据一示例性实施例示出的一种加速卡的示意图；
[0026]图6是本公开根据一示例性实施例示出的一种电子设备的示意图；
[0027]图7是本公开根据一示例性实施例示出的一种数据处理方法的流程图；
[0028]图8是本公开根据一示例性实施例示出的一种数据处理装置的框图。
具体实施方式
[0029]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
[0030]在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合。
[0031]应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种芯片，其特征在于，所述芯片包括：控制单元，用于将神经网络包括的多组子网络中的一组子网络的网络参数调度到第一处理单元上；第一处理单元，用于基于调度到本处理单元的子网络的网络参数对视频中的待处理视频帧进行第一处理，得到第一视频帧；所述控制单元，还用于在所述第一处理完成的情况下，将所述多组子网络中的下一组子网络的网络参数调度到所述第一处理单元上。2.根据权利要求1所述的芯片，其特征在于，所述第一处理单元用于在基于当前调度到本处理单元的子网络的网络参数对所述待处理视频帧进行的第一处理完成的情况下，向所述控制单元发送中断信号；所述控制单元用于在接收到所述中断信号的情况下，将所述下一组子网络的网络参数调度到所述第一处理单元上。3.根据权利要求1或2所述的芯片，其特征在于，所述第一处理单元的数量大于1，每个第一处理单元用于基于调度到本处理单元的网络参数对所述待处理视频帧进行所述第一处理；所述控制单元用于将相邻的两组子网络的网络参数调度到不同的第一处理单元上。4.根据权利要求3所述的芯片，其特征在于，每个第一处理单元用于：在本处理单元的第一处理完成的情况下，向所述控制单元发送中断信号，以使所述控制单元将所述下一组子网络的网络参数调度到其他第一处理单元上。5.根据权利要求1至4任一项所述的芯片，其特征在于，所述控制单元还用于：向所述第一处理单元发...

【专利技术属性】
技术研发人员：冷祥纶，张国栋，李冰，赵月新，
申请(专利权)人：上海阵量智能科技有限公司，
类型：发明
国别省市：