一种深度脉冲神经网络的分布式部署推理方法及相关装置制造方法及图纸

本申请公开了一种深度脉冲神经网络的分布式部署推理方法及相关装置，所述方法包括获取待部署的深度脉冲神经网络，并将所述深度脉冲神经网络拆分为若干子神经网络；对若干子神经网络中的各子神经网络进行编译，以得到各子神经网络对应的生成模型文件；将若干子神经网络对应的生成模型文件依次部署于类脑芯片，以通过若干子神经网络逐步对输入数据进行推理，以得到输入数据对应的输出数据。本申请通过将深度脉冲网络拆分为若干子神经网络，并分别编译和部署单个子神经网络，这样可以将深度脉冲神经网络部署于类脑芯片，使得类脑芯片使用大规模深度脉冲神经网络进行模型推理，扩展了深度脉冲神经网络的使用范围。度脉冲神经网络的使用范围。度脉冲神经网络的使用范围。

【技术实现步骤摘要】
一种深度脉冲神经网络的分布式部署推理方法及相关装置


[0001]本申请涉及计算机
，特别涉及一种深度脉冲神经网络的分布式部署推理方法及相关装置。

技术介绍

[0002]脉冲神经网络(SpikingNeuronNetworks，SNN)作为第三代神经网络具有高度的生物真实性，通过模拟大脑神经网络连接方式并结合时间信息来实现高效运算。基于SNN的低功耗的特性，其在神经网络的研究领域备受关注。
[0003]近年来，国内外类脑芯片的研究也取得了较大的进展，例如，IBM的TrueNorth、Intel的Loihi1/2、清华大学的天机芯II以及浙江大学的达尔文I/II，利用类脑脉冲计算的稀疏性、脉冲加和、异步事件驱动等特性等实现超低功耗，目前类脑芯片支持模型的推理。但随着人工智能的迅猛发展，人们对模型性能的需求呈指数增长，模型复杂度快速提升，而受类脑芯片的存储资源以及算力的限制，深度脉冲神经网络无法在类脑芯片上部署，这也极大的限制了深度脉冲神经网络的应用。
[0004]因而现有技术还有待改进和提高。
专利
技术实现思路

[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度脉冲神经网络的分布式部署推理方法，其特征在于，所述方法还包括：获取待部署的深度脉冲神经网络，并将所述深度脉冲神经网络拆分为若干子神经网络，其中，若干子神经网络中的任意两个相邻子神经网络中，位于前的子神经网络的输出项为位于后的子神经网络的输入项；对若干子神经网络中的各子神经网络进行编译，以得到各子神经网络对应的生成模型文件；将若干子神经网络对应的生成模型文件依次部署于类脑芯片，以通过若干子神经网络逐步对输入数据进行推理，以得到输入数据对应的输出数据。2.根据权利要求1所述深度脉冲神经网络的分布式部署推理方法，其特征在于，所述将深度脉冲神经网络拆分为若干子神经网络具体包括：获取类脑芯片对应的存储空间；根据所述存储空间将所述深度脉冲神经网络拆分为若干子神经网络，其中，每个子神经网络所需要的存储空间均小于所述类脑芯片对应的存储空间。3.根据权利要求1所述深度脉冲神经网络的分布式部署推理方法，其特征在于，所述对若干子神经网络中的各子神经网络进行编译具体为：通过所述类脑芯片对应的编译软件对若干子神经网络中的各子神经网络进行编译，其中，在对各子神经网络进行编译时，子神经网络的输入携带有膜电位状态。4.根据权利要求3所述深度脉冲神经网络的分布式部署推理方法，其特征在于，在各子神经网络的编译过程中，将输入数据中的批量数维度与通道维度进行合并以得到目标输入数据，将目标数据通过子神经网络的脉冲计算层以得到候选输出数据，将候选输出数据中批量数维度与通道维度拆分，并将拆分得到的批量数维度与模电位状态维度合并以得到参考输出数据，最后将参考输出数据输入子神经网络的目标计算单元得到输出数据，其中，所述目标计算单元包括卷积层和/或池化层。5.根据权利要求1所述深度脉冲神经网络的分布式部署推理方法，其特征在于，所述将若干子神经网络对应的生成模型文件依次部署于类脑芯片，以通过若干子神经网络逐步对输入数据进行推理，以得到输入数据对应的输出数据具体包括：当若干子神经网络部署于单个类脑芯片时，将位于第一位的子神经网络的生成模型文件部署于类脑芯片，并将输入数据输入位于第一位的子神经网络以得到第一输出数据；控制所述类脑芯片删除位于第一位的子神经网络，并部署位于第二位的子神经网络的生成模型文件部署于所述类脑芯片，并将第一输...

【专利技术属性】
技术研发人员：朱学科，周晖晖，林文杰，林彦宇，程文翔，田永鸿，高文，
申请(专利权)人：鹏城实验室，
类型：发明
国别省市：