模型优化部署方法、系统、设备及存储介质技术方案

本发明专利技术公开一种模型优化部署方法、系统、设备及存储介质，其中模型优化部署方法，包括：对卷积神经网络进行模型优化，获取适配脉冲神经网络的卷积神经网络；对优化后的卷积神经网络的参数进行编译，获取在脉冲神经网络芯片上可运行的参数配置文件；加载参数配置文件以对输入的待处理数据进行推理计算处理，获取数据处理结果。本发明专利技术可以保持卷积神经网络的高精度，又能融合SNN的高效低功耗，便于在终端平台上进行部署。

【技术实现步骤摘要】
模型优化部署方法、系统、设备及存储介质
本专利技术涉及计算机
，尤其涉及一种模型优化部署方法、系统、设备及存储介质。
技术介绍
卷积神经网络(ConvolutionalNeuralNetwork，简称CNN)由于其具有相对成熟的网络结构和训练算法，以及高性能计算平台与大规模训练数据的支持，已被应用于多个领域。但是面对复杂任务，高精度的CNN往往复杂度较高，因此，在终端平台算力、内存、功耗、成本等限制下，高精度的CNN终端部署仍存在巨大挑战。相比而言，脉冲神经网络(SpikingNeuralNetwork,简称SNN)直接利用神经元的脉冲发放时间作为其输入与输出，充分利用时间信息，具备脉冲稀疏性，同时，脉冲神经元接收到脉冲时，将累计输入至膜电位，当膜电位达到阈值时才进行脉冲发放，即为事件驱动型。由于SNN具备脉冲稀疏性和其本身为事件驱动型，其可以更加高效地进行信息处理，实现低延时、低功耗。但是，SNN在较复杂任务上精度较低，将其直接部署到终端平台也存在问题，因此，如何将CNN与SNN进行适配融合既满足高精度要求又方便部署于终端平台是个亟需解决的技术问题。
技术实现思路
本专利技术提供一种模型优化部署方法、系统、设备及存储介质，用以提供一种CNN与SNN进行适配融合的模型优化部署方法，以获得既满足高精度且高效的要求又方便部署于终端平台的解决方案。本专利技术提供的一种模型优化部署方法，包括：对卷积神经网络进行模型优化，获取适配脉冲神经网络的卷积神经网络；对优化后的卷积神经网络的参数进行编译，获取在脉冲神经网络芯片上可运行的参数配置文件；加载参数配置文件以使脉冲神经网络芯片对输入的待处理数据进行推理计算处理。本专利技术还提供一种模型优化部署系统，包括：模型优化模块，用于对卷积神经网络进行模型优化，获取适配脉冲神经网络的卷积神经网络；参数编译模块，用于对优化后的卷积神经网络的参数进行编译，获取在脉冲神经网络芯片上可运行的参数配置文件；以及系统部署模块，用于加载参数配置文件以对输使脉冲神经网络芯片入的待处理数据进行推理计算处理。本专利技术还提供一种电子设备，包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序；其中，所述处理器运行所述计算机程序时实现如上述的模型优化部署方法。本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可被执行如上述的模型优化部署方法。本专利技术先对CNN做适配SNN的模型优化，然后由CNN转换为SNN并部署。通过对卷积神经网络进行模型优化，使得优化后的CNN既能保持卷积神经网络的高精度，又能融合SNN的高效低功耗，从而便于在终端平台上进行部署；通过对优化后的卷积神经网络的参数进行编译，形成可运行的参数配置文件，使得图像识别数据处理时SNN芯片能够自动加载模型，并自动运行，实现软件与硬件的无缝对接，从而便于提升终端平台的运行速度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种模型优化部署方法的流程图；图2为本专利技术实施例中CNN参数编译的具体流程图；图3为本专利技术实施例中量化对模型优化的流程图；图4为本专利技术实施例中对分组卷积的模型进行剪枝的流程图；图5为本专利技术实施例中确定冗余卷积核并对其进行剪枝的流程图；图6为本专利技术实施例中详细的剪枝流程图；图7为本专利技术实施例中剪枝对模型优化的流程图；图8为本专利技术实施例提供的一种模型优化部署系统的结构示意图；图9为本专利技术实施例提供的一套SNN软件开发工具包的示意框图；图10为本专利技术实施例提供的模型优化部署系统的全流程示意图；图11为本专利技术实施例提供的一种电子设备的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。CNN模型由于其神经元持续激活工作的特点，导致其难以在取得高精度的同时满足低延时、低功耗。而SNN尽管具有低延时、低功耗等诸多优势，但也存在许多挑战，如缺乏有效的训练方法、在较复杂任务上精度较低、难以部署至终端平台等。本专利技术正是基于上述这些问题对CNN模型进行了大量优化以使其适配于SNN，从而获得高精度且高效的SNN，而且方便部署至终端平台。基于本专利技术提出的模型优化部署方法，最终形成一套SNN软件开发工具包(SNN-SoftwareDevelopmentKit,SNN-SDK)，其由模型优化、参数编译、系统部署几个部分组成。为使本专利技术的技术方案更加清楚，以下结合附图对本专利技术的实施例进行详细说明。本专利技术实施例提供一种模型优化部署方法，用于图像识别检测处理中使用的神经网络模型，其执行主体为模型优化部署系统，该系统可以设置在电子设备中，该电子设备可以是任意的计算机设备或其他终端设备。图1为本专利技术实施例提供的一种模型优化部署方法的流程图，如图1所示，本实施例的方法，包括：步骤101、对卷积神经网络进行模型优化，获取适配脉冲神经网络的卷积神经网络。对卷积神经网络进行优化可以基于优化目标不同而选择不同的优化策略，本实施例中优化CNN的目的主要是适配SNN，以使其优化后的CNN既能保持卷积神经网络的高精度，又能融合SNN的高效低功耗。考虑到优化CNN模型既不降低精度，又能够适配SNN，本专利技术实施例中通过多种优化措施对卷积神经网络进行优化，如分组卷积、剪枝、图优化及量化等，每种措施其目标均是保持精度要求前提下尽量降低参数量和计算量，从而保证模型的高效且低功耗，便于部署至SNN。本专利技术实施例后面将对这些优化措施进行分别详细分析说明。步骤102、对优化后的卷积神经网络的参数进行编译，获取在脉冲神经网络芯片上可运行的参数配置文件。在步骤101中，通过模型优化将结构复杂、运算量大的普通CNN转化为满足高精度要求而又运算量大幅降低的适配SNN的CNN。由于优化CNN模型的目标是CNN的推理运算能够在脉冲神经网络芯片上运行，所以，在获得适配SNN的CNN模型后，为使其能够直接在SNN芯片上运行，在本步骤中还需要将其神经网络参数进行编译，形成参数配置文件，以保证在SNN芯片上进行数据处理时能够正确自动运行。图2为本专利技术实施例中CNN参数编译的具体流程图，如图2所示，对CNN参数编译的操作可包括：步骤1021、将优化后的卷积神经网本文档来自技高网...

【技术保护点】
1.一种模型优化部署方法，其特征在于，包括：/n对卷积神经网络进行模型优化，获取适配脉冲神经网络的卷积神经网络；/n对优化后的卷积神经网络的参数进行编译，获取在脉冲神经网络芯片上可运行的参数配置文件；/n加载参数配置文件以使脉冲神经网络芯片对输入的待处理数据进行推理运算处理。/n

【技术特征摘要】
1.一种模型优化部署方法，其特征在于，包括：
对卷积神经网络进行模型优化，获取适配脉冲神经网络的卷积神经网络；
对优化后的卷积神经网络的参数进行编译，获取在脉冲神经网络芯片上可运行的参数配置文件；
加载参数配置文件以使脉冲神经网络芯片对输入的待处理数据进行推理运算处理。


2.根据权利要求1所述的方法，其特征在于，所述对卷积神经网络进行模型优化，包括：
将卷积神经网络的模型结构中标准卷积用分组卷积进行替代；
对模型进行图优化以将模型中的批归一化层融合至卷积层，以及对图优化后的模型进行高位量化；或者对模型进行图优化以将模型中用于调整低位量化误差的缩放因子及批归一化层融合至卷积层。


3.根据权利要求2所述的方法，其特征在于，将对模型进行图优化之前，还包括：
在保持分组卷积结构的情况下，对分组卷积的模型进行剪枝。


4.根据权利要求3所述的方法，其特征在于，所述对分组卷积的模型进行剪枝，具体包括：
对含有分组卷积的卷积神经网络进行稀疏训练；
根据批归一化层的缩放因子和剪枝率确定冗余卷积核并对其进行剪枝；
根据精度要求，对剪枝后的模型进行微调。


5.根据权利要求4所述的方法，其特征在于，所述根据批归一化层的缩放因子和剪枝率确定冗余卷积核并对其进行剪枝，包括：
对模型的所有批归一化层的缩放因子排序；
根据预设的剪枝率确定对应的缩放因子阈值；
基于缩放因子阈值对各层卷积核进行临时剪枝；
若临时剪枝后的模型仍保持分组卷积结构，则直接输出，若临时剪枝后的模型不能保持分组卷积结构，则对临时剪枝后的模型进行调整直至模型能够保持分组卷积结构后再输出。


6.根据权利要求2所述的方法，其特征在于，所述对模型进行图优化以将模型中用于调整低位量化误差的缩放因子及批归一化层融合至卷积层之前，还包括:
对模型中的权重进行低位量化。


7.根据权利要求1～6中任一项所述的方法，其特征在于，对优化后的卷积神经网络的参数进行编译，获取在脉冲神经网络芯片上可运行的参数配置文件，包括：
将优化后的卷积神经网络的参数映射到拓扑结构相同的脉冲神经网络...

【专利技术属性】
技术研发人员：曹健，戴镇原，原浩强，夏立超，赵东宇，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京;11