一种神经网络加速方法、装置、设备、芯片及存储介质制造方法及图纸

本申请实施例公开了一种神经网络加速方法、装置、设备、芯片及存储介质，该方法包括：对原始神经网络结构中的至少一种卷积核尺寸分别进行核稀疏模式KSP统计，确定至少一组KSP集合；其中，每一种卷积核尺寸对应一组KSP集合，且每一组KSP集合包括预设数量种KSP掩码矩阵；基于至少一组KSP集合，确定原始神经网络结构的各卷积层中每一卷积核对应的KSP掩码矩阵；利用KSP掩码矩阵对原始神经网络结构的各卷积层中每一卷积核进行剪枝处理，得到稀疏神经网络结构。这样，通过引入基于KSP的模式剪枝来限制整个神经网络中可以出现的KSP个数，不仅降低了运算量，增强了稀疏神经网络的表达能力，而且还提升了稀疏神经网络的压缩比和精度。而且还提升了稀疏神经网络的压缩比和精度。而且还提升了稀疏神经网络的压缩比和精度。

【技术实现步骤摘要】
一种神经网络加速方法、装置、设备、芯片及存储介质


[0001]本申请涉及神经网络
，尤其涉及一种神经网络加速方法、装置、设备、芯片及存储介质。

技术介绍

[0002]近年来，深度学习(Deep Learning，DL)的崛起不断推动着人工智能的发展。而以卷积神经网络为代表的DL算法在计算机视觉、自动驾驶等领域中已被广泛应用于分类、识别、降噪、超分(Super
‑
resolution)等任务，然而其复杂的结构导致即使在推理时也需要占用大量的功耗和计算资源，严重限制了此类技术在功耗和资源受限的移动和嵌入式平台上的部署，因而在此之前需要对其进行一定的压缩。
[0003]目前，一些主流的神经网络压缩方法包括有量化(Quantization)、剪枝(Pruning)、知识蒸馏(Knowledge Distillation)、神经网络结构搜索(Neural Architecture Search，NAS)等等。其中，剪枝是指从原始神经网络中系统性地剪去部分不重要的权重而尽量少地损失精度，以减少神经网络的参数量，来达成降低各项本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络加速方法，其特征在于，所述方法包括：对原始神经网络结构中的至少一种卷积核尺寸分别进行核稀疏模式KSP统计，确定至少一组KSP集合；其中，每一种卷积核尺寸对应一组KSP集合，且每一组KSP集合包括预设数量种KSP掩码矩阵；基于所述至少一组KSP集合，确定所述原始神经网络结构的各卷积层中每一卷积核对应的KSP掩码矩阵；利用所述KSP掩码矩阵对所述原始神经网络结构的各卷积层中每一卷积核进行剪枝处理，得到稀疏神经网络结构。2.根据权利要求1所述的方法，其特征在于，所述对原始神经网络结构中的至少一种卷积核尺寸分别进行核稀疏模式KSP统计，确定至少一组KSP集合，包括：基于第一卷积核尺寸，对所述原始神经网络结构中所述第一卷积核尺寸对应的所有卷积核进行KSP统计，确定至少一种KSP各自的统计次数；根据所述至少一种KSP各自的统计次数，从所述至少一种KSP中选取预设数量种KSP；对所述预设数量种KSP分别进行二值化处理，得到预设数量种KSP掩码矩阵，并将所述预设数量种KSP掩码矩阵组成所述第一卷积核尺寸对应的一组KSP集合；其中，所述预设数量为正整数，所述第一卷积核尺寸为所述至少一种卷积核尺寸的任意一种尺寸；在确定出所述至少一种卷积核尺寸各自对应的一组KSP集合之后，得到所述至少一组KSP集合。3.根据权利要求2所述的方法，其特征在于，在所述对所述原始神经网络结构中所述第一卷积核尺寸对应的所有卷积核进行KSP统计之前，所述方法还包括：利用预设权重阈值对所述第一卷积核尺寸对应的所有卷积核中每一卷积核进行权重过滤处理，确定每一卷积核的KSP；或者，计算预设KSP模板集合中的各个KSP模板分别与所述第一卷积核尺寸对应的所有卷积核中每一卷积核之间的相似性度量值，根据所述相似性度量值确定每一卷积核的KSP。4.根据权利要求2所述的方法，其特征在于，所述根据所述至少一种KSP各自的统计次数，从所述至少一种KSP中选取预设数量种KSP，包括：按照所述至少一种KSP各自的统计次数对所述至少一种KSP进行降序排列，将排序结果中排列在前的预设数量的KSP确定为所述预设数量种KSP。5.根据权利要求2或4所述的方法，其特征在于，所述预设数量为预配置参数；或者，所述预设数量是根据所述原始神经网络结构的资源占用信息进行分析确定的。6.根据权利要求1所述的方法，其特征在于，所述基于所述至少一组KSP集合，确定所述原始神经网络结构的各卷积层中每一卷积核对应的KSP掩码矩阵，包括：基于所述至少一组KSP集合，确定所述原始神经网络结构的第i卷积层中每一卷积核对应的KSP索引值；根据所述KSP索引值，从所述第i卷积层中每一卷积核对应的一组KSP集合中查询得到所述第i卷积层中每一卷积核对应的KSP掩码矩阵；其中，i为大于或等于零且小于N的整数，N表示所述原始神经网络结构中的卷积层数量。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
根据所述原始神经网络结构的第i卷积层中每一卷积核对应的KSP索引值，组成所述原始神经网络结构的第i卷积层对应的掩码索引矩阵，并存储所述掩码索引矩阵。8.根据权利要求6所述的方法，其特征在于，所述基于所述至少一组KSP集合，确定所述原始神经网络结构的第i卷积层中每一卷积核对应的KSP索引值，包括对所述原始神经网络结构的第i卷积层中的每一卷积核执行以下步骤：对所述卷积核进行权重二值化处理，得到所述卷积核的二值化矩阵；将所述卷积核的二值化矩阵与所述一组KSP集合中的每一KSP掩码矩阵进行比较；当所述一组KSP...

【专利技术属性】
技术研发人员：丰祥，
申请(专利权)人：哲库科技上海有限公司，
类型：发明
国别省市：