多层神经网络的生成方法、装置、应用方法及存储介质制造方法及图纸

本发明专利技术公开一种多层神经网络的生成方法、装置、应用方法及存储介质。所述生成方法包括：获取步骤，获取多层神经网络，其中，所述多层神经网络至少包括卷积层和量化层；生成步骤，针对所述多层神经网络中的各量化层，基于该量化层中的量化比特参数和可学习的量化区间参数，生成量化阈值参数；以及更新步骤，基于所生成的量化阈值参数和所述多层神经网络中各层的运算参数，对所述多层神经网络进行更新以获得定点神经网络。根据本公开，可改善多层神经网络的整体性能及降低多层神经网络的整体计算成本。成本。成本。

【技术实现步骤摘要】
多层神经网络的生成方法、装置、应用方法及存储介质


[0001]本专利技术涉及一种针对多层神经网络的建模领域，尤其涉及一种用于节省处理器资源的多层神经网络的生成方法、生成装置、应用方法及存储介质。

技术介绍

[0002]在人工智能(AI)领域，基于深度学习(Deep Learning)的网络架构是当前使用最广泛的架构之一。基于深度学习的网络架构实际上是一种多层神经网络结构，例如，卷积神经网络(Convolutional neural network，CNN)是目前最常用的一种多层神经网络。在计算机视觉、计算机听觉和自然语言处理的
中，卷积神经网络已经得到了广泛使用。但是，在目前所具有的多层神经网络中，其运行会产生大量的内存开销，占用大量的处理器资源。虽然在基于GPU的工作站或服务器上运行多层神经网络时能够取得较好的数据处理效果，但减少网络运行时占用的处理器资源仍然是提高网络性能的目标之一。从而，对于处理器资源有限的嵌入式设备(如智能手机、平板电脑等)，多层神经网络几乎无法在嵌入式设备上运行。为了在嵌入式设备中应用多层神经网络、使得嵌入式设备本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多层神经网络的生成方法，其特征在于，所述生成方法包括：获取步骤，获取多层神经网络，其中，所述多层神经网络至少包括卷积层和量化层；生成步骤，针对所述多层神经网络中的各量化层，基于该量化层中的量化比特参数和可学习的量化区间参数，生成量化阈值参数；以及更新步骤，基于所生成的量化阈值参数和所述多层神经网络中各层的运算参数，对所述多层神经网络进行更新以获得定点神经网络。2.根据权利要求1所述的生成方法，其中，所述生成步骤包括：基于所述量化比特参数和所述可学习的量化区间参数，确定量化步长；基于所述可学习的量化区间参数和所确定的量化步长，确定量化中心；以及基于所确定的量化中心，确定所述量化阈值参数；其中，所述量化比特参数基于量化特征图所需的比特数确定。3.根据权利要求2所述的生成方法，其中，所述量化步长为所述可学习的量化区间参数所表示的长度与所述量化比特参数所表示的不同输出状态个数之间的商。4.根据权利要求2所述的生成方法，其中，所述量化中心为各个子区间的端点值，其中所述子区间通过基于所述量化步长将所述可学习的量化区间参数所表示的区间进行分割得到。5.根据权利要求2所述的生成方法，其中，所述量化阈值参数由相邻的两个量化中心的值的平均值构成，或由第一个量化中心的值及剩余的量化中心中相邻的两个量化中心的值的平均值构成。6.根据权利要求1所述的生成方法，其中，所述更新步骤包括：子结构划分步骤，从所述多层神经网络中划分出至少一个子结构，其中，划分出的子结构的尾层为量化层；数据传递步骤，针对划分出的各个子结构，将除量化层以外的其它层的运算参数传递到量化层中，并基于传递的运算参数更新量化层中的所述所生成的量化阈值参数；以及定点化步骤，对所述多层神经网络中的每层执行定点化处理，从而将浮点运算参数转换为定点参数。7.根据权利要求6所述的生成方法，其中，划分出的子结构中包括卷积层。8.根据权利要求6所述的生成方法，其中，在划分出的子结构中包括卷积层的情况下，在所述数据传递步骤中，基于传递到量化层的归一化系数来更新量化层中的所述所生成的量化阈值参数；和/或基于从卷积层传递到量化层的尺度系数来更新量化层中的所述所生成的量化阈值参数。9.根据权利要求6所述的生成方法，其中，更新后的量化阈值参数通过基础系数、归一化系数和所述所生成的量化阈值参数之间针对基础...

【专利技术属性】
技术研发人员：陶玮，陈则玮，温东超，刘俊杰，汪德宇，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：