神经网络模型的量化方法、装置、电子设备和存储介质制造方法及图纸

本公开提供了一种神经网络模型的量化方法、装置、电子设备和存储介质，涉及计算机技术领域，尤其涉及人工智能技术领域。实现方案为：获得神经网络模型中的待量化层，待量化层包括多个通道，多个通道中的每一个通道具有相应权值；针对多个通道中的每一个通道，基于该通道的相应权值，获得该相应权值对应的频域信息中的高频信息；基于多个通道中的每一个通道的相应权值对应的频域信息中的高频信息，获得该通道的更新权值；以及基于多个通道中的每一通道的更新权值，对待量化层进行量化操作。对待量化层进行量化操作。对待量化层进行量化操作。

【技术实现步骤摘要】
神经网络模型的量化方法、装置、电子设备和存储介质


[0001]本公开涉及计算机
，尤其涉及人工智能
，具体涉及一种神经网络模型的量化方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

技术介绍

[0002]人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
[0003]现今深度学习相关的解决方案应用已经越来越多，而其中的神经网络模型在部署阶段又是整个环节重中之重，该环节涉及到两个重要指标，模型运行速度和模型传输带宽，运行速度越快，模型所需传输的带宽越小越能给客户有效提升效率和节约算力，而神经网络的量化是解决此问题的有效方式之一，量化能有效缩小模型的大小以及提升运行速度。
[0004]在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

技术实现思路

[0005]本公开提供了一种神经网络模型的量化方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
[0006]根据本公开的一方面，提供了一种神经网络模型的量化方法，包括：获得所述神经网络模型中的待量化层，所述待量化层包括多个通道，所述多个通道中的每一个通道具有相应权值；针对所述多个通道中的每一个通道，基于该通道的相应权值，获得该相应权值对应的频域信息中的高频信息；基于所述多个通道中的每一个通道的相应权值对应的频域信息中的高频信息，获得该通道的更新权值；以及基于所述多个通道中的每一通道的更新权值，对所述待量化层进行量化操作。
[0007]根据本公开的另一方面，提供了一种神经网络模型的量化装置，包括：第一获取单元，被配置用于获得所述神经网络模型中的待量化层，所述待量化层包括多个通道，所述多个通道中的每一个通道具有相应权值；第二获取单元，被配置用于针对所述多个通道中的每一个通道，基于该通道的相应权值，获得该相应权值对应的频域信息中的高频信息；第三获取单元，被配置用于基于所述多个通道中的每一个通道的相应权值对应的频域信息中的高频信息，获得该通道的更新权值；以及量化单元，被配置用于基于所述多个通道中的每一通道的更新权值，对所述待量化层进行量化操作。
[0008]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中所述存储器存储有可被所述至少一个处理器执
行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据本公开的实施例所述的方法。
[0009]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据本公开的实施例所述的方法。
[0010]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现根据本公开的实施例所述的方法。
[0011]根据本公开的一个或多个实施例，可以提升对神经网络模型的量化的准确性。
[0012]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0013]附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
[0014]图1示出了根据本公开的实施例的可以在其中实施本文描述的各种方法的示例性系统的示意图；
[0015]图2示出了根据本公开的实施例的神经网络模型的量化方法的流程图；
[0016]图3示出了根据本公开的实施例的神经网络模型的量化方法中基于该通道的相应权值，获得该相应权值对应的频域信息中的高频信息的过程的流程图；
[0017]图4示出了根据本公开的实施例的神经网络模型的量化方法中对相应权值对应的频域信息进行滤波操作的过程的流程图；
[0018]图5示出了根据本公开的实施例的神经网络模型的量化方法中基于多个通道中的每一通道的更新权值，对待量化层进行量化操作的过程的流程图；
[0019]图6示出了根据本公开的实施例的神经网络模型的量化方法中基于多个通道中的每一个通道的更新权值，获得待量化层在对应的敏感度的过程的流程图；
[0020]图7示出了根据本公开的实施例的神经网络模型的量化装置的结构框图；以及
[0021]图8示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
[0022]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0023]在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个要素与另一要素区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
[0024]在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该
要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
[0025]下面将结合附图详细描述本公开的实施例。
[0026]图1示出了根据本公开的实施例可以将本文描述的各种方法和装置在其中实施的示例性系统100的示意图。参考图1，该系统100包括一个或多个客户端设备101、102、103、104、105和106、服务器120以及将一个或多个客户端设备耦接到服务器120的一个或多个通信网络110。客户端设备101、102、103、104、105和106可以被配置为执行一个或多个应用程序。
[0027]在本公开的实施例中，服务器120可以运行使得能够执行神经网络模型的量化方法的一个或多个服务或软件应用。
[0028]在某些实施例中，服务器120还可以提供其他服务或软件应用，这些服务或软件应用可以包括非虚拟环境和虚本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络模型的量化方法，包括：获得所述神经网络模型中的待量化层，所述待量化层包括多个通道，所述多个通道中的每一个通道具有相应权值；针对所述多个通道中的每一个通道，基于该通道的相应权值，获得该相应权值对应的频域信息中的高频信息；基于所述多个通道中的每一个通道的相应权值对应的频域信息中的高频信息，获得该通道的更新权值；以及基于所述多个通道中的每一通道的更新权值，对所述待量化层进行量化操作。2.根据权利要求1所述的方法，其中，所述基于该通道的相应权值，获得该相应权值对应的频域信息中的高频信息包括：对所述相应权值进行时频变换，以获得所述相应权值对应的频域信息；以及对所述相应权值对应的频域信息进行滤波操作，以获得所述该相应权值对应的频域信息中的高频信息。3.根据权利要求2所述的方法，其中，所述频域信息包括频谱图，所述频谱图的边缘到中心的谱图对应频域信息中的频率从最低到最高处的信息，所述对所述相应权值对应的频域信息进行滤波操作包括：对所述相应权值对应的频谱图进行移位操作，以获得所述相应权值对应的更新频谱图，其中，在所述权重参数对应的频域信息中频率最低处的信息对应所述更新频谱图的中心；以及去除所述相应权值对应的更新频谱图中的包围所述中心的预设区域，以获得所述相应权值对应的剩余谱图，所述剩余谱图中的谱图对应所述相应权值的频域信息中的高频信息。4.根据权利要求3所述的方法，其中，所述预设区域占据所述更新频谱图的全部区域的1/3到1/2。5.根据权利要求2所述的方法，其中，所述基于所述多个通道中的每一个通道的相应权值对应的频域信息中的高频信息，获得该通道的更新权值包括：基于所述多个通道中的每一个通道的相应权值对应的高频信息，进行反时频变换，以获得该通道的更新权值。6.根据权利要求1所述的方法，其中，所述基于所述多个通道中的每一通道的更新权值，对所述待量化层进行量化操作包括：基于所述多个通道中的每一个通道的更新权值，获得所述待量化层在对应的敏感度；以及将混合精度量化空间的多个量化位宽中获取与所述敏感度相应的量化位宽，确定为所述待量化层的量化位宽。7.根据权利要求6所述的方法，其中，所述基于所述多个通道中的每一个通道的更新权值，获得所述待量化层在对应的敏感度包括：获得所述多个通道中的每一个通道的更新权值的绝对值之和；以及基于所述多个通道对应的多个绝对值之和，获得所述待量化层在对应的敏感度。8.根据权利要求7所述的方法，其中，所述敏感度包括下列各项中的至少一项：
所述多个绝对值之和的平均值；和所述多个绝对值之和中的最大值与最小值之差与所述多个通道的数量之间的比值。9.一种神经网络模型的量化装置，包括：第一获取单元，被配置用于获得所述神经网络模型中的待量化层，所述待量化层包括多个通道，所述多个通道中的每一个通道具有相应权值；第二获取单元，被配置用于针对所述多个通道中的每一个通道，基于该通道的相应权值，获得该相应权值对应的频域信息中的高频信息；第三获取单元，被配置用于基于所述多...

【专利技术属性】
技术研发人员：李朝林，王志鹏，张凡，
申请(专利权)人：昆仑芯北京科技有限公司，
类型：发明
国别省市：