存储方法、装置、系统及介质制造方法及图纸

本发明专利技术的实施例提供了一种存储方法、装置、系统及介质。该方法包括：确定与神经网络中的M个整数权重分别一一对应的M个n位二进制数，其中所述M个n位二进制数表示的取值范围以0为中心，并以特定间隔在数轴上对称分布，n为正整数；将所述神经网络的N个第一响应值映射到所述取值范围内，以获得与所述N个第一响应值分别一一对应的N个第二响应值；确定与所述N个第二响应值分别一一对应的N个n位二进制数，所述N个n位二进制数表示的取值范围以0为中心，并以所述特定间隔在数轴上对称分布；以及存储所述M个n位二进制数和所述N个n位二进制数。上述技术方案在保证神经网络的计算性能的前提下，显著减少神经网络的相关数据的存储空间。

Storage methods, devices, systems and media

An embodiment of the present invention provides a storage method, device, system and medium. The method includes: determining M n-bit binary numbers corresponding to M integer weights in the neural network one-to-one, where the range of values represented by M n-bit binary numbers is 0-centered, symmetrically distributed on the axis of the number at a specific interval, and N is a positive integer; mapping the N first response values of the neural network to the values mentioned above In the range, N second response values corresponding to the N first response values are obtained, N n n-bit binary numbers corresponding to the N second response values are determined, and the range of values represented by the N n-bit binary numbers is 0-centered and symmetrically distributed on the number axis at the specified intervals. Describes M n-bit binary numbers and N n-bit binary numbers. On the premise of guaranteeing the computational performance of the neural network, the above technical scheme can significantly reduce the storage space of the relevant data of the neural network.

【技术实现步骤摘要】
存储方法、装置、系统及介质
本专利技术涉及人工智能
，更具体地涉及一种存储方法、装置、系统及介质。
技术介绍
人工神经网络是一种基于模仿生物神经网络的结构和功能的数学模型，可以对某一类或者一些问题进行函数的模拟和近似。由于大数据的发展，神经网络目前在图像、语音以及自然语言处理等具有海量数据库的方向上有着非常广泛的应用。目前，由于对神经网络的准确度的要求，网络的复杂度在不断地增加并且网络的空间结构也在持续拓展。由此，造成了网络模型的计算数据所需的存储空间不断攀升。这极大地浪费了系统的存储资源。
技术实现思路
考虑到上述问题而提出了本专利技术。本专利技术提供了一种存储方法、装置、系统及介质。根据本专利技术一方面，提供了一种存储方法，包括：确定与神经网络中的M个整数权重分别一一对应的M个n位二进制数，其中所述M个n位二进制数表示的取值范围以0为中心，并以特定间隔在数轴上对称分布，n为正整数；将所述神经网络的N个第一响应值映射到所述取值范围内，以获得与所述N个第一响应值分别一一对应的N个第二响应值；确定与所述N个第二响应值分别一一对应的N个n位二进制数，所述N个n位二进制数表示的取值范围以0为中心，并以所述特定间隔在数轴上对称分布；以及存储所述M个n位二进制数和所述N个n位二进制数。示例性地，所述确定与神经网络中的M个整数权重分别一一对应的M个n位二进制数包括：根据如下公式计算与所述神经网络中的M个整数权重分别一一对应的M个n位二进制数：其中，x表示所述整数权重，K表示所述特定间隔，(anan-1...a1)2表示所述n位二进制数。示例性地，所述将所述神经网络的N个第一响应值映射到所述取值范围内，以获得与所述N个第一响应值分别一一对应的N个第二响应值，包括：根据如下公式将所述神经网络的N个第一响应值映射到所述取值范围内：其中，z表示所述第二响应值，K表示所述特定间隔，y表示所述第一响应值，b和t为预设常数，符号表示向下取整。示例性地，所述存储方法还包括：将所述神经网络的浮点权重进行定点化，以获得所述整数权重，所述浮点权重是用浮点数表示的。示例性地，所述将所述人工神经网络的浮点权重进行定点化，以获得所述整数权重，包括：在所述神经网络的训练过程中，将所述神经网络的浮点权重进行定点化，以获得所述整数权重。示例性地，所述将所述神经网络的浮点权重进行定点化，以获得所述整数权重，包括：根据如下公式将所述神经网络的浮点权重进行定点化，以获得所述整数权重：其中，x表示所述整数权重，K表示所述特定间隔，ri表示所述浮点权重，符号“tanh”表示双曲正切函数，符号“||”表示取绝对值。示例性地，所述存储所述M个n位二进制数包括：将所述M个n位二进制数拼接为一个二进制串；存储所述二进制串。示例性地，所述存储所述N个n位二进制数包括：将所述N个n位二进制数拼接为一个二进制串；存储所述二进制串。根据本专利技术另一方面，还提供了一种存储装置，包括：权重确定模块，用于确定与神经网络中的M个整数权重分别一一对应的M个n位二进制数，其中所述n位二进制数表示的取值范围以0为中心，并以特定间隔在数轴上对称分布，n为正整数；映射模块，用于将所述神经网络的N个第一响应值映射到所述取值范围内，以获得与所述N个第一响应值分别一一对应的N个第二响应值；以及响应值确定模块，用于确定与所述N个第二响应值分别一一对应的N个n位二进制数；以及存储模块，用于存储所述M个n位二进制数和所述N个n位二进制数。根据本专利技术又一方面，还提供了一种存储系统，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行上述存储方法。根据本专利技术再一方面，还提供了一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行上述存储方法。根据本专利技术实施例的存储方法、装置、系统及介质，通过将神经网络的权重和响应值用二进制数表示，其中该二进制数表示的取值范围以0为中心并以特定间隔在数轴上对称分布，能够完全利用位宽。从而，在保证神经网络的计算性能的前提下，显著减少神经网络的相关数据的存储空间。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过结合附图对本专利技术实施例进行更详细的描述，本专利技术的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本专利技术实施例的进一步理解，并且构成说明书的一部分，与本专利技术实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。图1示出了用于实现根据本专利技术实施例的存储方法和装置的示例电子设备的示意性框图；图2示出根据本专利技术一个实施例的存储方法的示意性流程图；图3示出根据本专利技术另一个实施例的存储方法的示意性流程图；图4示出了根据本专利技术一个实施例的存储装置的示意性框图；以及图5示出了根据本专利技术一个实施例的存储系统的示意性框图。具体实施方式为了使得本专利技术的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本专利技术的示例实施例。显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是本专利技术的全部实施例，应理解，本专利技术不受这里描述的示例实施例的限制。基于本专利技术中描述的本专利技术实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本专利技术的保护范围之内。首先，参照图1来描述用于实现根据本专利技术实施例的存储方法和装置的示例电子设备100。如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104。可选地，电子设备100还可以包括输入装置106和输出装置108，这些组件通过总线系统110和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。所述处理器102可以是中央处理单元(CPU)、图形处理器(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本专利技术实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。根据本专利技术的存储方法，可以将神经网络的相关数据存储在所述存储装置104上，例如神经网络的权重和响应值。可以理解，响应值是指利用权重对输入数据进行了计算之后所获得的计算结果。所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。所述输入装置106还可本文档来自技高网...

【技术保护点】
1.一种存储方法，包括：确定与神经网络中的M个整数权重分别一一对应的M个n位二进制数，其中所述M个n位二进制数表示的取值范围以0为中心，并以特定间隔在数轴上对称分布，n为正整数；将所述神经网络的N个第一响应值映射到所述取值范围内，以获得与所述N个第一响应值分别一一对应的N个第二响应值；确定与所述N个第二响应值分别一一对应的N个n位二进制数，所述N个n位二进制数表示的取值范围以0为中心，并以所述特定间隔在数轴上对称分布；以及存储所述M个n位二进制数和所述N个n位二进制数。

【技术特征摘要】
1.一种存储方法，包括：确定与神经网络中的M个整数权重分别一一对应的M个n位二进制数，其中所述M个n位二进制数表示的取值范围以0为中心，并以特定间隔在数轴上对称分布，n为正整数；将所述神经网络的N个第一响应值映射到所述取值范围内，以获得与所述N个第一响应值分别一一对应的N个第二响应值；确定与所述N个第二响应值分别一一对应的N个n位二进制数，所述N个n位二进制数表示的取值范围以0为中心，并以所述特定间隔在数轴上对称分布；以及存储所述M个n位二进制数和所述N个n位二进制数。2.如权利要求1所述的存储方法，其中，所述确定与神经网络中的M个整数权重分别一一对应的M个n位二进制数包括：根据如下公式计算与所述神经网络中的M个整数权重分别一一对应的M个n位二进制数：其中，x表示所述整数权重，K表示所述特定间隔，(anan-1...a1)2表示所述n位二进制数。3.如权利要求1所述的存储方法，其中，所述将所述神经网络的N个第一响应值映射到所述取值范围内，以获得与所述N个第一响应值分别一一对应的N个第二响应值，包括：根据如下公式将所述神经网络的N个第一响应值映射到所述取值范围内：其中，z表示所述第二响应值，K表示所述特定间隔，y表示所述第一响应值，b和t为预设常数，符号表示向下取整。4.如权利要求1至3任一项所述的存储方法，其中，所述存储方法还包括：将所述神经网络的浮点权重进行定点化，以获得所述整数权重，所述浮点权重是用浮点数表示的。5.如权利要求4所述的存储方法，其中，所述将所述人工神经网络的浮点权重进行定点化，以获得所述整数权重，包括：在所述神经网络的训练过程中，将所...

【专利技术属性】
技术研发人员：周舒畅，郭嘉丞，
申请(专利权)人：北京旷视科技有限公司，
类型：发明
国别省市：北京,11