【技术实现步骤摘要】
【国外来华专利技术】
本申请中描述的一些实施例涉及位量规(bit gauge)，更具体地但不排他地，涉及对数字进行预处理以用作二值神经网络的输入。
技术介绍
1、通常，在机器学习中，输入数据通常来自现实生活应用程序，并用有符号数或无符号数、实数、有理数或整数表示。例如，数字图像是实数像素或整数像素的阵列。标准的深度神经网络(deep neural network，dnn)可以直接接收该实数输入数据，因为它可以原生设计为实数参数和实数算术，或者整数图像格式的整数算术。但是，实数dnn可能具有高内存要求，因此引起了开发二值dnn的兴趣，该二值dnn可以使用二进制权重和数据来减少内存消耗。因此，需要将实数数据转换为二进制格式，以供二值dnn高效处理。
2、将实数数据转换为二进制格式是一种基本操作，已广为人知并在各种计算机系统和应用程序中广泛采用。一种称为量化的示例性方法将每个实数数据转换为固定长度的位序列。这种方法是鲁棒的，但在结果与原始数据之间会产生量化误差。
3、但是，机器学习具有超出现有方法的特定要求。例如，深度学习应用可以从包括动物、汽车、飞机、树等等的大数据集中识别输入图像是否包含动物、汽车、飞机或树。将此数据集从实数格式转换为二进制格式可能需要属于同一类别的所有图像在某种度量上保持在同一类别中。
4、在这方面，量化方法可能无法满足这一要求，因为它可能无法在转换过程期间考虑到数据点之间的这种邻近关系。这种邻近性或者属于数据类别的这种特性可以称为数据聚类结构。在机器学习中，固有的数据聚类结构可以在学习过程中发挥重
5、一些基于二值神经网络(binary neural network，bnn)的现有技术推理模型使用全精度网络进行训练，因此它们直接使用现实生活输入数据进行训练。此外，现有技术的bnn通常包括至少一个全精度层作为第一隐藏层，因此直接使用实数输入数据。它可以看作是第一全精度隐藏层，隐式地用于实数数据到二进制数据的转换。但是，这种方法的一个主要缺点是它显然需要在bnn上增加至少一个额外的全精度层，从而增加了复杂性和内存。
6、定点量化是硬件设计和实现的已知部分。它将数据转换为任何给定位宽的二进制数据。但是，它并没有考虑保留固有的数据邻近性。
7、在二进制码设计中，格雷码(gray code)将给定的数据编码为固定长度的二进制码，使得两个任何相邻输入数据点的结果码只有1个不同的位。这表示它在汉明距离(hamming distance)方面保留了邻近性。但是，格雷码具有循环特性，使得两个极值的对应码也仅相差1位。这可能是一个关键问题，因为它将两个分隔良好的类合并为一个。
8、另一种已知的技术是二进制哈希。二进制哈希可以将每个数据对象转换为最小长度的二进制码，同时保留固有的数据聚类结构。需要说明的是，二进制哈希可以将一个数据对象(如整个图像)转换为单个二进制码。这可能与其它方法不同，例如将每个数据元素(例如图像的像素)单独转换为二进制数据的量化。因此，二进制哈希可能需要相当大的工作量，并且最近的方法可能使用全精度cnn来构建图像的二进制哈希码。因此，它在计算上可能被禁止用于二进制转换。
技术实现思路
1、本申请的一个目的是描述一种用于使用二值网络从数据记录推理的系统和方法。
2、上述和其它目的通过独立权利要求的特征实现。其它实现方式在从属权利要求、说明书和附图中是显而易见的。
3、根据本申请的一些实施例，提供了一种系统，所述系统包括：
4、至少一个处理器；
5、至少一个存储器，包括程序代码，所述程序代码在由所述至少一个处理器执行时提供操作，所述操作包括：
6、接收多个数字；
7、通过对所述多个数字应用多个阈值来生成多个二进制位；
8、通过将所述多个二进制位馈送到推理模型中来生成推理。
9、根据本申请的一些实施例，提供了一种计算机实现的方法，所述方法包括：
10、接收多个数字；
11、通过对所述多个数字应用多个阈值来生成多个二进制位；
12、通过将所述多个二进制位馈送到推理模型中来生成推理。
13、可选地，所述多个阈值通过以下操作应用：将所述多个数字中的每个数字与所述多个阈值中的每个阈值进行比较，当所述多个数字中的一个数字满足所述多个阈值中的一个阈值时，将第一二进制值分配给所述多个二进制位中的关联二进制位，而当所述数字不满足所述阈值时，将第二二进制值分配给所述关联二进制位。
14、可选地，所述多个阈值是根据表征所述多个数字中的至少一个数字的频率分布确定的。
15、可选地，所述多个阈值根据欧氏距离度量在一段中基本上等距间隔。
16、可选地，所述推理模型是二值神经网络。
17、在研究下文附图和详细描述之后，本申请的其它系统、方法、特征和优点对于本领域技术人员来说是或变得显而易见的。希望所有这些其它系统、方法、特征和优点包括在本说明书中，在本申请的范围内，并且受所附权利要求的保护。
18、除非另有定义，否则本文所用的所有技术和/或科学术语都具有与实施例所属领域内的普通技术人员公知的含义相同的含义。虽然与本文描述的方法和材料类似或等效的方法和材料可以用于实施例的实践或测试，但下文描述了示例性方法和/或材料。如有冲突，以本专利说明书(包括定义)为准。此外，这些材料、方法和示例仅是说明性的，并不一定具有限制性。
本文档来自技高网...【技术保护点】
1.一种系统，其特征在于，所述系统包括：
2.根据权利要求1所述的系统，其特征在于，所述多个阈值通过以下操作应用：将所述多个数字中的每个数字与所述多个阈值中的每个阈值进行比较，当所述多个数字中的一个数字满足所述多个阈值中的一个阈值时，将第一二进制值分配给所述多个二进制位中的关联二进制位，而当所述数字不满足所述阈值时，将第二二进制值分配给所述关联二进制位。
3.根据权利要求1所述的系统，其特征在于，所述多个阈值是根据表征所述多个数字中的至少一个数字的频率分布确定的。
4.根据权利要求1所述的系统，其特征在于，所述多个阈值根据欧氏距离度量在一段中基本上等距间隔。
5.根据权利要求1所述的系统，其特征在于，所述推理模型是二值神经网络。
6.一种方法，其特征在于，所述方法包括：
7.根据权利要求6所述的方法，其特征在于，所述多个阈值通过以下操作应用：将所述多个数字中的每个数字与所述多个阈值中的每个阈值进行比较，当所述多个数字中的一个数字满足所述多个阈值中的一个阈值时，将第一二进制值分配给所述多个二进制位中的关联二进制
8.根据权利要求6所述的方法，其特征在于，所述多个阈值是根据表征所述多个数字中的至少一个数字的频率分布确定的。
9.根据权利要求6所述的方法，其特征在于，所述多个阈值根据欧氏距离度量在一段中基本上等距间隔。
10.根据权利要求6所述的方法，其特征在于，所述推理模型是二值神经网络。
11.一种包括指令的计算机程序产品，其特征在于，计算系统的一个或多个处理器执行所述指令会使计算系统进行以下操作：
...【技术特征摘要】
【国外来华专利技术】
1.一种系统，其特征在于，所述系统包括：
2.根据权利要求1所述的系统，其特征在于，所述多个阈值通过以下操作应用：将所述多个数字中的每个数字与所述多个阈值中的每个阈值进行比较，当所述多个数字中的一个数字满足所述多个阈值中的一个阈值时，将第一二进制值分配给所述多个二进制位中的关联二进制位，而当所述数字不满足所述阈值时，将第二二进制值分配给所述关联二进制位。
3.根据权利要求1所述的系统，其特征在于，所述多个阈值是根据表征所述多个数字中的至少一个数字的频率分布确定的。
4.根据权利要求1所述的系统，其特征在于，所述多个阈值根据欧氏距离度量在一段中基本上等距间隔。
5.根据权利要求1所述的系统，其特征在于，所述推理模型是二值神经网络。
6.一种方法，其特征在于，所述方法包括：
7....
【专利技术属性】
技术研发人员：阮万明，瓦伦丁·阿巴迪，简克洛德·贝尔菲奥里，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。