基于距离的深度学习制造技术

用于神经网络的方法包括同时计算输出特征向量与多个有限特征向量中的每一个之间的距离向量，所述输出特征向量描述未分类项，每个有限特征向量描述分类项集合中的一个分类项。该方法包括同时计算针对每个距离向量的相似性分数并创建多个计算的相似性分数的相似性分数向量。用于神经网络的系统包括关联存储器阵列、输入编排器、隐藏层计算机和输出处理器。输入编排器操纵描述存储在存储器阵列中的未分类项的信息。隐藏层计算机计算隐藏层向量。输出处理器计算输出特征向量并同时计算输出特征向量与多个有限特征向量中的每一个之间的距离向量，并同时计算针对每个距离向量的相似性分数。

Distance-based in-depth learning

【技术实现步骤摘要】
基于距离的深度学习
本专利技术一般涉及关联存储器设备，尤其涉及关联存储器设备中的深度学习。
技术介绍
神经网络是通过考虑示例来学习完成任务的计算系统，通常没有任务特定的编程。典型的神经网络是按层组织的节点的互连组；每个层可以对其输入执行不同的转换。神经网络可以在数学上表示为向量，表示层中节点的激活，以及矩阵，表示相邻层的节点之间的互连的权重。网络功能是对向量和矩阵以及在向量和矩阵之间执行的一系列数学运算，以及对存储在向量和矩阵中的值执行的非线性运算。在整个本申请中，矩阵由粗体的大写字母表示，例如，A，以小写粗体的向量，例如，a，以及由斜体字体表示的向量和矩阵的条目，例如A和a。因此，矩阵A的i、j项由Aij表示，矩阵A的行i表示为Ai-，矩阵A的列j表示为A-j，而向量a的条目i由ai表示。递归神经网络(RNN)是当当前计算的输出取决于先前计算的值时对值序列的操作有用的特殊类型的神经网络。LSTM(长短期记忆)和GRU(门控循环单元)是RNN的示例。网络的输出特征向量(循环和非循环)是存储m个数值的向量h。在语言建模中，h可以是输出嵌入向量(表示词汇中的单词或短语的数字的向量(实数、本文档来自技高网...

【技术保护点】
1.一种用于神经网络的方法，所述方法包括：同时计算所述神经网络的输出特征向量与多个有限特征向量中的每一个之间的距离向量，其中，所述输出特征向量描述未分类项，并且所述多个有限特征向量中的每一个描述分类项的集合中的一个分类项；同时计算针对每个距离向量的相似度分数；以及创建多个计算的相似性分数的相似性分数向量。

【技术特征摘要】
2018.02.26 US 15/904,4861.一种用于神经网络的方法，所述方法包括：同时计算所述神经网络的输出特征向量与多个有限特征向量中的每一个之间的距离向量，其中，所述输出特征向量描述未分类项，并且所述多个有限特征向量中的每一个描述分类项的集合中的一个分类项；同时计算针对每个距离向量的相似度分数；以及创建多个计算的相似性分数的相似性分数向量。2.如权利要求1所述的方法，还包括通过同时将所述神经网络的输入向量乘以输入嵌入矩阵的多个列来减小所述输入向量的大小。3.如权利要求1所述的方法，还包括同时激活所述相似性分数向量的所有元素上的非线性函数，以提供概率分布向量。4.如权利要求3所述的方法，其中，所述非线性函数是SoftMax函数。5.如权利要求3所述的方法，还包括找到所述概率分布向量中的极值以找到与所述未分类项最相似的分类项，其计算复杂度为O(1)。6.如权利要求1所述的方法，还包括激活所述相似性分数向量上的K-最近邻(KNN)函数，以提供与所述未分类项最相似的k个分类项。7.一种用于神经网络的系统，所述系统包括：由行和列组成的关联存储器阵列；输入编排器，其用于存储关于所述关联存储器阵列中的未分类项的信息，以操纵所述信息并且创建对所述神经网络的输入；隐藏层计算机，其用于接收所述输入并且用于在所述神经网络中运行所述输入以计算隐藏层向量；以及输出处理器，其用于将所述隐藏层向量变换为输出特征向量，以在所述关联存储器阵列内同时计算所述输出特征向量与多个有限特征向量中的每一个之间的距离向量，每个有限特征向量描述一个分类项，并且用于在所述关联存储器阵列内同时计算针对每个距离向量的相似性分数。8.如权利要求7所述的系统，并且还包括所述输入编排器，其用于减小所述信息的尺寸。9.如权利要求7所述的系统，其中，所述输出处理器还包括线性模块和非线性模块。10.如权利要求...

【专利技术属性】
技术研发人员：E·埃雷兹，
申请(专利权)人：GSI科技公司，
类型：发明
国别省市：美国,US