基于N元组或随机存取存储器的神经网络分类系统和方法技术方案

本发明专利技术涉及基于Ｎ元组或随机存取存储器的神经网络分类方法和系统，更特别地说，涉及这样一种基于Ｎ元组或随机存取存储器的分类系统，在该系统中用来获得输出得分并比较这些输出得分以获得分类的判决标准在训练过程中确定。因此，本发明专利技术涉及训练一种计算机分类系统的系统和方法，其中的计算机系统可以由包括多个这样的Ｎ元组或查找表（ＬＵＴｓ）的网络定义，即每个Ｎ元组或ＬＵＴ包括对应于可能的类别的至少一个子集的行数，并且包括由抽样的训练输入数据样本的信号或元素编址的列。（*该技术在2019年保护过期，可自由使用*）

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
1、专利
总的来说，本专利技术涉及基于N元组或随机存取存储器的神经网络分类系统，更特别地，涉及这样一种基于N元组或随机存取存储器的分类系统，在该系统中用来获得输出得分并比较这些输出得分(output score)以获得分类的判决标准在训练过程中确定。2、现有技术描述分类用电信号或二进制码，更精确地说，用施加到神经网络分类系统的输入中的信号向量表示的对象或模式(pattern)的已知方式，处于所谓的学习或训练阶段的实施中。这个阶段一般包括通过使用一个或多个被称作学习或训练集的信号集，尽可能有效地完成实现设想的分类功能的分类网络的配置，其中，要将分类进去类别之一中的这些信号的每一个的从属关系是已知的。这种方法被称为监督学习(supervised learning)或有教师学习(1ear-ning with a teacher)。使用监督学习的分类网络的一种子类是使用基于存储器学习的网络。这里，最老的基于存储器的网络之一是由Bledsoe和Browning提出的“N元组网络”(Bledsoe,W.W.和Browning,I.,1959,“Pattern recognition andreading by machine”,Proceeding of the Eastern Joint ComputerConference,pp.225-232)，较新的描述由Morciniec和Rohwer给出(Morciniec,M.和Rohwer,R.,1996,“A theoretical and experimentalaccount of n-tuple classifier performance”,Neural Comp.,pp.629-642)。这种基于存储器的系统的优势之一是在学习阶段和分类阶段中计算时间都很快。对于也被称作“随机存取存储器网络”或“无权值神经网络”的n元组网络的已知类型来说，学习可以通过在随机存取存储器(RAM)中纪录模式的特征来实现，对该系统来说，只需要训练集的一表示。关于基于传统的RAM的神经网络的训练过程是由Jφrgensen(本专利技术的合作者)等人，投在最近的一本关于基于RAM的神经网络的书里的论文中描述的(T.M.Jφrgensen,S.S.Chri stensen，和C.Liisberg,“Cross-validation and information measures for RAM based neuralnetworks”,RAM-based neural networks,J.Austin,ed.,World ScientificLondon pp.78-88,1998)。该论文描述了基于RAM的神经网络如何看成包括多个查找表(LUTs,Look Up Tables)。每一个LUT(Look Up Table)可以探查(probe)二进制输入向量的一个子集。在传统方案中，要使用的多个比特是随机选择的。该抽样的比特序列被用于构造地址。这种地址与LUT中的指定项(列)对应。LUT中的行号与可能的类号对应。对于每一个类，输出能够取成0或者1。值1对应于对于那个指定类的一票。当执行分类时，抽样输入向量，添加从所有LUTs来的输出向量，随后冠军取得所有为分类输入向量而作出的判决。为了执行对网络的简单训练，输出值可以在最初设置成0。然后，对于训练集中的每一个样本应该执行以下步骤将输入向量和目标类送到网络；对所有的LUT，计算它们对应的列的项数；以及在所有的“活动”列中，设置目标类的输出值为1。通过使用这样的训练策略，可以保证每一训练模式总是获得关于真类的最多票数。因此，这样的网络不会在训练集上作出任何错误分类，但可能发生含糊不清的判决。这里，该网络的推广(generalisation)能力与每个LUT的输入比特数直接关联。如果LUT抽样所有的输入比特，那么它就象纯粹的存储器设备一样起作用，而不会提供任何推广能力。当输入的比特数减少时，推广能力以增加含糊不清的判决数为代价增加。此外，LUT的分类和推广性能高度依赖于探查到的输入比特的实际子集。因此，“智能”训练过程的目的将是选择输入数据的最适当的子集。Jφrgensen等人进一步描述了什么是“留一交叉确认测试”(leave-one-out cross-validation test)，这种测试提出了一种用来选择最优输入连接数来使用每个LUT的方法，以便用较短的总体计算时间获得较低的分类错误率。为了执行这样的交叉确认测试，需要获得具有与编址的列和类别对立应的、已经访问或编址的单元或者元素的训练样本的实际数的知识。因此建议将这些数字存储在LUTs中。Jφrgensen等人还提出了如何能够以一种更优化的方法，通过连续不断地训练LUTs的新集，并在每个LUT上执行交叉确认测试，来选择网络中的LUTs。因此，有种RAM网络是众所周知的，在该网络中LUTs是通过给系统送几次训练集选出。来自RAM网络的输出向量包含多个输出得分，每个可能的类别一个。如上所述，通常通过将样本分类进具有最多输出得分的类别来判决。这种简单的冠军取得所有(winner-takes-all,WTA)的方案保证了训练样本的真类不会输给其它类别之一。RAM网的分类方案的一个问题是当在训练类别之间的样本分布高度非对称的训练集上训练时无所作为。因此，需要了解训练材料的成分对RAM分类系统的行为的影响，还要大概了解该体系结构的指定参数对该性能的影响。根据这些了解，可以修改该分类方案以提高其性能以及与其它方案的竞争力。本专利技术提供基于RAM的分类系统的这种改进。根据本专利技术的第一方面，提供一种用于训练计算机分类系统的方法，所述系统能够由包含多个n元组或查找表(Look Up Table,LUTs)的网络定义，每个n元组或LUT包括多个与可能类的至少一个子集对应的行，此外还包括多个抽样的训练输入样本的信号或元素编址的列，每列由具有值的单元的向量定义，所述方法包括基于一个或多个、关于不同类的输入数据样本的训练集，确定列向量单元的值，以使得至少部分这样的单元包括或指向基于相应的单元地址被从一个或多个训练输入样本中抽样次数的信息。该方法还包括为每一类别确定一个或多个用于至少一个输出得分值的评估的输出得分函数，和/或确定与获得的输出得分值的至少一部分组合起来使用以确定一个获胜类(winning class)的一个或多个判决准则。该输出得分值最好基于被确定的列向量单元值的至少一部分的信息评估和确定。根据本专利技术，该输出得分函数和/或该判决准则最好基于被确定的列向量单元值的至少一部分的信息确定。最好从一族由一组参数值确定的输出得分函数确定该输出得分函数。因此，该输出得分函数可以由该组参数值确定，也可以由被确定的列向量单元值的至少一部分的信息确定，还可以由该组参数值和被确定的列向量单元值的至少一部分的信息两者确定。应该了解的是本专利技术的训练过程可以被看作一种两步训练过程。第一步可以包括确定列向量单元值，而第二步可以包括确定输出得分函数和/或该判决准则。如上所述，虽然基于已知类别的输入数据样本的一个或多个训练集确定列向量单元值，但可以基于已知类别的输入数据样本的确认集确定输出得分函数和/或该本文档来自技高网...

【技术保护点】
一种训练计算机分类系统的方法，所述系统能够由包括多个ｎ元组或查找表（ＬＵＴｓ）的网络定义，每个ｎ元组或ＬＵＴ包括多个与可能的类别的至少一个子集对应的行，此外还包括多个被抽样的训练输入样本的信号或元素编址的列，每列由具有值的单元的向量定义，所述方法包括基于一个或多个关于不同类别的输入数据样本的训练集，确定列向量单元的值，以使得至少部分这种单元包括或指向基于相应的单元地址被从一个或多个训练输入样本中抽样的次数信息；以及为每一类别确定一个或多个用于至少一个输出得分值的评估的 输出得分函数，和／或确定与获得的输出得分值的至少一部分组合起来使用以确定一个冠军类的一个或多个判决准则；基于被确定的列向量单元值的至少一部分的信息确定所述输出得分函数和／或判决准则。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：克里斯琴林内伯格，托马斯M乔根森，
申请(专利权)人：英泰利克斯公司，
类型：发明
国别省市：DK[丹麦]