无监督的神经重放、学习完善、关联以及记忆转移的方法和装置：神经组件重放制造方法及图纸

本公开的某些方面支持无监督的神经重放、学习完善、关联以及记忆转移的技术。

【技术实现步骤摘要】
【国外来华专利技术】无监督的神经重放、学习完善、关联以及记忆转移的方法和装置：神经组件重放相关申请的交叉引用本专利申请的主题内容与2011年11月9日提交的题为“METHODSANDAPPARATUSFORUNSUPERVISEDNEURALREPLAY,LEARNINGREFINEMENT,ASSOCIATIONANDMEMORYTRANSFER:NEURALCOMPONENGMEMORYTRANSFER(无监督的神经重放、学习完善、关联以及记忆转移的方法和装置：神经组件记忆转移)”的美国专利申请、2011年11月9日提交的题为“METHODSANDAPPARATUSFORUNSUPERVISEDNEURALREPLAY,LEARNINGREFINEMENT,ASSOCIATIONANDMEMORYTRANSFER:NEURALASSOCIATIVELEARNING,PATTERNCOMPLETION,SEPARATION,GENERALIZATIONANDHIERARCHICALREPLAY(无监督的神经重放、学习完善、关联以及记忆转移的方法和装置：神经关联学习、模式补全、划分、概括以及阶层式重放)”的美国专利申请、以及2011年11月9日提交的题为“METHODSANDAPPARATUSFORUNSUPERVISEDNEURALREPLAY,LEARNINGREFINEMENT,ASSOCIATIONANDMEMORYTRANSFER:STRUCTURALPLASTICITYANDSTRUCTURALCONSTRAINTMODELING(无监督的神经重放、学习完善、关联以及记忆转移的方法和装置：结构可塑性和结构约束建模)”的美国专利申请有关，上述申请与本申请一同提交申请并已转让给本申请受让人、且藉此通过引用明确合并于此。背景
本公开的某些方面一般地涉及神经系统工程设计，并且更具体地，涉及无监督的神经重放、学习完善、关联以及记忆转移的方法和装置。背景在神经系统工程设计领域，有一项基本问题，即在没有原始刺激的情况下，真实重放已由一个或多个神经元学习到的神经激发模式。此外，在原始的刺激不再存在之后进行快速学习、学习完善、关联、以及记忆转移的问题仍然有待解决。以生物学启发的神经元模型来学习模式的当前方法在功能上是单向的方法：为了确定神经元匹配什么模式，需要尝试不同的模式直到找到匹配的那个。真实重放什么已被学习(无论是生物学地还是通过机器来学习)的方法是未知的。概述本公开的某些方面提供一种神经组件重放的方法。该方法一般包括用一个或多个参照神经元来参照多个传入神经元输出中的模式，用一个或多个关系方面神经元来匹配所述多个传入神经元输出中的模式与所述一个或多个参照神经元的输出之间的一个或多个关系方面，以及诱导所述多个传入神经元中的一个或多个传入神经元输出与所述一个或多个参照神经元所参照的模式基本相似的模式。本公开的某些方面提供了一种用于神经组件重放的装置。该装置一般包括配置成用一个或多个参照神经元来参照多个传入神经元输出中的模式的第一电路，配置成用一个或多个关系方面神经元来匹配所述多个传入神经元输出中的模式与所述一个或多个参照神经元的输出之间的一个或多个关系方面的第二电路，以及配置成诱导所述多个传入神经元中的一个或多个传入神经元输出与所述一个或多个参照神经元所参照的模式基本相似的模式的第三电路。本公开的某些方面提供了一种用于神经组件重放的设备。该设备一般包括用于用一个或多个参照神经元来参照多个传入神经元输出中的模式的装置，用于用一个或多个关系方面神经元来匹配所述多个传入神经元输出中的模式与所述一个或多个参照神经元的输出之间的一个或多个关系方面的装置，以及用于诱导所述多个传入神经元中的一个或多个传入神经元输出与所述一个或多个参照神经元所参照的模式基本相似的模式的装置。本公开的某些方面提供一种用于神经组件重放的计算机程序产品。该计算机程序产品一般包括计算机可读介质，所述计算机可读介质包括用于执行以下动作的代码：用一个或多个参照神经元来参照多个传入神经元输出中的模式，用一个或多个关系方面神经元来匹配所述多个传入神经元输出中的模式与所述一个或多个参照神经元的输出之间的一个或多个关系方面，以及诱导所述多个传入神经元中的一个或多个传入神经元输出与所述一个或多个参照神经元所参照的模式基本相似的模式。本公开的某些方面提供一种神经组件学习完善以及快速学习的方法。该方法一般包括用一个或多个模式学习神经元来参照多个传入神经元输出中的模式，用一个或多个关系方面神经元来匹配所述多个传入神经元输出中的模式与一个或多个参照神经元的输出之间的一个或多个关系方面，诱导所述多个传入神经元中的一个或多个传入神经元输出与所述一个或多个参照神经元所参照的模式基本相似的模式，以及使用被诱导的基本相似的模式来完善所述一个或多个模式学习神经元的学习。本公开的某些方面提供一种神经组件学习完善以及快速学习的装置。该装置一般包括配置成用一个或多个模式学习神经元来参照多个传入神经元输出中的模式的第一电路，配置成用一个或多个关系方面神经元来匹配所述多个传入神经元输出中的模式与一个或多个参照神经元的输出之间的一个或多个关系方面的第二电路，配置成诱导所述多个传入神经元中的一个或多个传入神经元输出与所述一个或多个参照神经元所参照的模式基本相似的模式的第三电路，以及配置成使用被诱导的基本相似的模式来完善所述一个或多个模式学习神经元的学习的第四电路。本公开的某些方面提供一种神经组件学习完善以及快速学习的设备。该设备一般包括用于用一个或多个模式学习神经元来参照多个传入神经元输出中的模式的装置，用于用一个或多个关系方面神经元来匹配所述多个传入神经元输出中的模式与一个或多个参照神经元的输出之间的一个或多个关系方面的装置，用于诱导所述多个传入神经元中的一个或多个传入神经元输出与所述一个或多个参照神经元所参照的模式基本相似的模式的装置，以及用于使用被诱导的基本相似的模式来完善所述一个或多个模式学习神经元的学习的装置。本公开的某些方面提供一种神经组件学习完善以及快速学习的计算机程序产品。该计算机程序产品一般包括计算机可读介质，所述计算机可读介质包括用于执行以下动作的代码：用一个或多个模式学习神经元来参照多个传入神经元输出中的模式，用一个或多个关系方面神经元来匹配所述多个传入神经元输出中的模式与一个或多个参照神经元的输出之间的一个或多个关系方面，诱导所述多个传入神经元中的一个或多个传入神经元输出与所述一个或多个参照神经元所参照的模式基本相似的模式，以及使用被诱导的基本相似的模式来完善所述一个或多个模式学习神经元的学习。本公开的某些方面提供一种神经学习完善的方法。该方法一般包括在刺激之下，学习一组输入中的模式的子集，学习所述模式的元素和所述模式的子集之间的关系方面，在没有刺激的情况下，使用已学习到的关系方面来重放所述一组输入中的所述模式，以及在没有刺激的情况下，完善对所述一组输入中的所述模式的学习。本公开的某些方面提供了一种用于神经学习完善的装置。该装置一般包括配置成在刺激之下，学习一组输入中的模式的子集的第一电路，配置成学习所述模式的元素和所述模式的子集之间的关系方面的第二电路，配置成在没本文档来自技高网...

【技术保护点】
一种神经组件重放的方法，包括：用一个或多个参照神经元来参照多个传入神经元输出中的模式；用一个或多个关系方面神经元来匹配所述多个传入神经元输出中的该模式与所述一个或多个参照神经元的输出之间的一个或多个关系方面；以及诱导所述多个传入神经元中的一个或多个传入神经元输出与所述一个或多个参照神经元所参照的模式基本相似的模式。

【技术特征摘要】
【国外来华专利技术】2011.11.09 US 13/292,1671.一种神经组件重放的方法，包括：用一个或多个参照神经元来参照多个传入神经元输出中的模式；用一个或多个关系方面神经元来匹配所述多个传入神经元输出中的该模式与所述一个或多个参照神经元的输出之间的一个或多个关系方面；以及诱导所述多个传入神经元中的一个或多个传入神经元输出与所述一个或多个参照神经元所参照的模式相同的模式。2.如权利要求1所述的方法，其特征在于，所述一个或多个关系方面中的每一个关系方面包括所述模式中同所述多个传入神经元中的一个传入神经元有关的元素与所述一个或多个参照神经元的输出之间的关系，其中所述关系方面学习神经元之一与所述多个传入神经元中的所述一个传入神经元相配对。3.如权利要求1所述的方法，其特征在于，还包括：使用尖峰定时依赖可塑性、结构可塑性、内稳态、或结构约束建模中的至少一者以无监督的方式来学习所述一个或多个关系方面；使用尖峰定时依赖可塑性、结构可塑性、内稳态、或结构约束建模中的至少一者以无监督的方式学习被参照的模式；以及使用尖峰定时依赖可塑性、结构可塑性、内稳态、或结构约束建模中的至少一者以无监督的方式学习被诱导的相同的模式。4.如权利要求1所述的方法，其特征在于：所述匹配一个或多个关系方面中所述的模式是基于刺激的，以及所述诱导所述多个传入神经元中的一个或多个传入神经元输出相同的模式是在没有所述刺激的情况下实现的。5.如权利要求1所述的方法，其特征在于，还包括：与学习被参照的模式同时地学习所述一个或多个关系方面。6.如权利要求1所述的方法，其特征在于：所述诱导所述多个传入神经元中的一个或多个传入神经元输出相同的模式是基于根据配对的双向连通性从所述一个或多个关系方面神经元向所述多个传入神经元中的一个或多个传入神经元的反馈来进行的。7.如权利要求1所述的方法，其特征在于，所述关系方面神经元和所述传入神经元以配对形式相连接，以使得所述关系方面神经元中的每一个关系方面神经元接收来自所述传入神经元之一的输入并且具有仅去往这一个传入神经元的反馈连接。8.如权利要求1所述的方法，其特征在于，还包括：对所述诱导所述多个传入神经元中的一个或多个传入神经元输出相同的模式进行控制，其中所述控制是基于对所述一个或多个关系方面神经元、所述参照神经元中的所述一个或多个参照神经元、或所述多个传入神经元中的一个或多个传入神经元的输入，以及所述输入包括来自另一神经元的突触输入、在所有突触处或在一个或多个突触处施加到膜或胞体并且根据从所述突触到所述胞体的个体延迟而被延迟的振荡、或抑制性输入的抑压中的至少一者。9.如权利要求1所述的方法，其特征在于，所述诱导所述多个传入神经元中的一个或多个传入神经元输出相同的模式是基于以下的至少一者被抑制或调制的：当刺激存在或不存在、传入神经元活动之后的延迟、模式匹配神经元或关系方面匹配神经元活动之后的延迟、或者振荡。10.如权利要求1所述的方法，其特征在于，所述诱导所述多个传入神经元中的一个或多个传入神经元输出相同的模式基于以下的至少一者被抑制或调制：关系方面匹配神经元对所述传入神经元中的一个或多个传入神经元的输入的具体突触前抑制、关系方面匹配神经元对所述传入神经元中的一个或多个传入神经元的输入的突触后抑制、所述关系方面神经元之一与所述传入神经元中的一个或多个传入神经元之间的中介连接的抑压、或者连接在所述关系方面神经元之一与所述传入神经元中的一个或多个传入神经元之间的一个或多个中介抑制性中间神经元。11.如权利要求1所述的方法，其特征在于：所述一个或多个关系方面神经元学习与所述传入神经元中因多路复用刺激、刺激序列、或多重刺激中的至少一者所导致的多个模式有关的多个关系方面，以及所述一个或多个关系方面神经元中的每一个关系方面神经元学习所述传入神经元之一与所述参照神经元之间的所述多个关系方面。12.如权利要求1所述的方法，其特征在于，所述参照神经元之一进一步与所述多个传入神经元中的一个或多个传入神经元中诱导的所述相同的模式相匹配。13.如权利要求1所述的方法，其特征在于，所述相同的模式包括以下各项中的至少一者：所参照的模式的时间反演版本、所参照的模式的前向时间经缩放版本、所参照的模式的反演时间经缩放版本、所参照的模式的子集、或所参照的模式的超集。14.如权利要求1所述的方法，其特征在于，所述模式包括尖峰定时、激发率、或尖峰一致性中的至少一者的组合。15.如权利要求1所述的方法，其特征在于，所述一个或多个关系方面中的每一个关系方面包括以下各项中的至少一者：尖峰之间的时间延迟、激发率差异、或尖峰的一致性上的差异。16.如权利要求1所述的方法，其特征在于：参照神经元输出或关系方面神经元输出改变将在没有所述参照神经元输出的情况下由于刺激而出现的传入神经元模式，以及所述参照神经元所参照的模式包括被改变的传入神经元模式。17.如权利要求1所述的方法，其特征在于，所述传入神经元模式包括以下各项中的至少一者：感官输入模式、上游信号模式、上游刺激输入或感官输入的变换、受感官或上游刺激输入影响的动态模式、或来自所述参照神经元之一或所述关系方面神经元之一的反馈。18.如权利要求1所述的方法，其特征在于，所述相同的模式包括来自所述多个传入神经元的时间尖峰模式的窗口内的最早尖峰。19.如权利要求3所述的方法，其特征在于，使用所述尖峰定时依赖可塑性的学习由收窄正学习响应的时间窗口的内稳态函数来修改。20.如权利要求1所述的方法，其特征在于，所参照的模式和所诱导的模式之间的相似性使用以下各项中的至少一者来衡量：包括所述模式的信号的成对次序对应关系、不考虑次序或定时而保留的信号的片断、模式互相关、或基于包括所述模式的各个信号之间的时间差的统计。21.如权利要求1所述的方法，其特征在于，所述参照神经元所参照的模式的聚合的重放是通过在一更长时间上依次地组合个体模式的重放、在一更大的传入集上同时地组合个体模式的重放、或其组合通过用所述关系方面神经元的聚合诱导所述重放来实现的。22.如权利要求1所述的方法，其特征在于，所述相同的模式在神经网络中重现下游行为。23.一种用于神经组件重放的装置，包括：配置成用一个或多个参照神经元来参照多个传入神经元输出中的模式的第一电路；配置成用一个或多个关系方面神经元来匹配所述多个传入神经元输出中的该模式与所述一个或多个参照神经元的输出之间的一个或多个关系方面的第二电路；以及配置成诱导所述多个传入神经元中的一个或多个传入神经元输出与所述一个或多个参照神经元所参照的模式相同的模式的第三电路。24.如权利要求23所述的装置，其特征在于，所述一个或多个关系方面中的每一个关系方面包括所述模式中同所述多个传入神经元中的一个传入神经元有关的元素与所述一个或多个参照神经元的输出之间的关系，其中所述关系方面学习神经元之一与所述多个传入神经元中的所述一个传入神经元相配对。25.如权利要求23所述的装置，其特征在于，还包括：配置成使用尖峰定时依赖可塑性、结构可塑性、内稳态、或结构约束建模中的至少一者以无监督的方式学习所述一个或多个关系方面的第四电路；配置成使用尖峰定时依赖可塑性、结构可塑性、内稳态、或结构约束建模中的至少一者以无监督的方式学习被参照的模式的第五电路；以及配置成使用尖峰定时依赖可塑性、结构可塑性、内稳态、或结构约束建模中的至少一者以无监督的方式学习被诱导的相同的模式的第六电路。26.如权利要求23所述的装置，其特征在于：所述匹配一个或多个关系方面中所述的模式是基于刺激的，以及所述诱导所述多个传入神经元中的一个或多个传入神经元输出相同的模式是在没有所述刺激的情况下实现的。27.如权利要求23所述的装置，其特征在于，还包括：配置成与学习被参照的模式同时地学习所述一个或多个关系方面的第四电路。28.如权利要求23所述的装置，其特征在于：所述诱导所述多个传入神经元中的一个或多个传入神经元输出相同的模式是基于根据配对的双向连通性从所述一个或多个关系方面神经元向所述多个传入神经元中的一个或多个传入神经元的反馈来进行的。29.如权利要求23所述的装置，其特征在于，所述关系方面神经元和所述传入神经元以配对形式相连接，以使得所述关系方面神经元中的每一个关系方面神经元接收来自所述传入神经元之一的输入并且具有仅去往这一个传入神经元的反馈连接。30.如权利要求23所述的装置，其特征在于，还包括：配置成对所述诱导所述多个传入神经元中的一个或多个传入神经元输出相同的模式进行控制的第四电路，其中所述控制是基于对所述一个或多个关系方面神经元、所述参照神经元中的所述一个或多个参照神经元、或所述多个传入神经元中的一个或多个传入神经元的输入，以及所述输入包括来自另一神经元的突触输入、在所有突触处或在一个或多个突触处施加到膜或胞体并且根据从所述突触到所述胞体的个体延迟而被延迟的振荡、或抑制性输入的抑压中的至少一者。31.如权利要求23所述的装置，其特征在于：所述诱导所述多个传入神经元中的一个或多个传入神经元输出相同的模式是基于以下的至少一者被抑制或调制的：当刺激存在或不存在、传入神经元活动之后的延迟、模式匹配神经元或关系方面匹配神经元活动之后的延迟、或者振荡。32.如权利要求23所述的装置，其特征在于，所述诱导所述多个传入神经元中的一个或多个传入神经元输出相同的模式基于以下的至少一者被抑制或调制：关系方面匹配神经元对所述传入神经元中的一个或多个传入神经元的输入的具体突触前抑制、关系方面匹配神经元对所述传入神经元中的一个或多个传入神经元的输入的突触后抑制、所述关系方面神经元之一与所述传入神经元中的一个或多个传入神经元之间的中介连接的抑压、或者连接在所述关系方面神经元之一与所述传入神经元中的一个或多个传入神经元之间的一个或多个中介抑制性中间神经元。33.如权利要求23所述的装置，其特征在于：所述一个或多个关系方面神经元学习与所述传入神经元中因多路复用刺激、刺激序列、或多重刺激中的至少一者所导致的多个模式有关的多个关系方面，以及所述一个或多个关系方面神经元中的每一个关系方面神经元学习所述传入神经元之一与所述参照神经元之间的所述多个关系方面。34.如权利要求23所述的装置，其特征在于，所述参照神经元之一进一步与所述多个传入神经元中的一个或多个传入神经元中诱导的所述相同的模式相匹配。35.如权利要求23所述的装置，其特征在于，所述相同的模式包括以下各项中的至少一者：所参照的模式的时间反演版本、所参照的模式的前向时间经缩放版本、所参照的模式的反演时间经缩放版本、所参照的模式的子集、或所参照的模式的超集。36.如权利要求23所述的装置，其特征在于，所述模式包括尖峰定时、激发率、或尖峰一致性中的至少一者的组合。37.如权利要求23所述的装置，其特征在于，所述一个或多个关系方面中的每一个关系方面包括以下各项中的至少一者：尖峰之间的时间延迟、激发率差异、或尖峰的一致性上的差异。38.如权利要求23所述的装置，其特征在于：参照神经元输出或关系方面神经元输出改变将在没有所述参照神经元输出的情况下由于刺激而出现的传入神经元模式，以及所述参照神经元所参照的模式包括被改变的传入神经元模式。39.如权利要求23所述的装置，其特征在于，所述传入神经元模式包括以下各项中的至少一者：感官输入模式、上游信号模式、上游刺激输入或感官输入的变换、受感官或上游刺激输入影响的动态模式、或来自所述参照神经元之一或所述关系方面神经元之一的反馈。40.如权利要求23所述的装置，其特征在于，所述相同的模式包括来自所述多个传入神经元的时间尖峰模式的窗口内的最早尖峰。41.如权利要求25所述的装置，其特征在于，使用所述尖峰定时依赖可塑性的学习由收窄正学习响应的时间窗口的内稳态函数来修改。42.如权利要求23所述的装置，其特征在于，所参照的模式和所诱导的模式之间的相似性可使用以下各项中的至少一者来衡量：包括所述模式的信号的成对次序对应关系、不考虑次序或定时而保留的信号的片断、模式互相关、或基于包括所述模式的各个信号之间的时间差的统计。43.如权利要求23所述的装置，其特征在于，所述参照神经元所参照的模式的聚合的重放是通过在一更长时间上依次地组合个体模式的重放、在一更大的传入集上同时地组合个体模式的重放、或其组合通过用所述关系方面神经元的聚合诱导所述重放来实现的。44.如权利要求23所述的装置，其特征在于，所述相同的模式在神经网络中重现下游行为。45.一种用于神经组件重放的设备，包括：用于用一个或多个参照神经元来参照多个传入神经元输出中的模式的装置；用于用一个或多个关系方面神经元来匹配所述多个传入神经元输出中的该模式与所述一个或多个参照神经元的输出之间的一个或多个关系方面的装置；以及用于诱导所述多个传入神经元中的一个或多个传入神经元输出与所述一个或多个参照神经元所参照的模式相同的模式的装置。46.如权利要求45所述的设备，其特征在于，所述一个或多个关系方面中的每一个关系方面包括所述模式中同所述多个传入神经元中的一个传入神经元有关的元素与所述一个或多个参照神经元的输出之间的关系，其中所述关系方面学习神经元之一与所述多个传入神经元中的所述一个传入神经元相配对。47.如权利要求45所述的设备，其特征在于，还包括：用于使用尖峰定时依赖可塑性、结构可塑性、内稳态、或结构约束建模中的至少一者以无监督的方式来学习所述一个或多个关系方面的装置；用于使用尖峰定时依赖可塑性、结构可塑性、内稳态、或结构约束建模中的至少一者以无监督的方式学习被参照的模式的装置；以及用于使用尖峰定时依赖可塑性、结构可塑性、内稳态、或结构约束建模中的至少一者以无监督的方式学习被诱导的相同的模式的装置。48.如权利要求45所述的设备，其特征在于：所述匹配一个或多个关系方面中所述的模式是基于刺激的，以及所述诱导所述多个传入神经元中的一个或多个传入神经元输出相同的模式是在没有所述刺激的情况下实现的。49.如权利要求45所述的设备，其特征在于，还包括：用于与学习被参照的模式同时地学习所述一个或多个关系方面的装置。50.如权利要求45所述的设备，其特征在于：所述诱...

【专利技术属性】
技术研发人员：J·F·亨泽格，V·H·陈，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US