利用最大似然对消息/标签关联以及标签/消息关联进行非易失性存储、检索和管理的自动化方法和关联装置制造方法及图纸

技术编号:22727332 阅读:27 留言:0更新日期:2019-12-04 07:44
本发明专利技术涉及一种关联存储器单元,并且涉及一种关联存储方法。根据本发明专利技术的关联存储器单元包括w位的至少n个存储器子单元和v位的第二存储器子单元的第一子集。可以使用关联存储器子单元将消息与标签关联起来以及将标签与消息关联起来。

Automatic method and association device for nonvolatile storage, retrieval and management of message / tag Association and tag / message association using maximum likelihood

The invention relates to an associated memory unit and to an associated storage method. The associated memory unit according to the invention includes at least N memory sub units of W bits and a first subset of a second memory sub unit of V bits. You can use the associated storage subunits to associate messages with tags and tags with messages.

【技术实现步骤摘要】
【国外来华专利技术】利用最大似然对消息/标签关联以及标签/消息关联进行非易失性存储、检索和管理的自动化方法和关联装置
本专利技术涉及一种方法和一种自动装置,该自动装置能够利用最大似然以非易失性方式将消息与标签的关联以及标签与消息的关联存储在存储器中、再调用(recall)和管理该关联。本专利技术还涉及一种系统,该系统用于在存储器中存储神经元群体网络的训练数据。本专利技术尤其适用于硅上实现的神经网络,以用于处理各种信号,所述各种信号包括例如图像、声音或独立或同时感知的其它模态的感知表示的多维信号。更一般地,本专利技术允许用于经由神经元群体网络的生物启发方法将信号处理到有效产生的硅上的完整链。本专利技术还使得能够有效地执行例如在神经元处理之前的预处理中和/或在后处理中使用的常规信号处理方法。
技术介绍
人类记忆从根本上是关联的:当我们能够将新信息与已经获取并牢固扎根于我们的记忆中的知识联系起来时,我们会更好地记住该新信息。此外,对我们的意义越大,此联系将越有效。因此,不是简单地回忆起固定的印象,目前认为记忆是源自对立(antagonistic)神经元通路的连续改变以及信息在大脑中的并行处理的再范畴化的连续过程。技术正在尝试主要使用被称为关联存储器或内容可寻址存储器(CAM)的电子方法来复制这些过程。出版物中已发表了文献综述,K.Pagiamtzis和A.Sheikholeslami等人的“Content-addressablememory(CAM)circuitsandarchitectures:Atutorialandsurvey”IEEEJournalofSolid-StateCircuits,vol.41,no.3,pp.712–727,Mar2006。随着MRAM(磁性随机存取存储器)存储器(在该存储器中,数据以磁取向的形式存储)的出现,该存储机制已经变成了非易失性。通过改变电子的自旋(尤其是通过隧穿)来实现状态变化。这些部件由Everspin和其它公司出售。在法国,CNRS实验室的Spintec和格勒诺布尔的CrocusTechnology公司共同开发了MRAM技术。该MRAM技术基于一种创新的编程技术,该编程技术允许克服稳定性和小型化方面的限制。代替传统的铁磁层叠层,这些合作伙伴已经开发了一种存储器单元,该存储器单元将铁磁层与随温度变化更加稳定的反铁磁层关联起来。该单元与允许将被称为“就地匹配”的比较逻辑功能直接集成到存储板中的自引用存储器单元技术相结合。同一公司的专利US9401208B2“Magneticrandomaccessmemorycellwithadualjunctionforternarycontentaddressablememoryapplications”描述了三态(ternary)模式的集成:三态CAM允许将给定存储字中的一个或更多个位编程成第三状态,该第三状态在上述专利中称为“X”或“不关心”,从而允许提高搜索灵活性。例如,三态CAM可以具有存储字“10XX0”,其可以与字“10000”、“10010”、“10100”和“10110”中的任何一个的搜索相对应。该存储器单元为STT-MRAM类型(STT-MRAM代表自旋转移转矩磁性RAM)。该存储器单元的尺寸允许大规模且低成本集成、非常低的功耗并且保证非常长的信息保留时间。目前正在兴起被称为N-RAM(即,纳米RAM)的另一种非易失性存储器,该N-RAM是美国公司Nantero进行研究的成果。该N-RAM使用了碳纳米管的特性,该碳纳米管允许大大减小芯片尺寸并因此增加模块的容量。该公司的专利No.US9299430B1“Methodforreadingandprogramming1-Rresistivechargeelementarrays”中描述了这种类型的存储器。该单元由悬浮在电极上方的一定数量的纳米管构成。当电流在两个电极之间流过时,纳米管被吸引到上电极并与其接触。在两个电极之间没有电流的情况下,碳纳米管保持悬浮在空气中。为了确定纳米管是否接触上电极,在端子与上电极之间施加电压。如果有电流流过,则意味着纳米管正在与上电极接触,并且返回值1。如果没有电流流过,则纳米管处于悬浮状态并且返回值0。因此,值0和1是所谓的稳定位置,因为纳米管上没有机械张力。与DRAM相比,该体系结构更有利于减小刻蚀间距,并且在与SRAM具有相似的速度的同时,需要较少的电流来写入数据。基于氧化铪铁电体的并且在专利US7,709,359中描述的另一种非易失性存储器技术由于其小单元尺寸(约10F2)、写入模式下的消耗比STT-MRAM的消耗低至少1000倍这一事实以及与CMOS技术的制造兼容性(在刻蚀规模和工艺兼容性这两方面)而非常有前途。这些技术引起了在神经科学领域中发表的一些发展,包括:■V.Gripon和C.Berrou,“Sparseneuralnetworkswithlargelearningdiversity,”IEEEtrans.onNeuralNetworks,vol.22,n7,pp.1087-1096,July2011。本文给出了以下定义:o在下面的描述中,在给定存储信息量M的情况下,由数据稀疏性实现的学习多样性等于2v,其中代码量与子消息I=2w相对应,即,消息k由c个子消息组成(在下面的描述中:消息ME由n个子消息组成)。因此,消息ME的长度是w位的n倍,并且存储机制的多样性是2n+w。o针对M>>c(此处为2v>>n~8)且M<<I2(此处为2v<<2n+w)的值,密度d接近M/l2,即,在下面的描述中:d=2v/22+w或2v-(2+w)。该密度必须低,以便避免混淆与允许的错误率相对应的学习消息:其中,值v=16并且w=24,d=2-10,即,错误率接近0.001。与本文相关联地,作者已经申请了两项专利:FR2964222A1和FR2980876A1,这两项专利描述了使用这些原理的神经元装置。·HoomanJarollahi,VincentGripon,NaoyaOnizawa,和WarrenJ.Gross“Alow-powerContent-AddressableMemorybasedonclustered-sparsenetworks”ASAP,2013IEEE24thint.conference.·F.Leduc-Primeau,V.Gripon,M.G.Rabbat,和W.J.Gross,“Clusterbasedassociativememoriesbuiltfromunreliablestorage”inProc.OfIEEEIntl.Conf.onAcoustics,Speech,andSignalProcessing(ICASSP),May2014.·DemetrioFerro,VincentGripon,XiaoranJiang,“NearestNeighbourSearchUs本文档来自技高网...

【技术保护点】
1.一种关联存储器存储单元(10),所述关联存储器存储单元(10)包括:/n-至少一个第一存储器子单元(1_1至1_n),各第一存储器子单元包括2

【技术特征摘要】
【国外来华专利技术】20170428 FR 17004631.一种关联存储器存储单元(10),所述关联存储器存储单元(10)包括:
-至少一个第一存储器子单元(1_1至1_n),各第一存储器子单元包括2v个w位的字,所述至少一个第一存储器子单元形成n(n≥1)个存储器子单元的第一集合;
-第二存储器子单元(2),所述第二存储器子单元包括2v个v位的字,所述第二存储器子单元形成第二集合;
各个存储器子单元包括:
-2v个存储器位置,所述存储器位置用于存储所述字,通过v位的存储器地址来识别各个位置;
-v位存储器地址输入端口(Adr);
-v位或w位数据输入端口(In);
-v位或w位数据输出端口(Out);
-v位存储器地址输出端口(Cadr);以及
-用于验证内容的二进制输出端(M);
各个存储器子单元被配置为:
-在写入模式下,将经由所述数据输入端口(In)接收的字存储在经由所述存储器地址输入端口(Adr)接收的地址处;
-在读取模式下:
-如果所述2v个存储器位置中的一个存储器位置包括经由所述数据输入端口(In)接收的字,则使二进制输出信号(M)生效,以对当前内容进行验证,并将该位置的地址传递给所述存储器地址输出端口(Cadr);
-否则,不使用于对内容进行验证的二进制输出信号(M)生效。


2.根据权利要求1所述的关联存储器存储单元,其中,各个存储器子单元包括命令端口,所述命令端口接收被所有存储器子单元共用的排序二进制输入时钟(Ck)、存储器选择二进制输入信号(En)以及写入二进制输入信号(Wr),并且所述命令端口被配置为:
-当所述存储器选择二进制输入信号(En)和写入二进制输入信号(Wr)被激活时,激活所述写入模式;
-当所述存储器选择二进制输入信号(En)被激活并且所述写入二进制输入信号(Wr)是不活动的时,激活所述读取模式。


3.根据权利要求1至2中的一项所述的关联存储器存储单元,所述单元是非易失性存储器。


4.根据权利要求1至3中的一项所述的关联存储器存储单元,所述关联存储器存储单元包括:
-第一总线(AB),所述第一总线在读取模式和写入模式下是活动的;
-第二总线,所述第二总线独立于所述第一总线,并且在读取模式下是活动的。


5.根据权利要求4所述的关联存储器存储单元,其中,在读取模式下:
-所述第二总线连接在所述至少一个第一存储器子单元(1_1至1_n)的存储器地址输出端口(Cadr)与所述第二存储器子单元(2)的存储器地址输入端口(Adr)之间;
-所述第一总线(AB)连接在所述第二存储器子单元(2)的存储器地址输出端口(Cadr)与所述至少一个第一存储器子单元(1_1至1_n)的存储器地址输入端口(Adr)之间。


6.根据权利要求1至5中的从属于权利要求5的一项所述的关联存储器存储单元,其中,在写入模式下,所述第一总线(AB)连接到v位二进制计数器(3)的输出端,所述二进制计数器(3)生成2v个计数值,并且所述第一总线(AB)连接到各个存储器子单元(1_1至1_n和2)的存储器地址输入端口(Adr)。


7.根据权利要求6所述的关联存储器存储单元,其中,所述二进制计数器(3)采用非易失性存储器存储。


8.根据权利要求6至7中的从属于权利要求2的一项所述的关联存储器存储单元,所述关联存储器存储单元包括:
-用于对所述存储器子单元进行初始化的单元(6);
-命令端口,所述命令端口接收初始化输入二进制信号(Ini)和所述存储器选择二进制输入信号(En)作为输入;
其中,所述初始化输入二进制输入信号(Ini)的激活被发送到所述初始化单元(6),并与所述存储器选择二进制输入信号(En)的激活一起产生初始化阶段,在所述初始化阶段中,为了将各个存储器子单元的所有存储器位置初始化为零,所述初始化单元(6)被配置为:
-将所述二进制计数器(3)初始化为零;
-激活所述写入二进制输入信号(Wr),以使所述写入模式生效;
-强制将各个存储器子单元的数据输入端口(In)清零;
-在2v+1个周期期间,针对所述排序二进制输入时钟(Ck)的每个周期,将所述二进制计数器(3)递增一个单位。


9.根据权利要求8所述的关联存储器存储单元,其中,在所述初始化阶段之外,如果所述存储器选择二进制输入信号(En)生效,则在所述存储器写入信号(Wr)的每次生效时,所述二进制计数器(3)递增。


10.根据权利要求6至9中的一项所述的关联存储器存储单元,其中,所述二进制计数器(3)被配置为:当所述计数器的二进制值等于2v-1时,激活计数限制信号(F)。


11.根据权利要求6至10中的一项所述的关联存储器存储单元,其中,所述二进制计数器(3)被初始化为零,然后针对限定传送周期的传送二进制信号(T)的命令,所述二进制计数器(3)递增一个单位,在此过程中,所述关联存储器存储单元将与所述计数器的值(i)相关联的标签(Lout_i)和消息(MEout_i)作为输出来传递。


12.根据权利要求4至11中的从属于权利要求4的一项所述的关联存储器存储单元,所述关联存储器存储单元包括用于选择最大似然的单元(4),并且其中,在读取模式下:
-所述第一总线(AB)连接到所述第二存储器子单元(2)的存储器地址输出端口(Cadr),并且连接到所述第一集合中的各个所述第一存储器子单元(1_1至1_n)的存储器地址输入端口(Adr);
-所述第二总线将各个所述存储器地址输出端口(Cadr)的输出以及用于对所述第一集合中的各个所述第一存储器子单元(1_1至1_n)的内容进行验证的二进制输出信号(M)连接到用于选择最大似然的单元(4)的输入端;
-用于选择最大似然的单元(4)被配置为:将输入值中的最具代表性的值(L_i)作为输出来传递,该值被引入到所述第二存储器子单元(2)的地址输入端口(Adr)中。


13.根据权利要求12所述的关联存储器存储单元,其特征在于,当读取模式校正二进制输入信号(Cor)生效时,被发送给所述第一总线(AB)的信息项是用于选择最大似然值的单元(4)的输出(L_i)。


14.根据权利要求6至13中的从属于权利要求6的一项所述的关联存储器存储单元,其中,在写入模式下,在写入操作开始时,所述二进制计数器(3)的值递增一个单位,以通过所述第一总线(AB)传递与新地址相对应的值。


15.根据权利要求6至15中的从属于权利要求6、8和12的一项所述的关联存储器存储单元,所述关联存储器存储单元包括一起分组的存储器子单元(1_1至1_n)的所述第一集合、存储器子单元(2)的所述第二集合、所述二进制计数器(3)、用于计算最大似然的单元(4)、所述初始化单元(6)以及逻辑控制元件的集合,所述控制单元形成所述关联存储器存储单元(10)的基本单元。


16.根据权利要求15所述的关联存储器存储单元,在读取模式下,将由n个w输入位的独立输入子消息(RSin_1至RSin_n)组成的输入消息(MEin_i)与v输出位的输出标签(Lout_j)关联起来,并且将v位输入标签(Lin_i)与由n个w位独立输出子消息(RSout_1至RSout_n)组成的输出消息(MEout_j)关联起来,并且其中:
-所述第一集合中的所述第一存储器子单元的各个数据输入端口(In)分别接收w位输入子消息(RSin_1至RSin_n);
-所述第一集合中的所述第一存储器子单元的各个输出输入端口(Out)分别发出输出子消息(RSout_1至RSout_n);
-所述第二存储器子单元的数据输入端口接收所述输入标签(Lin_i);
-所述第二存储器子单元的输出数据端口发出所述输出标签(Lout_i)。


17.根据权利要求16所述的关联存储器存储单元,其特征在于,各个w位输入子消息(RSin_x)和w位输出子消息(RSout_x)被构造成p个w/p位要素,其中,针对各个要素具有特定于其位置的限定。


18.根据权利要求17所述的关联存储器存储单元,其特征在于,能够在三态内容寻址存储器(TCAM)模式下独立地设置各个w/p位要素。


19.根据权利要求18所述的关联存储器存储单元,其中,如果w/p位的要素被较差地引用或不存在,则在三态内容寻址存储器(TCAM)模式下设置该w/p位的要素。


20.一种关联存储器存储装置,所述关联存储器存储装置包括根据权利要求16至19中的一项所述的关联存储器存储单元(10)。


21.根据权利要求20所述的关联存储器存储装置,所述关联存储器存储装置包括:
-具有输入寄存器单元(77)和结果寄存器单元(76)的至少一个动态吸引子(80_x);
其中,所述关联存储器存储单元(10)的w位输出子消息(RSout_x)被传递到所述动态吸引子的所述输入寄存器单元(77),并且通过所述动态吸引子的所述结果寄存器单元(76)来传递所述关联存储器存储单元(10)的w位输入子消息(RSin_x)。


22.根据权利要求19至21中的一项所述的关联存储器存储装置,其特征在于,所述w位输入子消息(RSin_x)和w位输出子消息(RSout_x)的p个w/p位要素具有全局类型、动态类型或结构类型的基本语义表示作为特定于它们各自位置的限定。


23.根据权利要求22所述的关联存储器存储装置,其特征在于,所述动态吸引子(80_x)被配置成:从包括子序列的经排序的数据流中提取被位置(75)引用并且与子消息相对应的全局类型(72)、动态类型(73)或结构类型(74)的基本语义表示,所述数据流是从用于对输入数据流(70)进行转换的单元(71)输出的。


24.根据权利要求23所述的关联存储器存储装置,所述关联存储器存储装置包括动态吸引子的集合,各个动态吸引子(80_x)限定所述关联存储器存储单元(10)的输入子消息(RSin_x),接收输入二进制信号(Cin),并且传递输出二进制信号(Cout),所述输出二进制信号(Cout)传递至后续动态吸引子(80_x+1)作为输入,其中,所述集合的所述动态吸引子被迭代地补充,当所述集合中的所有动态吸引子被锁定,并且假设没有达到动态吸引子的最大数量且由最后一个动态吸引子识别的相似的数量不低于预定义阈值时,新的动态吸引子被补充并被添加至所述集合。


25.根据权利要求20至24中的一项所述的关联存储器存储装置,所述关联存储器存储装置包括根据权利要求16至19中的一项所述的关联存储器存储单元的集合,其特征在于,所述集合中的所述关联存储器存储单元以双向金字塔模式连接,并且:
-在一个方向上,第一层级包括分别接收p个输入消息并分别生成p个输出标签的多个(p个)关联存储器单元,各个输出标签通过第二层级的关联存储器单元的输入子消息连接,所述第二层级的关联存储器单元生成对所述输入子消息进行汇总的输出标签;
-在相反方向上,第二汇总标签被输入到所述第二层级的关联存储器单元中,所述第二层级的关联存储器单元生成p个输出子消息的集合,所述p个输出子消息分别通过所述第一层级的p个关联存储器单元的集合的输入标签连接,所述第一层级的p个关联存储器单元分别传递p个输出消息的集合。


26.一种装置,所述装置包括第一关联存储器存储单元以及第二关联存储器存储单元,所述第一关联存储器存储单元是根据权利要求1至19中的一项所述的关联存储器存储单元,并且所述第二关联存储器存储单元是根据权利要求1至19中的一项所述的关联存储器存储单元,并且所述装置被配置成执行以下操作:通过关于信息项的分布将所述第一单元的输出端口连接到所述第二单元的输入端口,并且通过使所述第一单元的读取周期与所述第二单元的写入周期同步,来将从所述第一单元的关联存储器存储获取的知识传送到所述第二单元。


27.根据权利要求20至26中的一项所述的关联存储器存储装置,所述关联存储器存储装置包括被集成到电子部件中的根据权利要求15至19中的一项所述的关联存...

【专利技术属性】
技术研发人员:P·皮里姆
申请(专利权)人:阿诺特尔布莱恩公司
类型:发明
国别省市:法国;FR

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1