基于类脑语义层次时序记忆推理模型的问答方法、系统技术方案

技术编号:20916459 阅读:28 留言:0更新日期:2019-04-20 09:40
本发明专利技术属于认知神经科学领域,具体涉及一种基于类脑语义层次时序记忆推理模型的问答方法、系统,旨在解决文本生成、自动问答等自然语言理解任务的小样本学习问题。本发明专利技术方法包括:获取问题文本和回答文本并输入;对文本时序池化得到词向量矩阵;将词向量矩阵中每个词向量空间和时间池化,得到词向量对应的每一位为0或1的二值词表示集;将文本和词集进行类脑学习,得到优化后的模型;将问题文本单独输入,基于模型中的细胞预测状态进行词的规约,得到回答文本并输出。本发明专利技术结合语义层次时序记忆模型,基于小样本数据,知识推理的学习方式进行模型的构建,对样本的数量要求低,没有大量参数需要调节,增加了模型的可拓展性。

Question Answering Method and System Based on Brain-like Semantic Hierarchical Temporal Memory Reasoning Model

The invention belongs to the field of cognitive neuroscience, and specifically relates to a question answering method and system based on temporal memory reasoning model of brain-like semantic level, aiming at solving small sample learning problems of text generation, automatic question answering and other natural language understanding tasks. The method of the invention includes: acquiring question text and answer text and inputting them; pooling text sequence to get word vector matrix; pooling each word vector space and time in the word vector matrix to get binary word representation set corresponding to each word vector 0 or 1; learning text and word set to get optimized model; inputting question text separately and based on model; The predictive state of the cell in the model is defined by the word, and the answer text is obtained and output. The method combines the semantic hierarchical temporal memory model, builds a learning model based on small sample data and knowledge reasoning, and has low requirement on the number of samples and no large number of parameters to be adjusted, thus increasing the extensibility of the model.

【技术实现步骤摘要】
基于类脑语义层次时序记忆推理模型的问答方法、系统
本专利技术属于认知神经科学领域,具体涉及一种基于类脑语义层次时序记忆推理模型的问答方法、系统。
技术介绍
传统神经网络虽能较好地解决包括图像、语音或文本等模式识别问题,但其往往需要大量数据的多轮迭代训练,这与人类学习知识的过程不相符合。人类在学习识别图像、记忆文字时往往不需要大量地不断重复地训练,且人类的学习是一个在线学习的过程,当面对新知识时,人类会基于之前已经习得的知识进行相应的推理与类比,从而更快地学习新知识,而反观传统的神经网络算法,虽然在一些模式识别任务中取得了很好的效果,但当面对新的数据时,需要重新训练网络模型,这与人类习得知识的过程相悖。语义层次时序记忆模型是由JeffHawkins在2004年基于人类大脑皮层的微观结构及处理信息的机制提出的一个类脑智能算法框架。语义层次时序记忆模型已经成功地运用在了物体识别、异常检测、语音语种识别等模式识别任务中,不同于现有的神经网络模型,语义层次时序记忆模型蕴含更为丰富的生物学背景,因而构造了不同于传统方式的记忆存储机制,其采用细胞间的连接值的改变进而使皮层细胞处于去极化的预测态,并结合序列中下一时刻的输入信息进行相应的融合,进而得出序列中下一时刻的输出状态。这种“记忆-预测”机制在训练过程中加入了信息的反馈,对其他模式识别任务有一定的启发性。总的来说,传统神经网络在面对新的数据时,需要重新训练网络模型,与人类学习知识过程相悖,而语义层次时序记忆模型在自然语言理解任务上的应用较少,仅有基于人工数据集的实验呈现,无法解决自然场景下的文本生成、自动问答等传统自然语言理解任务。
技术实现思路
为了解决现有技术中的上述问题,即从类人类的模式识别算法出发解决文本生成、自动问答等自然语言理解任务的小样本学习问题,本专利技术提供了一种基于类脑语义层次时序记忆推理模型的问答方法,包括:步骤S1,获取问题文本;步骤S2,采用基于类脑语义层次时序记忆的推理模型对所述问题文本进行信息处理,得到所述问题文本对应的预测态细胞状态;步骤S3,基于所述预测态细胞状态,进行词的规约,得到回答文本并输出;所述词的规约为将预测态细胞的状态转化为对下一个词的操作;其中,步骤S2中“基于类脑语义层次时序记忆的推理模型”,其获取步骤为:步骤S21,基于GloVe算法对训练文本词集时序池化,得到词向量矩阵;步骤S22,对所述词向量矩阵中每个词向量空间和时间池化,得到词向量对应的每一位为0或1的二值词表示集;步骤S23,对所述训练文本词集、以及该词集中每个词对应的二值词表示集进行类脑学习,得到细胞状态值集,将细胞状态值集作为基于类脑语义层次时序记忆的推理模型。在一些优选的实施例中,步骤S21中“基于GloVe算法对训练文本词集时序池化”,其步骤为:步骤S211,通过构建的词-窗口词矩阵,给所述训练文本词集中每一个词赋予一个初始词向量;所述词-窗口词矩阵中第i行第j列的值为词vi与词vj在所述训练文本词集中的共现次数xij的对数;步骤S212,通过构建的目标函数,对词-窗口词矩阵进行分解,得到词向量集,并基于该词向量集构建所述词向量矩阵。在一些优选的实施例中,步骤S212中所述目标函数为第一目标函数或第二目标函数;所述第一目标函数为:其中,xij为词vi与词vj在所述训练文本词集中的共现次数,Pi为词vi作为目标词时的词向量,Qj代表词vj作为上下文时的词向量,b(1)、b(2)为针对文本内容训练集中各词的偏移向量,T为矩阵转置,V为所有的训练集语料;所述第二目标函数为:其中f(xij)为加权函数:其中,xijmax为所有词向量所有维度的最大值;α为超参数,代表衰减强度。在一些优选的实施例中,步骤S22中“对词向量矩阵中每个词向量空间和时间池化”,其方法为:步骤S221,对词向量矩阵中每个词向量,提取与二值词表示每个位的相关因子,该相关因子包括位重要性因子和位区分度因子;步骤S222,基于步骤S221所提取的相关因子计算词向量矩阵中每个词向量的位得分,取每个词向量所有维度中得分最高的k个位,记为二值向量空间中的1,其他的位为0,得到词向量矩阵对应的每一位为0或1的二值词表示集。在一些优选的实施例中,步骤S221中所述相关因子中重要性因子BIwb和位区分度因子BDwb分别为:其中BIwb和BDwb为SSDR空间中第w个词的第b位的重要性因子和位区分度因子,SSDR值为基于GloVe所提出的词表示定义为稀疏语义分布式表示,w=1,2,...,|W|,b=1,2,...,|B|,|W|是原始词向量输入的总维数,|B|是SSDR空间的维数,WGloVe为基于语义词嵌入的矩阵。在一些优选的实施例中,所述稀疏语义分布式表示中第w个词的第b位的SSDR值为:SSDRwb=Ⅱmax-ksubset(BitScorewb)BitScorewb=BIwb·BDwb其中,BitScorewb和SSDRwb为SSDR空间中第w个词的第b位的位得分和SSDR值,w=1,2,...,|W,|b=1,2,...,|B|,|W|是原始词向量输入的总维数,|B|是SSDR空间的维数,Ⅱmax-ksubset(·)为示性函数,k为超参数。在一些优选的实施例中,步骤S23中“进行类脑学习”,其方法为:将问题文本及其每个词对应的二值词表示集用皮层细胞状态表示,采用预测态矩阵计算细胞状态值,构建预测细胞状态值集;所述皮层细胞状态,其表示函数为:其中,为t时刻第i个模式稀疏分布式表征形式的激活态细胞柱的集合,为预测状态矩阵,qc为q行第c列,t为当前时刻;对当前细胞状态而言,下一时刻的输入激活细胞柱中的细胞,并当前对下一时刻的预测态为激活,则细胞保持激活状态;下一时刻的输入激活细胞柱中的细胞,并当前对下一时刻的预测态为不激活,则该细胞柱中的所有细胞均变为激活状态;所述预测态矩阵,其表示函数为:其中,表示存在,为在一个连接部分中激活的连接突触的数量超过设定激活阈值,At为当前时刻下网络的状态。对预测态矩阵πt而言,考虑与当前激活细胞相连接部分的数目,即对一个远端突触部分,如果输入对其进行了足够的刺激,它会激活并随后进入去极化的状态,而不是马上产生一个脉冲。在一些优选的实施例中,步骤S23进行类脑学习的过程中“采用预测态矩阵计算细胞状态值”,还包括强化连接计算和对长期抑制影响的模仿:如果细胞去极化并后续发放了,则强化对应的使之去极化的树突连接值,如果预测态状态下激活的细胞柱实际中并未激活,则会在该细胞柱中选择一个相关连接部分值最大的连接,并强化该连接。被强化了的树突连接部分值会同时以很小的值p-降低所有的突触的持续性,并会以稍大的值p+增加激活了的突触连接。所述强化连接计算,其函数为:其中,为矩阵,该矩阵用来定义第i个细胞柱中第j个细胞的第d个连接部分的持久性;为关于时间的导数;At-1为前一时刻的网络状态;所述对长期抑制影响的模仿,其方法为对网络状态的持久性矩阵中不发放的神经元添加一个小的衰减:其中,p--为衰减参数。在一些优选的实施例中,步骤S3中“进行词的规约”,其方法为:扫描每个细胞柱的细胞,当细胞柱中的细胞处于兴奋状态,定义预测pSSDR的对应位为1,否则为0;基于当前的pSSDR在本文档来自技高网
...

【技术保护点】
1.一种基于类脑语义层次时序记忆推理模型的问答方法,其特征在于,包括:步骤S1,获取问题文本;步骤S2,采用基于类脑语义层次时序记忆的推理模型对所述问题文本进行信息处理,得到所述问题文本对应的预测态细胞状态;步骤S3,基于所述预测态细胞状态,进行词的规约,得到回答文本并输出;所述词的规约为将预测态细胞的状态转化为对下一个词的操作;其中,步骤S2中“基于类脑语义层次时序记忆的推理模型”,其获取步骤为:步骤S21,基于GloVe算法对训练文本词集时序池化,得到词向量矩阵;步骤S22,对所述词向量矩阵中每个词向量空间和时间池化,得到词向量对应的每一位为0或1的二值词表示集;步骤S23,对所述训练文本词集、以及该词集中每个词对应的二值词表示集进行类脑学习,得到细胞状态值集,将细胞状态值集作为基于类脑语义层次时序记忆的推理模型。

【技术特征摘要】
2018.11.12 CN 20181134121691.一种基于类脑语义层次时序记忆推理模型的问答方法,其特征在于,包括:步骤S1,获取问题文本;步骤S2,采用基于类脑语义层次时序记忆的推理模型对所述问题文本进行信息处理,得到所述问题文本对应的预测态细胞状态;步骤S3,基于所述预测态细胞状态,进行词的规约,得到回答文本并输出;所述词的规约为将预测态细胞的状态转化为对下一个词的操作;其中,步骤S2中“基于类脑语义层次时序记忆的推理模型”,其获取步骤为:步骤S21,基于GloVe算法对训练文本词集时序池化,得到词向量矩阵;步骤S22,对所述词向量矩阵中每个词向量空间和时间池化,得到词向量对应的每一位为0或1的二值词表示集;步骤S23,对所述训练文本词集、以及该词集中每个词对应的二值词表示集进行类脑学习,得到细胞状态值集,将细胞状态值集作为基于类脑语义层次时序记忆的推理模型。2.根据权利要求1所述的一种基于类脑语义层次时序记忆推理模型的问答方法,其特征在于,步骤S21中“基于GloVe算法对训练文本词集时序池化”,其步骤为:步骤S211,通过构建的词-窗口词矩阵,给所述训练文本词集中每一个词赋予一个初始词向量;所述词-窗口词矩阵中第i行第j列的值为词vi与词vj在所述训练文本词集中的共现次数xij的对数;步骤S212,通过构建的目标函数,对词-窗口词矩阵进行分解,得到词向量集,并基于该词向量集构建所述词向量矩阵。3.根据权利要求2所述的一种基于类脑语义层次时序记忆推理模型的问答方法,其特征在于,步骤S212中所述目标函数为第一目标函数或第二目标函数;所述第一目标函数为:其中,xij为词vi与词vj在所述训练文本词集中的共现次数,Pi为词vi作为目标词时的词向量,Qj代表词vj作为上下文时的词向量,b(1)、b(2)为针对文本内容训练集中各词的偏移向量;T为矩阵转置,V为所有的训练集语料;所述第二目标函数为:其中f(xij)为加权函数:其中,xijmax为所有词向量所有维度的最大值;α为超参数,代表衰减强度。4.根据权利要求1所述的一种基于类脑语义层次时序记忆推理模型的问答方法,其特征在于,步骤S22中“对词向量矩阵中每个词向量空间和时间池化”,其方法为:步骤S221,对词向量矩阵中每个词向量,提取与二值词表示每个位的相关因子,该相关因子包括位重要性因子和位区分度因子;步骤S222,基于步骤S221所提取的相关因子计算词向量矩阵中每个词向量的位得分,取每个词向量所有维度中得分最高的k个位,记为二值向量空间中的1,其他的位为0,得到词向量矩阵对应的二值词表示集。5.根据权利要求4所述的一种基于类脑语义层次时序记忆推理模型的问答方法,其特征在于,步骤S221中所述相关因子中重要性因子BIwb和位区分度因子BDwb分别为:其中BIwb和BDwb为SSDR空间中第w个词的第b位的重要性因子和位区分度因子,SSDR值为基于GloVe所提出的词表示定义为稀疏语义分布式表示,w=1,2,...,|W|,b=1,2,...,|B|,|W|是原始词向量输入的总维数,|B|是SSDR空间的维数,WGloVe为基于语义词嵌入的矩阵。6.根据权利要求5所述的一种基于类脑语义层次时序记忆推理模型的问答方法,其特征在于...

【专利技术属性】
技术研发人员:王寓巍张铁林曾毅
申请(专利权)人:中国科学院自动化研究所
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1