The invention belongs to the field of cognitive neuroscience, and specifically relates to a question answering method and system based on temporal memory reasoning model of brain-like semantic level, aiming at solving small sample learning problems of text generation, automatic question answering and other natural language understanding tasks. The method of the invention includes: acquiring question text and answer text and inputting them; pooling text sequence to get word vector matrix; pooling each word vector space and time in the word vector matrix to get binary word representation set corresponding to each word vector 0 or 1; learning text and word set to get optimized model; inputting question text separately and based on model; The predictive state of the cell in the model is defined by the word, and the answer text is obtained and output. The method combines the semantic hierarchical temporal memory model, builds a learning model based on small sample data and knowledge reasoning, and has low requirement on the number of samples and no large number of parameters to be adjusted, thus increasing the extensibility of the model.
【技术实现步骤摘要】
基于类脑语义层次时序记忆推理模型的问答方法、系统
本专利技术属于认知神经科学领域,具体涉及一种基于类脑语义层次时序记忆推理模型的问答方法、系统。
技术介绍
传统神经网络虽能较好地解决包括图像、语音或文本等模式识别问题,但其往往需要大量数据的多轮迭代训练,这与人类学习知识的过程不相符合。人类在学习识别图像、记忆文字时往往不需要大量地不断重复地训练,且人类的学习是一个在线学习的过程,当面对新知识时,人类会基于之前已经习得的知识进行相应的推理与类比,从而更快地学习新知识,而反观传统的神经网络算法,虽然在一些模式识别任务中取得了很好的效果,但当面对新的数据时,需要重新训练网络模型,这与人类习得知识的过程相悖。语义层次时序记忆模型是由JeffHawkins在2004年基于人类大脑皮层的微观结构及处理信息的机制提出的一个类脑智能算法框架。语义层次时序记忆模型已经成功地运用在了物体识别、异常检测、语音语种识别等模式识别任务中,不同于现有的神经网络模型,语义层次时序记忆模型蕴含更为丰富的生物学背景,因而构造了不同于传统方式的记忆存储机制,其采用细胞间的连接值的改变进而使皮层细胞处于去极化的预测态,并结合序列中下一时刻的输入信息进行相应的融合,进而得出序列中下一时刻的输出状态。这种“记忆-预测”机制在训练过程中加入了信息的反馈,对其他模式识别任务有一定的启发性。总的来说,传统神经网络在面对新的数据时,需要重新训练网络模型,与人类学习知识过程相悖,而语义层次时序记忆模型在自然语言理解任务上的应用较少,仅有基于人工数据集的实验呈现,无法解决自然场景下的文本生成、自动问答等传统自 ...
【技术保护点】
1.一种基于类脑语义层次时序记忆推理模型的问答方法,其特征在于,包括:步骤S1,获取问题文本;步骤S2,采用基于类脑语义层次时序记忆的推理模型对所述问题文本进行信息处理,得到所述问题文本对应的预测态细胞状态;步骤S3,基于所述预测态细胞状态,进行词的规约,得到回答文本并输出;所述词的规约为将预测态细胞的状态转化为对下一个词的操作;其中,步骤S2中“基于类脑语义层次时序记忆的推理模型”,其获取步骤为:步骤S21,基于GloVe算法对训练文本词集时序池化,得到词向量矩阵;步骤S22,对所述词向量矩阵中每个词向量空间和时间池化,得到词向量对应的每一位为0或1的二值词表示集;步骤S23,对所述训练文本词集、以及该词集中每个词对应的二值词表示集进行类脑学习,得到细胞状态值集,将细胞状态值集作为基于类脑语义层次时序记忆的推理模型。
【技术特征摘要】
2018.11.12 CN 20181134121691.一种基于类脑语义层次时序记忆推理模型的问答方法,其特征在于,包括:步骤S1,获取问题文本;步骤S2,采用基于类脑语义层次时序记忆的推理模型对所述问题文本进行信息处理,得到所述问题文本对应的预测态细胞状态;步骤S3,基于所述预测态细胞状态,进行词的规约,得到回答文本并输出;所述词的规约为将预测态细胞的状态转化为对下一个词的操作;其中,步骤S2中“基于类脑语义层次时序记忆的推理模型”,其获取步骤为:步骤S21,基于GloVe算法对训练文本词集时序池化,得到词向量矩阵;步骤S22,对所述词向量矩阵中每个词向量空间和时间池化,得到词向量对应的每一位为0或1的二值词表示集;步骤S23,对所述训练文本词集、以及该词集中每个词对应的二值词表示集进行类脑学习,得到细胞状态值集,将细胞状态值集作为基于类脑语义层次时序记忆的推理模型。2.根据权利要求1所述的一种基于类脑语义层次时序记忆推理模型的问答方法,其特征在于,步骤S21中“基于GloVe算法对训练文本词集时序池化”,其步骤为:步骤S211,通过构建的词-窗口词矩阵,给所述训练文本词集中每一个词赋予一个初始词向量;所述词-窗口词矩阵中第i行第j列的值为词vi与词vj在所述训练文本词集中的共现次数xij的对数;步骤S212,通过构建的目标函数,对词-窗口词矩阵进行分解,得到词向量集,并基于该词向量集构建所述词向量矩阵。3.根据权利要求2所述的一种基于类脑语义层次时序记忆推理模型的问答方法,其特征在于,步骤S212中所述目标函数为第一目标函数或第二目标函数;所述第一目标函数为:其中,xij为词vi与词vj在所述训练文本词集中的共现次数,Pi为词vi作为目标词时的词向量,Qj代表词vj作为上下文时的词向量,b(1)、b(2)为针对文本内容训练集中各词的偏移向量;T为矩阵转置,V为所有的训练集语料;所述第二目标函数为:其中f(xij)为加权函数:其中,xijmax为所有词向量所有维度的最大值;α为超参数,代表衰减强度。4.根据权利要求1所述的一种基于类脑语义层次时序记忆推理模型的问答方法,其特征在于,步骤S22中“对词向量矩阵中每个词向量空间和时间池化”,其方法为:步骤S221,对词向量矩阵中每个词向量,提取与二值词表示每个位的相关因子,该相关因子包括位重要性因子和位区分度因子;步骤S222,基于步骤S221所提取的相关因子计算词向量矩阵中每个词向量的位得分,取每个词向量所有维度中得分最高的k个位,记为二值向量空间中的1,其他的位为0,得到词向量矩阵对应的二值词表示集。5.根据权利要求4所述的一种基于类脑语义层次时序记忆推理模型的问答方法,其特征在于,步骤S221中所述相关因子中重要性因子BIwb和位区分度因子BDwb分别为:其中BIwb和BDwb为SSDR空间中第w个词的第b位的重要性因子和位区分度因子,SSDR值为基于GloVe所提出的词表示定义为稀疏语义分布式表示,w=1,2,...,|W|,b=1,2,...,|B|,|W|是原始词向量输入的总维数,|B|是SSDR空间的维数,WGloVe为基于语义词嵌入的矩阵。6.根据权利要求5所述的一种基于类脑语义层次时序记忆推理模型的问答方法,其特征在于...
【专利技术属性】
技术研发人员:王寓巍,张铁林,曾毅,
申请(专利权)人:中国科学院自动化研究所,
类型:发明
国别省市:北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。