一种基于语义识别的自然语言处理方法、装置和系统制造方法及图纸

本发明专利技术涉及一种语义识别的技术领域，揭露了一种基于语义识别的自然语言处理方法，包括：在知识库中提取知识库信息的知识特征词向量；利用外部知识增强模型对所述知识特征词向量进行知识增强处理；获取待处理自然语言，基于知识特征词向量分布从词级别和句子级别进行待处理自然语言信息的整合；基于注意力机制对整合信息进行处理，得到待处理自然语言的语义特征；根据待处理自然语言的语义特征，利用多层感知机进行自然语言的分类处理。本发明专利技术还提供了一种基于语义识别的自然语言处理装置及系统。本发明专利技术实现了自然语言的处理。

【技术实现步骤摘要】
一种基于语义识别的自然语言处理方法、装置和系统
本专利技术涉及自然语言处理
，尤其涉及一种基于语义识别的自然语言处理方法、装置和系统。
技术介绍
作为人类几千年知识与智慧的结晶，自然语言组织结构复杂，语义表达形式多样。词、短语、句子、段落、文章等都有其各自独有的特点，同时彼此之间也存在着潜在的联系。如何让计算机来理解自然语言中的信息，是当前热门的研究领域之一。现有的自然语言处理策略主要有使用编码器对句子进行编码处理，并将编码结果串联起来进行分类，以及通过引入句间注意力机制，对文本中隐含的前提以及假设之间的关系进行编码处理；但现有技术都只从训练数据中学习推理知识，会受限于训练数据集的规模，对文本中个别简单词汇的变化并不敏感，模型泛化能力不强。同时传统基于分布式假设的词向量表示方法用一个固定向量来表示语义信息，这会导致词义模糊、表达不准确。鉴于此，如何利用词向量对自然语言的词义进行准确表征，并基于词向量对自然语言进行处理，成为本领域技术人员亟待解决的问题。
技术实现思路
本专利技术提供一种基于语义识别的自然语言处理方法，通过在知识库中提取知识特征词向量，并进行外部知识增强，对于待处理自然语言，基于知识库的词向量分别从词级别和句子级别进行语义识别，根据语义识别结果进行自然语言的分类处理。为实现上述目的，本专利技术提供的一种基于语义识别的自然语言处理方法，包括：在知识库中提取知识库信息的知识特征词向量；利用外部知识增强模型对所述知识特征词向量进行知识增强处理；获取待处理自然语言，基于知识特征词向量分布从词级别和句子级别进行待处理自然语言信息的整合；基于注意力机制对整合信息进行处理，得到待处理自然语言的语义特征；根据待处理自然语言的语义特征，利用多层感知机进行自然语言的分类处理。可选地，所述提取知识库信息的知识特征词向量，包括：1)若知识库信息的上下文为w1，...，wj，...，wn，利用BiLSTM网络对知识库信息的上下文进行编码，得到词汇wj的上下文向量gj；2)将gj作为概率预测器的输入，由于每个词汇可能会包含多个含义，本专利技术利用概率预测器得到上下文向量gj与词汇含义ek之间的关联度：其中：vk表示当前词汇wj所包含的含义的200D嵌入向量；bk为概率预测器的偏置向量；σ为sigmoid激活函数；3)进一步计算词汇wj中各含义s与gj的匹配概率，从而得到知识库信息中，当前语境下概率最大的含义smax：其中：ns为词汇wj的含义总数；为上下文向量gj与词汇含义ek之间的关联度；4)利用BiLSTM网络将当前语境下概率最大的含义smax转换为含义词向量，并将含义词向量与词汇的上下文词向量进行拼接，作为知识特征词向量。可选地，所述利用外部知识增强模型对所述知识特征词向量进行知识增强处理的流程为：1)计算外部知识语义库中词汇wi和wj之间的相似度Cij；2)计算外部知识语义库中每个词的上位词特征Sij，若一个词wi是另一个词wj的上位词，则将该特征取值为1-n/4，其中n为外部知识语义库中两个词wi和wj之间的距离；3)将两个词wi和wj之间的相似度与上位词特征进行拼接，作为两个词wi和wj的外部知识特征词向量Rij：Rij＝[Cij，Sij]4)将所述知识特征词向量与外部知识特征词向量进行拼接，所述拼接向量为：f＝[Q1，Q2，...，Qk，...，R11，R12，...Rij，...]其中：Qk为知识库信息中词k的知识特征词向量；Rij为外部知识语义库中，词wi与词wj之间的外部知识特征向量；将拼接向量与外部知识特征向量进行加权处理，并将送入非线性映射函数F中，得到结合外部知识的特征词向量，其中F为前馈神经网络；计算所述结合外部知识的特征词向量的公式为：f′＝F{(1-α)f+α[R11，R12，...Rij，...]}其中：F为前馈神经网络；α为外部知识特征向量权重，本专利技术将其设为0.2；5)利用一层BiLSTM网络计算所述结合外部知识的特征词向量的上下文关系，并将计算结果作为知识增强后的知识特征词向量，所述基于BiLSTM网络的知识特征词向量计算公式为：fB＝BiLSTM(f′)其中：f′为结合外部知识的特征词向量。可选地，所述基于知识特征词向量分布从词级别和句子级别进行待处理自然语言信息的整合，包括：利用one-hot向量对待处理自然语言进行向量表示，并利用知识特征词向量分布矩阵Wk对自然语言向量进行低维稠密向量表示：xik＝Wk·i其中：i为待处理自然语言中第i个词的one-hot向量表示；对相邻词向量进行拼接和相减操作，以分析相邻词之间的语义交互：其中：xak，xbk为两个相邻词的低维稠密向量表示；使用了一个依赖语境信息的权值ak整合语义交互信息，该权重是在模型训练过程中学习到的：其中：xck为相邻词向量的拼接结果；xdk为相邻词向量的相减结果。可选地，所述基于注意力机制对整合信息进行处理，包括：利用注意力机制计算不同语境信息对整体蕴含关系识别的影响程度，根据计算得到的权重进行信息整合，如果某个语境表示的语义向量对蕴含关系影响比较大，那么所对应的权重也比较大，所述基于注意力机制的影响程度计算公式为：ck＝σ(Gk·xk+bgk)其中：ck表示k语境信息表示的语义向量所对应的权重；Gk表示注意力单元中的权重；bgk表示注意力单元中的偏置值；σ为sigmoid函数；计算得到待处理自然语言的语义特征：其中：ck表示k语境信息表示的语义向量所对应的权重；xk为词向量的整合信息；K为语境信息总数。可选地，所述利用多层感知机进行自然语言的分类处理，包括：利用多层感知机进行自然语言的分类处理，将概率最高的自然语言分类结果y作为多层感知机的输出，其具体过程为：P(y|(a，b))＝σ(MLP(c))其中：c为待处理自然语言的语义特征；y为自然语言分类结果；b为偏置向量；a为权值，本专利技术将其初始化为0.5；σ为sigmoid函数；MLP是一个包含两层线性变换和一个非线性ReLu激活函数的感知机。此外，为实现上述目的，本专利技术还提供一种基于语义识别的自然语言处理装置，其特征在于，所述装置包括：通信单元，用于接收自然语言信息；自然语言处理单元，用于得到自然语言的语义特征；自然语言分类单元，用于根据自然语言语义特征进行自然语言的分类处理。此外，为实现上述目的，本专利技术还提供一种基于语义识别的自然语言本文档来自技高网...

【技术保护点】
1.一种基于语义识别的自然语言处理方法，其特征在于，所述方法包括：/n在知识库中提取知识库信息的知识特征词向量；/n利用外部知识增强模型对所述知识特征词向量进行知识增强处理；/n获取待处理自然语言，基于知识特征词向量分布从词级别和句子级别进行待处理自然语言信息的整合；/n基于注意力机制对整合信息进行处理，得到待处理自然语言的语义特征；/n根据待处理自然语言的语义特征，利用多层感知机进行自然语言的分类处理。/n

【技术特征摘要】
1.一种基于语义识别的自然语言处理方法，其特征在于，所述方法包括：
在知识库中提取知识库信息的知识特征词向量；
利用外部知识增强模型对所述知识特征词向量进行知识增强处理；
获取待处理自然语言，基于知识特征词向量分布从词级别和句子级别进行待处理自然语言信息的整合；
基于注意力机制对整合信息进行处理，得到待处理自然语言的语义特征；
根据待处理自然语言的语义特征，利用多层感知机进行自然语言的分类处理。


2.如权利要求1所述的一种基于语义识别的自然语言处理方法，其特征在于，所述提取知识库信息的知识特征词向量，包括：
1)若知识库信息的上下文为w1，...，wj，...，wn，利用BiLSTM网络对知识库信息的上下文进行编码，得到词汇wj的上下文向量gj；
2)将gj作为概率预测器的输入，由于每个词汇可能会包含多个含义，本发明利用概率预测器得到上下文向量gj与词汇含义ek之间的关联度：



其中：
vk表示当前词汇wj所包含的含义的200D嵌入向量；
bk为概率预测器的偏置向量；
σ为sigmoid激活函数；
3)进一步计算词汇wj中各含义s与gj的匹配概率，从而得到知识库信息中，当前语境下概率最大的含义smax：



其中：
ns为词汇wj的含义总数；

为上下文向量gj与词汇含义ek之间的关联度；
4)利用BiLSTM网络将当前语境下概率最大的含义smax转换为含义词向量，并将含义词向量与词汇的上下文词向量进行拼接，作为知识特征词向量。


3.如权利要求2所述的一种基于语义识别的自然语言处理方法，其特征在于，所述利用外部知识增强模型对所述知识特征词向量进行知识增强处理的流程为：
1)计算外部知识语义库中词汇wi和wj之间的相似度Cij；
2)计算外部知识语义库中每个词的上位词特征Sij，若一个词wi是另一个词wj的上位词，则将该特征取值为1-n/4，其中n为外部知识语义库中两个词wi和wj之间的距离；
3)将两个词wi和wj之间的相似度与上位词特征进行拼接，作为两个词wi和wj的外部知识特征词向量Rij：
Rij＝[Cij，Sij]
4)将所述知识特征词向量与外部知识特征词向量进行拼接，所述拼接向量为：
f＝[Q1，Q2，...，Qk，...，R11，R12，...Rij，...]
其中：
Qk为知识库信息中词k的知识特征词向量；
Rij为外部知识语义库中，词wi与词wj之间的外部知识特征向量；
将拼接向量与外部知识特征向量进行加权处理，并将送入非线性映射函数F中，得到结合外部知识的特征词向量，其中F为前馈神经网络；计算所述结合外部知识的特征词向量的公式为：
f′＝F{(1-α)f+α[R11，R12，...Rij，...]}
其中：
F为前馈神经网络；
α为外部知识特征向量权重，本发明将其设为0.2；
5)利用一层BiLSTM网络计算所述结合外部知识的特征词向量的上下文关系，并将计算结果作为知识增强后的知识特征词向量，所述基于BiLSTM网络的知识特征词向量计算公式为：
fB＝BiLSTM(f′)
其中：
f′为结合外部知识的特征词向量。


4.如权利要求3所述的一种基于语义识别的自然语言处理方法...

【专利技术属性】
技术研发人员：汪秀英，
申请(专利权)人：汪秀英，
类型：发明
国别省市：湖南;43