基于双向格子结构的长短时记忆网络的中文语义信息提取方法和装置制造方法及图纸

本发明专利技术公开一种语义信息提取方法和装置，属于自然语言处理技术领域，方法包括：获取待识别的语料数据；对获取到的语料数据进行预处理，预处理包括将语料数据转换为词向量和/或字向量；将向量转换后的语料信息输入至预先训练的语义信息提取模型，得到命名实体识别结果；所述语义信息提取模型包括双向长短时记忆网络和CRF层网络，其训练样本为已标注字符标签和实体标签的语料数据的向量形式；双向长短时记忆网络的输出为待识别语句中各词中字符映射到标签的概率矩阵，CRF层网络根据双向长短时记忆网络的输出，确定待识别语句的标签序列并输出。本发明专利技术通过将格子结构的长短时记忆网络改进为双向，使其能够更好的获知文章中一个句子前后文的信息，从而更准确地判断这个句子的语义。

【技术实现步骤摘要】
基于双向格子结构的长短时记忆网络的中文语义信息提取方法和装置
本专利技术涉及自然语言处理
，特别是一种基于双向格子结构的长短时记忆神经网络的中文语义信息提取方法和装置。
技术介绍
信息抽取是指从自然语言文本中抽取指定类型的实体、关系、事件等信息，并且形成结构化数据输出的文本处理技术。它是自然语言处理领域经常用到的一项技术，也是该领域研究的重点技术之一。信息抽取的任务有实体识别与抽取、实体消歧、关系抽取、事件抽取，其中实体识别是信息抽取的主要任务之一，意义十分重大。对于实体识别这一任务，目前已经存在一些方法，比如，基于规则的命名实体识别方法，该方法是定义一个规则，将语料和规则进行匹配，从而识别出实体；基于词典的命名实体识别方法，该方法是将尽量多的实体建立词典，经过训练使文本中的词与词典中的词相匹配，匹配上的即为该词典中对应分类的实体；基于传统机器学习的命名实体识别的方法，该方法是对文本信息提取特征，从而学习前后词的语义信息，做出相应的分类；基于长短时记忆网络-条件随机场(LongShortTermMemory-ConditionalRandomField,LSTM-CRF)的命名实体识别的方法，该方法主要有两种，基于词向量和基于字符向量，主要是对前一种方法的改进，即令长短时记忆网络LSTM进行提取特征，令CRF层进行分类判断。上述方法存在以下缺陷：1、基于规则的命名实体识别方法比较死板，并且规则太多，费时费力；2、基于词典的命名实体识别方法十分依赖于词典库，并且不能识别未登录词；3、基于传统机器学习的命名实体识别方法的特征模板需要人工提取，耗时耗力，且建立的模板质量十分影响识别效果；4、基于LSTM-CRF的命名实体识别方法，基于词向量的方法十分依赖分词效果，即若分词错误则影响识别；而基于字符向量的方法虽优于基于词向量的方法，但是它不能充分利用单词和词序信息，也会影响识别效果。
技术实现思路
本专利技术的目的是，提供基于双向格子结构的长短时记忆网络的中文语义信息提取方法和装置，提高语义识别准确度。本专利技术采取的技术方案如下。一方面，本专利技术提供一种语义信息提取方法，包括：获取待识别的语料数据；对获取到的语料数据进行预处理，预处理包括将语料数据转换为词向量和/或字向量；将向量转换后的语料信息输入至预先训练的语义信息提取模型，得到命名实体识别结果；所述语义信息提取模型包括双向长短时记忆网络和CRF层网络，其训练样本为已标注字符标签和实体标签的语料数据的向量形式；双向长短时记忆网络的输出为待识别语句中各词中字符映射到标签的概率矩阵，CRF层网络根据双向长短时记忆网络的输出确定待识别语句的标签序列并输出。本专利技术将传统格子结构的长短时记忆网络LatticeLSTM由单向改进为双向，在训练和识别时不仅能够充分利用单词和词序信息，不会因为分词错误影响识别结果，且能够更好的联系上下文的信息，使得机器如人工智能问答系统，能够更好的理解词在语句中的具体意思，进而针对识别出的实体回答相应问题。可选的，所述待识别的语料数据为中文语句文本。也即本专利技术适用于中文语义信息的提取。在问答系统中，可首先将获取到的用户语音数据转换文中文语句文本，然后进行语义提取。语料数据源可根据自然语言识别所应用的领域来决定，如医疗领域，可通过爬虫三九健康网、寻医问药网等网站获取语料文本数据。可选的，对获取到的语料信息进行预处理还包括数据清洗。如过滤噪声数据，可采用现有技术。可选的，对获取到的语料数据进行预处理时，将待识别语料与预设的单词查找树进行匹配，得到相应的单词集合，进而采用嵌入层Embedding将语料数据转换为词向量和字向量。Embedding层可采用现有的word2vec工具实现语料数据到向量的转换。单词查找树可根据汉语词典设置，用于待识别语句与汉语词典词库之间的匹配，已查找到待识别语句所包含的实体单词。可选的，语义信息提取模型的训练包括：样本语料标注：对多个样本语句进行标注处理，标注出各样本语句中的字符标签；对标注后的样本语料进行预处理，抽取得到训练样本语句，及其对应的标签序列和单词集合；利用训练样本对双向格子结构的长短时记忆网络进行训练，以调整其网络参数；基于训练样本及双向格子结构的长短时记忆网络的输出对CRF层网络进行训练，以调整其网络参数；得到训练完成的语义信息提取模型。可选的，语义信息提取模型训练还包括根据训练样本及训练过程中的识别结果计算准确率P和召回率R，并根据以下公式计算评价分数F1：响应于评价分数值大于预设值，则停止模型训练。可选的，样本语料标注采用BMESO(begin,middle,end,single,other)标记方法。即位于该词语最开始的字符标记为B，位于该词语中间的字符标记为M，位于该词语末尾的词语标记为E，若该词语只有一个字符则标记为S，若该词语没有带标签或者不属于实体标签则标记为O。可选的，对标注后的样本语料进行预处理包括：(2.1)统计已标注样本语料的字符，得到字符集合，然后对每个字符编号，得到字符集合对应的字符编号集合；统计已标注样本语料的标签，得到标签集合，然后对每个标签编号，得到标签集合对应的标签编号集合；(2.2)基于汉语词典建立单词查找树，将各语句与单词查找树进行匹配，保留匹配成功的单词，得到样本语料对应的单词集合；(2.3)对单词集合中的单词去重处理并编号，得到新的单词集合及其对应的词编号集合；(2.4)将样本语料中的字符和标签分别根据字符编号集合和标签编号集合转换为对应编号；同时将各语句中的各单词根据词编号集合转换为对应的编号。模型训练时，将转换编号后的样本语料随机排列，采用随机无放回的方式从样本语料中抽取若干语句及其对应的标签和对应的单词集合，进行向量转换后，作为双向格子结构的长短时记忆网络的输入。可选的，双向格子结构的长短时记忆网络的隐藏层包括前向网络层和反向网络层，前向网络层和反向网络层分别设置字处理网络单元和词处理网络单元；字处理网络单元包括输入门、输出门和遗忘门，词处理网络单元包括输入门和遗忘门；字处理网络单元的输入量包括当前字符的字符向量、前一个字符的细胞状态和字处理网络单元的输出，以及以当前字符为末位字符的单词从词处理网络单元输出的细胞状态；词处理网络单元的输入包括当前单词向量，以及当前单词的首位字符在字处理网络单元的输出和细胞状态。具体的，定义待识别中文文本的字符序列为S＝{c1，c2，c3......，cm}，序列S与单词查找树匹配得到的单词集合为表示从B到E结束的单词子序列；嵌入层对于字符和单词分别按照以下公式进行向量转换：其中，为字符ci经嵌入层转换后得到的字符向量，为单词集合的词向量，ec、ew代表嵌入层的权重；用分别表示字符向量处理网络单元的输入门、输出门和遗忘门的控制，σ、t本文档来自技高网...

【技术保护点】
1.一种语义信息提取方法，其特征是，包括：/n获取待识别的语料数据；/n对获取到的语料数据进行预处理，预处理包括将语料数据转换为词向量和/或字向量；/n将向量转换后的语料信息输入至预先训练的语义信息提取模型，得到命名实体识别结果；所述语义信息提取模型包括双向长短时记忆网络和CRF层网络，其训练样本为已标注字符标签和实体标签的语料数据的向量形式；双向长短时记忆网络的输出为待识别语句中各词中字符映射到标签的概率矩阵，CRF层网络根据双向长短时记忆网络的输出确定待识别语句的标签序列并输出。/n

【技术特征摘要】
1.一种语义信息提取方法，其特征是，包括：
获取待识别的语料数据；
对获取到的语料数据进行预处理，预处理包括将语料数据转换为词向量和/或字向量；
将向量转换后的语料信息输入至预先训练的语义信息提取模型，得到命名实体识别结果；所述语义信息提取模型包括双向长短时记忆网络和CRF层网络，其训练样本为已标注字符标签和实体标签的语料数据的向量形式；双向长短时记忆网络的输出为待识别语句中各词中字符映射到标签的概率矩阵，CRF层网络根据双向长短时记忆网络的输出确定待识别语句的标签序列并输出。


2.根据权利要求1所述的方法，其特征是，所述待识别的语料数据为中文语句文本。


3.根据权利要求1所述的方法，其特征是，对获取到的语料信息进行预处理还包括数据清洗。


4.根据权利要求1所述的方法，其特征是，对获取到的语料数据进行预处理时，将待识别语料与预设的单词查找树进行匹配，得到相应的单词集合，进而采用嵌入层Embedding将语料数据转换为词向量和字向量。


5.根据权利要求1所述的方法，其特征是，语义信息提取模型的训练包括：
样本语料标注：对多个样本语句进行标注处理，标注出各样本语句中的字符标签；
对标注后的样本语料进行预处理，抽取得到训练样本语句，及其对应的标签序列和单词集合；
利用训练样本对双向格子结构的长短时记忆网络进行训练，以调整其网络参数；
基于训练样本利用双向格子结构的长短时记忆网络的输出对CRF层网络进行训练，以调整其网络参数；
得到训练完成的语义信息提取模型。


6.根据权利要求5所述的方法，其特征是，语义信息提取模型训练还包括根据训练样本及训练过程中的识别结果计算准确率P和召回率R，并根据以下公式计算评价分数F1：



响应于评价分数值大于预设值，则停止模型训练。


7.根据权利要求5所述的方法，其特征是，对标注后的样本语料进行预处理包括：
(2.1)统计已标注样本语料的字符，得到字符集合，然后对每个字符编号，得到字符集合对应的字符编号集合；统计已标注样本语料的标签，得到标签集合，然后对每个标签编号，得到标签集合对应的标签编号集合；
(2.2)基于汉语词典建立单词查找树，将各语句与单词查找树进行匹配，保留匹配成功的单词，得到样本语料对应的单词集合；
(2.3)对单词集合中的单词去重处理并编号，得到新的单词集合及其对应的词编号集合；
(2.4)将样本语料中的字符和标签分别根据字符编号集合和标签编号集合转换为对应编号；同时将各语句中的各单词根据词编号集合转换为对应的编号；
模型训练时，将转换编号后的样本语料随机排列，采用随机无放回的方式从样本语料中抽取若干语句及其对应的标签和对应的单词集合，进行向量转换后，作为双向格子结构的长短时记忆网络的输入。


8.根据权利要求1或5所述的方法，其特征是，可选的，双向格子结构的长短时记忆网络的隐藏层包括前向网络层和反向网络层，前向网络层和反向网络层分别设置字处理网络单元和词处理网络单元；字处理网络单元包括输入门、输出门和遗忘门，词处理网络单元包括输入门和遗忘门；
字处理网络单元的输入量包括当前字符的字符向量、前一个字符的细胞状态和字处理网络单元的输出，...

【专利技术属性】
技术研发人员：徐宁，于佳卉，刘小峰，姚潇，蒋爱民，
申请(专利权)人：河海大学常州校区，
类型：发明
国别省市：江苏;32