基于BiLSTM网络模型及CRF模型的分词方法、装置、计算机装置及计算机存储介质制造方法及图纸

本发明专利技术适用于互联网技术领域，提供了一种基于BiLSTM网络模型及CRF模型的分词方法、装置、计算机装置及计算机存储介质，该方法包括：设置BiLSTM网络模型的神经元数量、字向量的维度、待识别语句长度，设置CRF模型的分词标签，构建分词模型；通过分词模型接收训练数据，根据字索引从预先获取的字向量表中获取对应的字向量，根据获取的字向量生成字标签索引；根据生成的字标签索引与训练数据的字标签索引的对比结果，调整分词模型的权重参数，得到优化后的分词模型；通过优化后的分词模型对待识别中文文本进行分词处理。本发明专利技术提供的一种基于BiLSTM网络模型及CRF模型的分词方法，能够减少人力成本，提高分词结果的准确度。

【技术实现步骤摘要】
基于BiLSTM网络模型及CRF模型的分词方法、装置、计算机装置及计算机存储介质
本专利技术属于自然语言处理领域，尤其涉及一种基于BiLSTM网络模型及CRF模型的分词方法、装置、计算机装置及计算机存储介质。
技术介绍
随着信息社会的到来，中文文本信息的数量出现爆炸式的增长。中文作为一种黏着语，其结构模糊，中文的词与词之间没有明显的间隔，只有字和句子这两个层级的结构，但词却是中文文本意义的最小单位。若需要对中文文本进行命名实体识别、信息抽取、语法结构分析、自然语言理解等处理任务，必须对中文文本构建出词一级的结构。在构建中文文本的词一级的结构过程中，由于文本数量庞大，手工分词非常慢，并且汉语是以字构词，字与字之间是否成词需依照语句以及上下文意思来确定，导致手工分词过程中存在分词准确率低，效率低。现有技术中，使用循环神经网络(RecurrentNeuralNetwork，RNN)从大量文本中学习字的特征，并结合CRF、SVM对具有不同特征的字进行分类，进而确定哪些字是单字成词，哪些是几个字组成的词。现有技术由于采用简单原始的RNN，不能提取出字的长距离上下文中的隐含信息，导致学习到的特征表示不准确，存在分词准确率很低的问题。
技术实现思路
本专利技术实施例提供一种基于BiLSTM网络模型及CRF模型的分词方法，旨在解决现有技术中由于采用简单原始的RNN，不能提取出字的长距离上下文中的隐含信息，导致学习到的特征表示不准确，存在分词准确率很低的问题。本专利技术是这样实现的，一种基于BiLSTM网络模型及CRF模型的分词方法，包括：设置BiLSTM网络模型的神经元数量、字向量的维度、待识别语句长度，设置CRF模型的分词标签，基于所述设置后的BiLSTM网络模型及CRF模型构建分词模型；通过所述分词模型接收训练数据，所述训练数据包括字索引及与字索引对应的字标签索引，根据所述字索引从预先获取的字向量表中获取对应的字向量，根据所述获取的字向量生成字标签索引；根据所述生成的字标签索引与所述训练数据的字标签索引的对比结果，调整所述分词模型的权重参数，得到优化后的分词模型；通过所述优化后的分词模型对待识别中文文本进行分词处理。可选的，所述设置BiLSTM网络模型的神经元数量、字向量的维度、待识别语句长度之前，所述基于BiLSTM网络模型及CRF模型的分词方法还包括以下过程：基于原始中文文本构建字典，其中，所述字典包括中文字符及其与中文字符对应的索引；构建所述字向量表，所述字向量表包括所述字典中的索引及与所述索引对应字符的字向量；所述字典中字符的索引与所述字向量表的索引一一对应。可选的，所述通过所述优化后的分词模型对中文文本进行分词处理，包括以下过程：根据所述字典将所述中文文本转换成索引文本；根据所述字向量表，将所述索引文本转换为字向量文本，并将所述字向量文本输入所述优化后的分词模型，通过所述优化后的分词模型得到每个索引对应的分词标签索引；从预先获取的词标签列表中查找所述分词标签索引对应的分词标签，其中，所述词标签列表包括分词标签索引及与所述分词标签索引对应的分词标签；根据所述分词标签得到词边界，根据所述词边界确定所述中文文本的分词结果。可选的，所述根据所述分词标签确定所述中文文本的分词结果之后，所述基于BiLSTM网络模型及CRF模型的分词方法还包括以下步骤：根据所述分词结果与所述字典中包含的字符确定目标字符，所述目标字符为出现在所述分词结果中、且未出现在所述字典中的字符；将所述目标字符及对应的索引更新到所述字典中；根据所述分词结果与预先获取的词典中包含的词语确定目标词语，所述目标词语为出现在所述分词结果中、且未出现在所述词典中的词语；将所述目标词语及对应的索引更新到所述词典中。本专利技术还提供一种基于BiLSTM网络模型及CRF模型的分词装置，包括：设置模块，用于设置BiLSTM网络模型的神经元数量、字向量的维度、待识别语句长度，设置CRF模型的分词标签，基于所述设置后的BiLSTM网络模型及CRF模型构建分词模型；处理模块，用于通过所述分词模型接收训练数据，所述训练数据包括字索引及与字索引对应的字标签索引，根据所述字索引从预先获取的字向量表中获取对应的字向量，根据所述获取的字向量生成字标签索引；优化模块，用于根据所述生成的字标签索引与所述训练数据的字标签索引的对比结果，调整所述分词模型的权重参数，得到优化后的分词模型；分词处理模块，用于通过所述优化后的分词模型对待识别中文文本进行分词处理。可选的，所述基于BiLSTM网络模型及CRF模型的分词装置还包括：第一构建模块，用于基于原始中文文本构建字典，其中，所述字典包括中文字符及其与中文字符对应的索引；第二构建模块，用于构建所述字向量表，所述字向量表包括所述字典中的索引及与所述索引对应字符的字向量；所述字典中字符的索引与所述字向量表的索引一一对应。可选的，所述分词处理模块包括：第一转换子模块，用于根据所述字典将所述中文文本转换成索引文本；第二转换子模块，用于根据所述字向量表，将所述索引文本转换为字向量文本，并将所述字向量文本输入所述优化后的分词模型，通过所述优化后的分词模型得到每个索引对应的分词标签索引；查找子模块，用于从预先获取的词标签列表中查找所述分词标签索引对应的分词标签，其中，所述词标签列表包括分词标签索引及与所述分词标签索引对应的分词标签；确定子模块，用于根据所述分词标签得到词边界，根据所述词边界确定所述中文文本的分词结果。可选的，所述基于BiLSTM网络模型及CRF模型的分词装置还包括：更新模块，用于根据所述分词结果与所述字典中包含的字符确定目标字符，所述目标字符为出现在所述分词结果中、且未出现在所述字典中的字符；将所述目标字符及对应的索引更新到所述字典中；根据所述分词结果与预先获取的词典中包含的词语确定目标词语，所述目标词语为出现在所述分词结果中、且未出现在所述词典中的词语；将所述目标词语及对应的索引更新到所述词典中。本专利技术还提供一种计算机装置，所述计算机装置包括处理器，所述处理器用于执行存储器中计算机程序时实现如上述所述一种基于BiLSTM网络模型及CRF模型的分词方法的步骤。本专利技术还提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述一种基于BiLSTM网络模型及CRF模型的分词方法的步骤。本专利技术提供的一种基于BiLSTM网络模型及CRF模型的分词方法，通过所述设置后的BiLSTM获取待识别语句的字向量，每个字向量综合了上下文信息的向量表示，提高字向量的准确度，从而在将所述待识别语句的字向量输入所述设置后的CRF模型，得到所述待识别语句的分词标签更加准确；基于准确度较高的分词标签能够得到准确度更高的分词结果；进而根据交准确的分词能更加准确地调整分词模型的权重参数，得本文档来自技高网...

【技术保护点】
1.一种基于BiLSTM网络模型及CRF模型的分词方法，其特征在于，所述基于BiLSTM网络模型及CRF模型的分词方法包括：/n设置BiLSTM网络模型的神经元数量、字向量的维度、待识别语句长度，设置CRF模型的分词标签，基于所述设置后的BiLSTM网络模型及CRF模型构建分词模型；/n通过所述分词模型接收训练数据，所述训练数据包括字索引及与字索引对应的字标签索引，根据所述字索引从预先获取的字向量表中获取对应的字向量，根据所述获取的字向量生成字标签索引；/n根据所述生成的字标签索引与所述训练数据的字标签索引的对比结果，调整所述分词模型的权重参数，得到优化后的分词模型；/n通过所述优化后的分词模型对待识别中文文本进行分词处理。/n

【技术特征摘要】
1.一种基于BiLSTM网络模型及CRF模型的分词方法，其特征在于，所述基于BiLSTM网络模型及CRF模型的分词方法包括：
设置BiLSTM网络模型的神经元数量、字向量的维度、待识别语句长度，设置CRF模型的分词标签，基于所述设置后的BiLSTM网络模型及CRF模型构建分词模型；
通过所述分词模型接收训练数据，所述训练数据包括字索引及与字索引对应的字标签索引，根据所述字索引从预先获取的字向量表中获取对应的字向量，根据所述获取的字向量生成字标签索引；
根据所述生成的字标签索引与所述训练数据的字标签索引的对比结果，调整所述分词模型的权重参数，得到优化后的分词模型；
通过所述优化后的分词模型对待识别中文文本进行分词处理。


2.根据权利要求1所述的基于BiLSTM网络模型及CRF模型的分词方法，其特征在于，所述设置BiLSTM网络模型的神经元数量、字向量的维度、待识别语句长度之前，所述基于BiLSTM网络模型及CRF模型的分词方法还包括以下过程：
基于原始中文文本构建字典，其中，所述字典包括中文字符及其与中文字符对应的索引；
构建所述字向量表，所述字向量表包括所述字典中的索引及与所述索引对应字符的字向量；所述字典中字符的索引与所述字向量表的索引一一对应。


3.根据权利要求2所述的基于BiLSTM网络模型及CRF模型的分词方法，其特征在于，所述通过所述优化后的分词模型对中文文本进行分词处理，包括以下过程：
根据所述字典将所述中文文本转换成索引文本；
根据所述字向量表，将所述索引文本转换为字向量文本，并将所述字向量文本输入所述优化后的分词模型，通过所述优化后的分词模型得到每个索引对应的分词标签索引；
从预先获取的词标签列表中查找所述分词标签索引对应的分词标签，其中，所述词标签列表包括分词标签索引及与所述分词标签索引对应的分词标签；
根据所述分词标签得到词边界，根据所述词边界确定所述中文文本的分词结果。


4.根据权利要求3所述的基于BiLSTM网络模型及CRF模型的分词方法，其特征在于，所述根据所述分词标签确定所述中文文本的分词结果之后，所述基于BiLSTM网络模型及CRF模型的分词方法还包括以下步骤：
根据所述分词结果与所述字典中包含的字符确定目标字符，所述目标字符为出现在所述分词结果中、且未出现在所述字典中的字符；将所述目标字符及对应的索引更新到所述字典中；
根据所述分词结果与预先获取的词典中包含的词语确定目标词语，所述目标词语为出现在所述分词结果中、且未出现在所述词典中的词语；将所述目标词语及对应的索引更新到所述词典中。


5.一种基于BiLSTM网络模型及CRF模型的分词装置，其特征在于，所述基于BiLSTM网络模型及CRF模型的分词装置包括：
设置模块，用于设置BiLSTM网络模型的神经元数量、字向...

【专利技术属性】
技术研发人员：周忠诚，段炼，黄九鸣，张圣栋，
申请(专利权)人：湖南星汉数智科技有限公司，
类型：发明
国别省市：湖南;43