一种基于新词识别的化工领域分词方法技术

本发明专利技术公开了一种基于新词识别的化工领域分词方法，通过结合内部凝固度、聚集性规则以及新词识别模型来构建新词集合，将得到的新词集合对一次分词结果进行细化分词，获得最后的分词结果。包括下列步骤：S1、对获取的化工文本进行预处理操作获得切分词语集；S2、根据内部凝固度和预设的阈值，从多个切分词语集中获取预设数目的切分词语，采用符合聚集性规则构建候选新词集；S3、将候选新词语的统计量特征作为自变量进行训练新词识别模型；S4、将候选新词集中的候选新词语输入模型，进行成词判断，返回新词集合；S5、利用新词集合对一次分词结果进行细化分词，得到分词结果。本发明专利技术提出的构建新词集合方法以及细化分词模块能进一步提高分词准确率。步提高分词准确率。步提高分词准确率。

【技术实现步骤摘要】
一种基于新词识别的化工领域分词方法


[0001]本专利技术属于数据处理
，尤其涉及一种基于新词识别的化工领域分词方法。

技术介绍

[0002]分词是中文自然语言处理中最基础的任务。到目前为止，已有的分词研究成果仍不能完全满足应用的需要。在一些专业关键领域问题上仍然值得继续探讨，如分词的规范性、切分歧义、未登录词识别、分词与理解的先后等。
[0003]目前，普遍的新词识别方法为基于规则的方法和基于统计的方法。基于规则的方法以现有的词典作为基础结合一定的人工规则进行分词，对于新词的识别能力很低；基于统计的方法通常需要一个很大规模的语料库，在语料库不充足的情况下，对于新词识别的准确率会很低。目前主流的方法时采用统计和规则相结合的方法，发挥两个方法各种的优势从而提高新词的识别效果。现有的分词任务在通用领域已经取得了良好的效果，然而，由于化工领域词汇的特殊性，还不能完全满足针对化工领域分词的需要。

技术实现思路

[0004]专利技术目的：本专利技术的目的在于提供一种基于新词发现的化工领域分词方法。该化工领域分词方法分为两个模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于新词识别的化工领域分词方法，其特征在于，包括以下步骤：S1、对获取的中文化工文本进行预处理操作获得切分词语集；S2、针对各切分词语，获取切分词语的内部凝固度，根据所述内部凝固度和预设的凝固度阈值，从所述多个切分词语集中获取预设数目的切分词语，采用符合聚集性规则构建候选新词集；S3、在所述候选新词集中随机选取L条数据作为训练集的初始规模，每次按照一定的增量增加训练集的规模，将候选新词语的统计量特征作为自变量进行训练新词识别模型，当模型的准确率浮动范围基本不变时停止训练；S4、将所述候选新词集中除去训练集以外的候选新词语输入模型，进行进一步的成词判断，返回新词集合；S5、将NLPIR分词结果作为一次分词结果，利用S4得到的新词集合对所述分词结果进行细化分词，得到分词结果。2.根据权利要求1所述的基于新词识别的化工领域分词方法，其特征在于，步骤S2中计算切分词语内部凝固度方法为：将S1中得到的语料从左至右扩展候选词语，计算候选词语与右邻接字的增强信息值，若超过阈值便继续向右扩展，否则从上一位置切分，下一字串的截取位置从此位置作为起始点，继续向右扩展，形成候选未登录词集，用词语本身出现概率与该词语所有二分方法中两个组成部分独立出现的概率乘积比值的最小值来表示某一词语的增强信息值，采用以下公式计算增强信息值；其中c表示候选词语，len(c)表示词c的长度，c[0：i]，c[i：len(c)表示该候选词所有二分方法中两个组成部分。3.根据权利要求2所述的一种基于新词识别的化工领域分词方法，其特征在于，...

【专利技术属性】
技术研发人员：张云雁，胡荣林，冯万利，李翔，张海艳，王忆雯，朱全银，
申请(专利权)人：淮阴工学院，
类型：发明
国别省市：