一种基于大数据和中文特征的中文文本分词方法技术

本发明专利技术公开了一种基于大数据和中文特征的中文文本分词方法，第一步：首先建立文本库；第二步：然后对文本库中的文章进行分词；第三步：再对切分词组进行拼接；第四步：拼接得到的词组进行词频统计；第五步：之后对不同候选词库中的词组进行相似度计算；第六步：最后对候选词库进行整合优化形成行业词典。算法运行稳定、效果良好，技术成熟；全切分分词方法获得输入句子的所有可能的切分形式，从根本上避免可能切分形式的遗漏，实现完备的歧义检测；结合上下文识别新词，自动消除和切分歧义，分词准确度更高；将网络电子文本作为自动分词资源，利用相关手段在电子资源库中直接获取需要的知识，应用范围广泛，不受待处理文本的领域限制。

A Chinese Text Word Segmentation Method Based on Large Data and Chinese Features

【技术实现步骤摘要】
一种基于大数据和中文特征的中文文本分词方法
本专利技术涉及一种分词方法，尤其是涉及一种基于大数据和中文特征的中文文本分词方法。
技术介绍
与英语等西方语系语言不同，英文是以单词为基本的书写单位，英文单词之间通过空格进行分隔，而中文由古代汉语发展而来，以汉字为最基本的书写单位，中文语句由一组连续汉字序列构成，词语之间并不存在明显的划分标志，词语与词组的表达也比较模糊，需要阅读者通过语感和上下文识别每个词语和词组。现代汉语中的词汇通常为双字词汇或多字词汇，单个汉字不再等同于一个词语。虽然汉字是中文最基本书写单位，但词语是汉语中能够具有意义的最小独立语言成分。由于汉语具有较强的复杂性，如何快速准确地识别中文语句中的词语边界始终都是中文自然语言处理所要解决的难题之一。随着互联网、无线产品的发展，专业领域语料的需求越来越大。例如，财报分析需要金融领域语料，病例分析需要医学领域语料，环境变迁分析需要生物领域语料等。自然语言处理应用的划分越细致，对语料的要求越专业。分词是决定专业领域自然语料处理应用效果的关键因素，且其技术现已经被广泛应用于汉语信息抽取，信息索引与检索、文本分类与挖掘、文本纠错、手写输入、智能应答、机器翻译等相关领域，因此提高中文自动分词效果显得尤为重要。
技术实现思路
本专利技术要解决的技术问题是克服上述技术缺陷，因此提供一种基于大数据和中文特征的中文文本分词方法，从而解决上述问题。为实现上述目的，本专利技术提供如下技术方案：一种基于大数据和中文特征的中文文本分词方法，第一步：首先建立文本库；第二步：然后对文本库中的文章进行分词；第三步：再对切分词组进行拼接；第四步：拼接得到的词组进行词频统计；第五步：之后对不同候选词库中的词组进行相似度计算；第六步：最后对候选词库进行整合优化形成行业词典。作为本专利技术的一种优选技术方案，第一步中，建立文本库：充分利用大数据技术，通过爬虫手段爬取全网中文文本，构建千万规模的文本库，对源数据进行清洗，使得过滤后的数据格式只包含中文，英文及数字。作为本专利技术的一种优选技术方案，第二步中，对文本库中的文章进行分词即取一个训练语料，按照从左到右逐字切分，取出全部候选字，标记索引位置并存入数据库，如数据库A。作为本专利技术的一种优选技术方案，第三步中，对切分词组进行拼接，即在单个字的基础上索引位置往后延伸1,形成二元词，在二元词的基础上索引位置往后延伸1，形成三元词，以此类推，字长为N的候选词与右邻字拼接,产生字长为N+1的新候选词，直到字段长度达到要求。作为本专利技术的一种优选技术方案，第四步中，对拼接得到的词组进行词频统计即统计不同字长的词组出现的频率，取词频大于阈值(如80%)的词组，分别存入不同候选词库，如将二元词存入数据库B，三元词存入数据库C，以此类推。作为本专利技术的一种优选技术方案，第五步中，对不同候选词库中的词组进行相似度计算，即比较字长为N和字长为N+1的词出现频率，若后者的频率比上前者的出现频率大于阈值(如80%)，则判定前者为无效词，存入无效词库中。作为本专利技术的一种优选技术方案，第六步中，对候选词库进行整合优化，从所有候选词库中删去无效词,建立高频词库，并对高频词库进行优化,剔除无意义字符,如连词和介词,建立行业词典。与目前技术相比，本专利技术的有益效果是：1)算法运行稳定、效果良好，技术成熟；2)全切分分词方法获得输入句子的所有可能的切分形式，从根本上避免可能切分形式的遗漏，实现完备的歧义检测；3)结合上下文识别新词，自动消除和切分歧义，分词准确度更高；4)将网络电子文本作为自动分词资源，利用相关手段在电子资源库中直接获取需要的知识，应用范围广泛，不受待处理文本的领域限制；5)统计分词以概率论为理论基础，将汉字上下文中汉字组合串的出现抽象成随机过程，随机过程参数可以通过大规模语料库训练得到。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中。图1为本专利技术的方法逻辑示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例，基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1，本专利技术提供一种技术方案：一种基于大数据和中文特征的中文文本分词方法，第一步：首先建立文本库；第二步：然后对文本库中的文章进行分词；第三步：再对切分词组进行拼接；第四步：拼接得到的词组进行词频统计；第五步：之后对不同候选词库中的词组进行相似度计算；第六步：最后对候选词库进行整合优化形成行业词典。第一步中，建立文本库：充分利用大数据技术，通过爬虫手段爬取全网中文文本，构建千万规模的文本库，对源数据进行清洗，使得过滤后的数据格式只包含中文，英文及数字。第二步中，对文本库中的文章进行分词即取一个训练语料，按照从左到右逐字切分，取出全部候选字，标记索引位置并存入数据库，如数据库A。第三步中，对切分词组进行拼接，即在单个字的基础上索引位置往后延伸1,形成二元词，在二元词的基础上索引位置往后延伸1，形成三元词，以此类推，字长为N的候选词与右邻字拼接,产生字长为N+1的新候选词，直到字段长度达到要求。第四步中，对拼接得到的词组进行词频统计即统计不同字长的词组出现的频率，取词频大于阈值(如80%)的词组，分别存入不同候选词库，如将二元词存入数据库B，三元词存入数据库C，以此类推。第五步中，对不同候选词库中的词组进行相似度计算，即比较字长为N和字长为N+1的词出现频率，若后者的频率比上前者的出现频率大于阈值(如80%)，则判定前者为无效词，存入无效词库中。第六步中，对候选词库进行整合优化，从所有候选词库中删去无效词,建立高频词库，并对高频词库进行优化,剔除无意义字符,如连词和介词,建立行业词典。举例演示：1)清洗将源数据进行清洗，清洗后保留中文，英文，数字三种数据格式。2)切分单字比如,从”Pythoy由GuidovanRossum于1989年底专利技术”中取出单个词“Pythoy”，“由”，“GuidovanRossum”，“于”，“1989”，“年“，”底”，“发“，”明”，标注索引位置。3)进行词条组合，基于统计模式，将连续的单字合并成为字符串。在单个字的基础上索引位置往后延伸1此时为切分的两个字的词，如当目标文字为“根据尼尔森最新发布的全球高端化研究报告显示”，此时拆为两个字的词就出现“根据”,“据尼”.“尼尔”,“尔森”,“森最”,“新发”,“发布”,“布的”,“的全”,“全球”,“球高”,“高端”,“端化”,“化研”,“研究”,“究报”,“报告”,“告显”,“显示”,之后统计词频,按词频排序取前80%，存放在B数据库。在两个字的词的基础上索引位置往后延伸1,此时为切分的三个字的词，合并为三个字的词就出现“根据尼”，“据尼尔”，“尼尔森”，“尔森最”，“森最新”，“最新发”，“新发布”，“发布的”，“布的全”，“的全球”，“全球高”，“球高端”，“高端化”，“端化研”，“化研究”，“研究报”，“究报告”，“报告显”，“告显示”，之后统计词频,按词频排序取前本文档来自技高网...

【技术保护点】
1.一种基于大数据和中文特征的中文文本分词方法，其特征在于，第一步：首先建立文本库；第二步：然后对文本库中的文章进行分词；第三步：再对切分词组进行拼接；第四步：拼接得到的词组进行词频统计；第五步：之后对不同候选词库中的词组进行相似度计算；第六步：最后对候选词库进行整合优化形成行业词典。

【技术特征摘要】
1.一种基于大数据和中文特征的中文文本分词方法，其特征在于，第一步：首先建立文本库；第二步：然后对文本库中的文章进行分词；第三步：再对切分词组进行拼接；第四步：拼接得到的词组进行词频统计；第五步：之后对不同候选词库中的词组进行相似度计算；第六步：最后对候选词库进行整合优化形成行业词典。2.根据权利要求1所述的一种基于大数据和中文特征的中文文本分词方法，其特征在于，第一步中，建立文本库：充分利用大数据技术，通过爬虫手段爬取全网中文文本，构建千万规模的文本库，对源数据进行清洗，使得过滤后的数据格式只包含中文，英文及数字。3.根据权利要求1所述的一种基于大数据和中文特征的中文文本分词方法，其特征在于，第二步中，对文本库中的文章进行分词即取一个训练语料，按照从左到右逐字切分，取出全部候选字，标记索引位置并存入数据库，如数据库A。4.根据权利要求1所述的一种基于大数据和中文特征的中文文本分词方法，其特征在于，第三步中，对切分词组进行拼接，即在单个字的基础上索引位置往后延伸1,形成二...

【专利技术属性】
技术研发人员：陈刚，
申请(专利权)人：上海晏鼠计算机技术股份有限公司，
类型：发明
国别省市：上海,31