分词方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术实施例提供一种分词方法、装置、电子设备和存储介质，该方法包括：确定待分词字符串的多个初步分词结果；基于每个初步分词结果的分词颗粒度参数，或基于每个初步分词结果的分词颗粒度参数和分词通用性参数，从所有初步分词结果中选取所述待分词字符串的字符串分词结果。本发明专利技术实施例提供的方法、装置、电子设备和存储介质，基于待分词字符串的每个初步分词结果的分词颗粒度参数，对待分词字符串进行分词，保证字符串分词结果中单词拆分颗粒度较粗，从而降低将完整的单词错误拆分开的概率，以避免由于错误拆分导致的分词歧义的问题，提高分词结果的正确率。

【技术实现步骤摘要】
分词方法、装置、电子设备和存储介质
本专利技术涉及自然语言处理
，尤其涉及一种分词方法、装置、电子设备和存储介质。
技术介绍
随着计算机科学的发展，分词技术作为自然语言处理领域中一项重要的基础技术，被广泛应用在机器翻译、文本摘要、文本检索等场景。目前的分词是基于词典实现的，具体是将待分词的字符串与预先构建的词典中的词条进行匹配，若匹配到某个词条，即可将字符串中该词条对应的字符划分为单个分词。然而当待分词的字符串中涉及到可能存在会引发歧义的分词组合时，上述方法并不能保证分词结果的正确性。
技术实现思路
本专利技术实施例提供一种分词方法、装置、电子设备和存储介质，用以解决现有技术中针对可能存在歧义的分词组合，词典匹配所得的分词结果正确性低的缺陷。第一方面，本专利技术实施例提供一种分词方法，包括：确定待分词字符串的多个初步分词结果；基于每个初步分词结果的分词颗粒度参数，或基于每个初步分词结果的分词颗粒度参数和分词通用性参数，从所有初步分词结果中选取所述待分词字符串的字符串分词结果。可选本文档来自技高网...

【技术保护点】
1.一种分词方法，其特征在于，包括：/n确定待分词字符串的多个初步分词结果；/n基于每个初步分词结果的分词颗粒度参数，或基于每个初步分词结果的分词颗粒度参数和分词通用性参数，从所有初步分词结果中选取所述待分词字符串的字符串分词结果。/n

【技术特征摘要】
1.一种分词方法，其特征在于，包括：
确定待分词字符串的多个初步分词结果；
基于每个初步分词结果的分词颗粒度参数，或基于每个初步分词结果的分词颗粒度参数和分词通用性参数，从所有初步分词结果中选取所述待分词字符串的字符串分词结果。


2.根据权利要求1所述的分词方法，其特征在于，所述分词颗粒度参数包括对应初步分词结果中包含的字符总数、单词数量以及最大单词字符数中的至少一种；
所述分词通用性参数包括对应初步分词结果的单词字符数离散程度和/或单词通用程度。


3.根据权利要求2所述的分词方法，其特征在于，所述基于每个初步分词结果的分词颗粒度参数，或基于每个初步分词结果的分词颗粒度参数和分词通用性参数，从所有初步分词结果中选取所述待分词字符串的字符串分词结果，具体包括：
基于每个初步分词结果的分词颗粒度参数，从所有初步分词结果中选取出若干个候选分词结果；
若候选分词结果的数量大于预设分词结果数量，则基于每个候选分词结果的分词通用性参数，从所有候选分词结果中选取所述字符串分词结果；
否则将所述若干个候选分词结果作为所述字符串分词结果。


4.根据权利要求3所述的分词方法，其特征在于，所述基于每个初步分词结果的分词颗粒度参数，从所有初步分词结果中选取出若干个候选分词结果，具体包括：
若字符总数最大的初步分词结果的数量小于等于所述预设分词结果数量，则将所述字符总数最大的初步分词结果作为所述字符串分词结果，否则从所述字符总数最大的初步分词结果中选取单词数量最少的初步分词结果；
若所述单词数量最少的初步分词结果的数量小于等于所述预设分词结果数量，则将所述单词数量最少的初步分词结果作为所述字符串分词结果，否则从所述单词数量最少的初步分词结果中选取最大单词字符数最大的初步分词结果作为所述候选分词结果。


5.根据权利要求3所述的分词方法，其特征在于，所述基于每个候选分词结果的分词通...

【专利技术属性】
技术研发人员：王忍宝，王晓斐，高群，
申请(专利权)人：安徽淘云科技有限公司，
类型：发明
国别省市：安徽;34