适用于多用户自定义字典的中文分词词频方法及装置制造方法及图纸

本发明专利技术公开了一种适用于多用户自定义字典的中文分词词频方法及装置，其中方法包括：初始化hanlp分词服务；采用Aho

【技术实现步骤摘要】
适用于多用户自定义字典的中文分词词频方法及装置


[0001]本专利技术涉及中文分词
，具体涉及一种适用于多用户自定义字典的中文分词词频方法及装置。

技术介绍

[0002]目前，对于开源的中文分词器(如hanlp分词器、jieba分词器)提供的用户自定义字典的在线分词词频服务，其支持单用户自定义字典添加词条，但在启动的初始化阶段需要加载用户自定义字典，如果需要支持多个用户自定义字典的在线分词词频功能，就需要将每个用户自定义字典重新进行中文分词器的初始化操作，该过程耗费时间较长。
[0003]针对中文分词器提供多用户自定义字典的在线分词词频服务时，多次初始化操作耗费时间长的问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本专利技术的主要目的在于提供一种适用于多用户自定义字典的中文分词词频方法及装置，以解决现有中文分词器提供多用户自定义字典的在线分词词频服务时需要多次初始化操作、耗费时间长的问题。
[0005]为了实现上述目的，本专利技术的第一方面提供了一种适用于多用户自定义字典的中文分词词频方法，包括：
[0006]初始化hanlp分词服务；
[0007]采用Aho
‑
Corasick算法，根据第一文本和多用户自定义字典生成各用户自定义字典词频结果；
[0008]根据第一文本和多用户自定义字典，通过hanlp分词服务生成第二文本分词词频结果；
[0009]合并所述各用户自定义字典词频结果和所述第二文本分词词频结果，得到最终中文分词词频结果。
[0010]可选地，所述采用Aho
‑
Corasick算法，根据第一文本和多用户自定义字典生成各用户自定义字典词频结果，包括：
[0011]将第一文本和多用户自定义字典作为Aho
‑
Corasick算法的输入，输出各用户自定义字典对应的trie树结果；
[0012]根据各用户自定义字典对应的trie树结果生成各用户自定义字典词频结果。
[0013]进一步地，所述将第一文本和多用户自定义字典作为Aho
‑
Corasick算法的输入，输出各用户自定义字典对应的trie树结果，包括：
[0014]将第一文本、用户自定义停用词和用户自定义字典作为Aho
‑
Corasick算法的输入，输出停用词trie树结果和字典trie树结果；
[0015]根据字典trie树结果，生成用户自定义字典词频结果。
[0016]可选地，所述根据第一文本和多用户自定义字典，通过hanlp分词服务生成第二文
本分词词频结果，包括：
[0017]根据第一文本和各用户自定义字典对应的trie树结果生成第二文本；
[0018]将所述第二文本通过hanlp分词服务，生成第二文本分词词频结果。
[0019]进一步地，所述根据第一文本和各用户自定义字典对应的trie树结果生成第二文本，包括：
[0020]合并停用词trie树结果和字典trie树结果，得到有序trie树结果；
[0021]根据所述第一文本和有序trie树结果，将所述第一文本中的用户自定义停用词和用户自定义字典替换为空格字符，得到第二文本。
[0022]可选地，所述合并所述各用户自定义字典词频结果和所述第二文本分词词频结果，包括：
[0023]合并用户自定义字典词频结果和所述第二文本分词词频结果。
[0024]本专利技术的第二方面提供了一种适用于多用户自定义字典的中文分词词频装置，包括：
[0025]初始化单元，用于初始化hanlp分词服务；
[0026]第一生成单元，用于采用Aho
‑
Corasick算法，根据第一文本和多用户自定义字典生成各用户自定义字典词频结果；
[0027]第二生成单元，用于根据第一文本和多用户自定义字典，通过hanlp分词服务生成第二文本分词词频结果；
[0028]合并单元，用于合并所述各用户自定义字典词频结果和所述第二文本分词词频结果，得到最终中文分词词频结果。
[0029]可选地，所述第一生成单元，包括：
[0030]输出模块，用于将第一文本和多用户自定义字典作为Aho
‑
Corasick算法的输入，输出各用户自定义字典对应的trie树结果；
[0031]生成模块，用于根据各用户自定义字典对应的trie树结果生成各用户自定义字典词频结果。
[0032]本专利技术的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行第一方面任意一项提供的适用于多用户自定义字典的中文分词词频方法。
[0033]本专利技术的第四方面提供了一种电子设备，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行第一方面任意一项提供的适用于多用户自定义字典的中文分词词频方法。
[0034]在本专利技术实施例中，通过Aho
‑
Corasick算法快速定位用户自定义字典在文本中的位置，并将原始文本替换为空格字符的方法，对于多用户自定义字典的分词服务，只需要一次初始化操作，即可实现高并发地支持多个用户的自定义字典的高性能分词词频服务，解决了现有中文分词器提供多用户自定义字典的在线分词词频服务时需要多次初始化操作、耗费时间长的问题。
附图说明
[0035]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0036]图1为本专利技术实施例提供的方法流程示意图；
[0037]图2为本专利技术实施例提供的装置框图；
[0038]图3为本专利技术实施例提供的电子设备框图。
具体实施方式
[0039]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0040]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适用于多用户自定义字典的中文分词词频方法，其特征在于，包括：初始化hanlp分词服务；采用Aho
‑
Corasick算法，根据第一文本和多用户自定义字典生成各用户自定义字典词频结果；根据第一文本和多用户自定义字典，通过hanlp分词服务生成第二文本分词词频结果；合并所述各用户自定义字典词频结果和所述第二文本分词词频结果，得到最终中文分词词频结果。2.根据权利要求1所述的方法，其特征在于，所述采用Aho
‑
Corasick算法，根据第一文本和多用户自定义字典生成各用户自定义字典词频结果，包括：将第一文本和多用户自定义字典作为Aho
‑
Corasick算法的输入，输出各用户自定义字典对应的trie树结果；根据各用户自定义字典对应的trie树结果生成各用户自定义字典词频结果。3.根据权利要求2所述的方法，其特征在于，所述将第一文本和多用户自定义字典作为Aho
‑
Corasick算法的输入，输出各用户自定义字典对应的trie树结果，包括：将第一文本、用户自定义停用词和用户自定义字典作为Aho
‑
Corasick算法的输入，输出停用词trie树结果和字典trie树结果；根据字典trie树结果，生成用户自定义字典词频结果。4.根据权利要求1所述的方法，其特征在于，所述根据第一文本和多用户自定义字典，通过hanlp分词服务生成第二文本分词词频结果，包括：根据第一文本和各用户自定义字典对应的trie树结果生成第二文本；将所述第二文本通过hanlp分词服务，生成第二文本分词词频结果。5.根据权利要求4所述的方法，其特征在于，所述根据第一文本和各用户自定义字典对应的trie树结果生成第二文本，包括：合并停用词trie树结果和字典trie树结果，得到有序trie树结...

【专利技术属性】
技术研发人员：王平，潘成，赵鹏，
申请(专利权)人：上海众言网络科技有限公司，
类型：发明
国别省市：