一种用于关键词搜索的多节点分词系统及方法技术方案

本发明专利技术涉及一种用于关键词搜索的多节点分词系统及方法。该系统中词元分发代理服务器分别通信连接每个分词节点服务器，词元分发代理服务器接收大量词元，按照预设分词规则将每个词元分发至对应的分词节点服务器；客户端代理服务器分别通信连接每个分词节点服务器，客户端代理服务器接收用户终端上传的待搜索词，按照预设分词规则将待搜索词分发至对应的分词节点服务器；分词节点服务器查询出与待搜索词匹配的词元，并将查询所得词元返回至客户端代理服务器；客户端代理服务器将查询所得词元下发至对应的用户终端。本发明专利技术使用多个分词节点服务器来分散数据量，且通过设置词汇分发算对待搜索词进行分发，实现大平台大词汇量下的高效低成本检索。

【技术实现步骤摘要】
一种用于关键词搜索的多节点分词系统及方法
本专利技术涉及搜索引擎搜索词推荐领域，更具体地说，涉及一种用于关键词搜索的多节点分词系统及方法。
技术介绍
参考图1，为现有技术中分词器的系统结构示意图，现有搜索引擎分词器使用单机内存式存储，自带字典有42万组词汇。在某一领域具体使用时会根据需要添加第三方词汇，达到补充语义的效果。这种方法只能解决50万左右的词汇量需求，若词汇达到百万级别和千万级别时，就需要进行大规模内存扩容，费用会直线上升，成本特别高。例如电子元器件行业，对品类的划分极其细致，并且规格编码的词元量也很大，很容易就会达到百万乃至千万级量级，现有分词器不能满足要求。另外，编程语言对软件的内存有上限要求，如Java虚拟机内存达到一定的大小GB级别时，会引起不可预知的内存泄漏，导致不可用甚至带来系统崩溃的灾难。
技术实现思路
本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种用于关键词搜索的多节点分词系统及方法。本专利技术解决其技术问题所采用的技术方案是：构造一种用于关键词搜索的多节点分词系统，包括词本文档来自技高网...

【技术保护点】
1.一种用于关键词搜索的多节点分词系统，其特征在于，包括词元分发代理服务器(10)、客户端代理服务器(20)和至少两个分词节点服务器(30)；/n所述词元分发代理服务器(10)分别通信连接每个所述分词节点服务器(30)，所述词元分发代理服务器(10)接收大量词元，按照预设分词规则将每个所述词元分发至对应的所述分词节点服务器(30)；/n所述客户端代理服务器(20)分别通信连接每个所述分词节点服务器(30)，所述客户端代理服务器(20)接收用户终端(40)上传的待搜索词，按照所述预设分词规则将所述待搜索词分发至对应的分词节点服务器(30)；所述分词节点服务器(30)查询出与所述待搜索词匹配的词元...

【技术特征摘要】
1.一种用于关键词搜索的多节点分词系统，其特征在于，包括词元分发代理服务器(10)、客户端代理服务器(20)和至少两个分词节点服务器(30)；
所述词元分发代理服务器(10)分别通信连接每个所述分词节点服务器(30)，所述词元分发代理服务器(10)接收大量词元，按照预设分词规则将每个所述词元分发至对应的所述分词节点服务器(30)；
所述客户端代理服务器(20)分别通信连接每个所述分词节点服务器(30)，所述客户端代理服务器(20)接收用户终端(40)上传的待搜索词，按照所述预设分词规则将所述待搜索词分发至对应的分词节点服务器(30)；所述分词节点服务器(30)查询出与所述待搜索词匹配的词元，并将查询所得词元返回至所述客户端代理服务器(20)；所述客户端代理服务器(20)将查询所得词元下发至对应的所述用户终端(40)。


2.根据权利要求1所述的用于关键词搜索的多节点分词系统，其特征在于，所述预设分词规则为词元属性信息，每个所述分词节点服务器(30)设置对应的词元属性信息；
所述客户端代理服务器(20)根据每个词元的词元属性信息将词元分发至对应的所述分词节点服务器(30)，所述客户端代理服务器(20)根据所述待搜索词的词元属性信息将所述待搜索词分发至对应的所述分词节点服务器(30)。


3.根据权利要求2所述的用于关键词搜索的多节点分词系统，其特征在于，所述词元属性信息为词元对应汉语拼音的首字母；或
所述词元属性信息为词元对应语言拼写的首字母。


4.根据权利要求1所述的用于关键词搜索的多节点分词系统，其特征在于，多个所述分词节点服务器(30)为多个独立的实体服务器；或
多个所述分词节点服务器(30)为多个独立的虚拟服务器；或
多个所述分词节点服务器(30)为多个独立的实体服务器和多个独立的虚拟服务器的混合。


5.根据权利要求1所述的用于关键词搜索的多节点分词系统，其特征在于，所述词元分发代理服务器(10)接收的大量词元为电子元器件相关词汇。


6.根据权利要求1所述的用于关键词搜索的多节点分词系统，其特征在于，还包括备用分词节点服务器(301)，在某一所述分词节点服务器(30)损坏时自动启动与其对应的备用分词节点服务器(301)。


7.一种用于关键词搜索的多节点分词方法，其特征在于，包括：
A、词库建立过程：词元分发代理服务器(10)接收大量词元，按照预设分词规则将每个所述词元分发至对应的分词节点服务器(30)；
B、待搜索词搜索过程：
b1、客户端代理服务器(20)接收用户终端(40)上传的待搜索词，按照所述预设分词规则将所述待搜索词分发至对应的分词节点服务器(30)；
b2、所述分词节点服务器(30)查询出与所述待搜索词匹配的词元，并将查询所得词元返回至所述客户端代理服务器(2...

【专利技术属性】
技术研发人员：商良磊，
申请(专利权)人：深圳市世强元件网络有限公司，
类型：发明
国别省市：广东;44