企业级搜索应用服务器集群自动扩容方法及装置制造方法及图纸

本发明专利技术公开了一种企业级搜索应用服务器集群自动扩容方法及系统，通过获取企业级搜索应用服务器集群中原节点的数目、每个切片旳副本的数目，以及扩容后新增节点的数目，确定出原切片的副本的第一参数和目标切片的第二参数，据此对原切片的副本进行切分，再合并为目标切片，从而实现了企业级搜索应用服务器集群的扩容；节省了手动操作的时间的同时，提高了扩容的准确率和效率。

Automatic expansion method and device for enterprise level search application server cluster

The invention discloses an enterprise search application server cluster automatic expansion method and system, and the number of application server cluster node search through access to Central Plains enterprise a copy of each slice, and the number of nodes added after the expansion of the second parameters, the first parameter and determine the target chip sections of the original copy, copy it the slices were cut, and then merged into the target chip, so as to realize the enterprise search application server cluster expansion; save manual operation time and improve the accuracy and efficiency of the expansion.

【技术实现步骤摘要】
企业级搜索应用服务器集群自动扩容方法及装置
本专利技术涉及分布式搜索引擎领域，尤其涉及一种企业级搜索应用服务器集群自动扩容方法及装置。
技术介绍
Solr(Searchingonlucenew/Replication，企业级搜索应用服务器)是一个独立的企业级搜索应用服务器，它对外提供类似Web-service的API接口(ApplicationProgrammingInterface,应用程序编程接口)。用户可以通过http(HyperTextTransferProtocol，超文本传输协议)请求，向搜索引擎服务器提交一定格式的XML(ExtensibleMarkupLanguage，可扩展标记语言)文件，生成索引；也可以通过HttpGet操作提出查找请求，并得到XML格式的返回结果。随着索引数量越来越大，搜索响应时间则会变得越来越长，索引新内容的速度也会越来越慢，这对检索是大大不利的，因此，需要对Solr集群进行扩容。而目前扩容的方法仅仅是根据当前集群的切片及副本情况进行手动切分、合并目标索引数据，由于是手动切分，其操作步骤十分零散且复杂，而且切分所需要确定的切片的切分次数和切分大小等参数手动切分的准切度十分低，因此现有技术中并无一种普适性的可靠的扩容系统。
技术实现思路
本专利技术提供了一种Solr集群自动扩容方法及装置，解决了现有技术中由于手动操作过多而导致扩容复杂度高且易出错、效率低下的问题。为了解决上述技术问题，本专利技术提供了一种Solr集群自动扩容方法，包括：获取Solr集群中原节点的数目、每个切片的副本的数目，以及所述Solr集群扩容后新增节点的数目；根据所述原节点的数目以及每个切片旳副本的数目，确定需要切分的各个原切片的副本的第一参数；根据所述原节点的数目、新增节点的数目以及每个切片旳副本的数目，确定各个目的切片的第二参数；根据所述第一参数和第二参数，对所述需要切分的各个原切片的副本进行切分，得到现切片；根据所述第二参数对所述现切片进行相应的合并，得到目的切片。进一步的，所述第一参数包括需要切分的各个原切片的副本在哈希环内所处的范围；所述根据所述原节点的数目以及每个切片旳副本的数目，确定需要切分的原切片的副本的第一参数包括：根据所述原节点的数目以及每个切片旳副本的数目，确定需要切分的原切片的副本的数目；根据所述需要切分的原切片的副本的数目，确定需要切分的原切片的副本在哈希环内所处的范围；其中，各个原切片的副本在所述哈希环内所处的范围的大小相等。进一步的，所述根据原节点的数目以及副本的数目，确定需要切分的原切片的副本包括：从所有原切片的副本中，选出每个在哈希环内所处的范围不同的原切片的一个副本作为需要切分的原切片的副本。进一步的，所述第二参数包括：各个目的切片在哈希环内所处的范围；所述根据原节点的数目、新增节点的数目以及副本的数目，确定各个目的切片的第二参数包括：根据原节点的数目、新增节点的数目，确定目的节点的数目；根据所述目的节点的数目以及每个切片旳副本的数目确定目的切片的数目；根据所述目的切片的数目确定各个目的切片在哈希环内所处的范围；其中，各个目的切片在所述哈希环内所处的范围的大小相等。进一步的，在所述获取Solr集群中原节点的数目以及Solr集群扩容后新增节点的数目之后，还包括：确定获取的所述原节点数、新增节点数是合理的。进一步的，在对所述现切片进行相应的合并之后，还包括：删除原切片以及对应的数据。进一步的，在所述删除原切片以及数据之后，还包括：检测各个新生成的路由表以及各个节点的数据量，判断扩容是否完成。为了解决上述技术问题，本专利技术还提供了一种Solr集群自动扩容系统，包括：获取模块，用于获取Solr集群中原节点的数目、每个切片旳副本的数目，以及Solr集群扩容后新增节点的数目；第一分析模块，用于根据所述原节点的数目以及每个切片旳副本的数目，确定需要切分的各个原切片的副本的第一参数；第二分析模块，用于根据所述原节点的数目、新增节点的数目以及每个切片旳副本的数目，确定各个目的切片的第二参数；切分模块，用于根据所述第一参数和第二参数，对所述需要切分的各个原切片的副本进行切分，得到现切片；合并模块，用于根据所述第二参数对所述现切片进行相应的合并，得到所述目的切片。进一步的，所述第一参数包括需要切分的各个原切片的副本在哈希环内所处的范围；所述第一分析模块包括第一数目子模块和第一范围子模块；所述第一数目子模块用于根据所述原节点的数目以及每个切片旳副本的数目，确定需要切分的原切片的副本的数目；所述第一范围子模块用于根据所述第一数目子模块确定的所述需要切分的原切片的副本的数目，确定需要切分的原切片的副本在哈希环内所处的范围；其中，各个原切片的副本在所述哈希环内所处的范围的大小相等。进一步的，所述第一数目子模块包括选择子模块，用于从所有原切片的副本中，选出每个在哈希环内所处的范围不同的原切片的一个副本作为需要切分的原切片的副本。进一步的，所述第二参数包括：各个目的切片在哈希环内所处的范围；所述第二分析模块包括第二数目子模块和第二范围子模块，所述第二数目子模块用于根据原节点的数目、新增节点的数目，确定目的节点的数目，并根据所述目的节点的数目以及每个切片旳副本的数目确定目的切片的数目；所述第二范围子模块用于根据所述第二数目子模块确定的所述目的切片的数目确定各个目的切片在哈希环内所处的范围；其中，各个目的切片在哈希环内所处的范围的大小相等。进一步的，还包括确定模块，用于所述获取模块获取Solr集群中原节点的数目以及Solr集群扩容后新增节点的数目之后，确定获取的所述原节点数、新增节点数是合理的。进一步的，还包括删除模块，用于所述合并模块对现切片进行相应的合并之后，删除原切片以及对应的数据。进一步的，还包括最终确认模块，用于在所述删除模块删除冗余的原切片以及数据之后，检测各个新生成的节点的路由表以及各个节点的数据量，判断扩容是否完成。本专利技术的有益效果：本专利技术提供了一种Solr集群自动扩容方法及系统，通过获取Solr集群中原节点的数目、每个切片旳副本的数目，以及扩容后新增节点的数目，确定出原切片的副本的第一参数和目标切片的第二参数，据此对原切片的副本进行切分，再合并为目标切片，从而实现了Solr集群的扩容；节省了手动操作的时间的同时，提高了扩容的准确率和效率。附图说明图1为本专利技术实施例一提供的一种Solr集群的自动扩容方法流程图；图2为本专利技术实施例二提供的一种Solr集群的自动扩容系统示意图；图3为本专利技术实施例三提供的一种Solr集群的自动扩容方法流程图；图4为本专利技术实施例三提供的原切片、现切片、目的切片示意图；图5为本专利技术实施例四提供的现切片的切分示意图。具体实施方式本专利技术的构思在于：利用Solr集群中原节点的数目、副本的数目，以及扩容后新增节点的数目，确定出原切片的副本的范围和目标切片的范围，据此进一步确定原切片切分后的现切片的数目和所处的范围，并据此对原切片的副本进行切分，在合并为目标切片，从而实现了企业级搜索应用服务器集群的扩容，与现有技术相比节省了手动操作的时间且提高了准确率。下面结合附图对本专利技术的实施方式作进一步说明。实施例一本实施例提供了一种Solr集群的自动扩容方法，请参本文档来自技高网...

【技术保护点】
一种企业级搜索应用服务器集群自动扩容方法，其特征在于，包括：获取企业级搜索应用服务器集群中原节点的数目、每个切片的副本的数目，以及所述企业级搜索应用服务器集群扩容后新增节点的数目；根据所述原节点的数目以及每个切片的副本的数目，确定需要切分的各个原切片的副本的第一参数；根据所述原节点的数目、每个切片的副本的数目以及新增节点的数目，确定各个目的切片的第二参数；根据所述第一参数和第二参数，对所述需要切分的各个原切片的副本进行切分，得到现切片；根据所述第二参数对所述现切片进行相应的合并，得到目的切片。

【技术特征摘要】
1.一种企业级搜索应用服务器集群自动扩容方法，其特征在于，包括：获取企业级搜索应用服务器集群中原节点的数目、每个切片的副本的数目，以及所述企业级搜索应用服务器集群扩容后新增节点的数目；根据所述原节点的数目以及每个切片的副本的数目，确定需要切分的各个原切片的副本的第一参数；根据所述原节点的数目、每个切片的副本的数目以及新增节点的数目，确定各个目的切片的第二参数；根据所述第一参数和第二参数，对所述需要切分的各个原切片的副本进行切分，得到现切片；根据所述第二参数对所述现切片进行相应的合并，得到目的切片。2.如权利要求1所述的企业级搜索应用服务器集群自动扩容方法，其特征在于，所述第一参数包括需要切分的各个原切片的副本在哈希环内所处的范围；所述根据所述原节点的数目以及每个切片的副本的数目，确定需要切分的原切片的副本的第一参数包括：根据所述原节点的数目以及每个切片的副本的数目，确定需要切分的原切片的副本的数目；根据所述需要切分的原切片的副本的数目，确定需要切分的原切片的副本在哈希环内所处的范围；其中，各个原切片的副本在所述哈希环内所处的范围的大小相等。3.如权利要求2所述的企业级搜索应用服务器集群自动扩容方法，其特征在于，所述根据原节点的数目以及副本的数目，确定需要切分的原切片的副本包括：从所有原切片的副本中，选出每个在哈希环内所处的范围不同的原切片的一个副本作为需要切分的原切片的副本。4.如权利要求1所述的企业级搜索应用服务器集群自动扩容方法，其特征在于，所述第二参数包括：各个目的切片在哈希环内所处的范围；所述根据原节点的数目、新增节点的数目以及副本的数目，确定各个目的切片的第二参数包括：根据原节点的数目、新增节点的数目，确定目的节点的数目；根据所述目的节点的数目以及每个切片的副本的数目确定目的切片的数目；根据所述目的切片的数目确定各个目的切片在哈希环内所处的范围；其中，各个目的切片在哈希环内所处的范围的大小相等。5.如权利要求1所述的企业级搜索应用服务器集群自动扩容方法，其特征在于，在所述获取企业级搜索应用服务器集群中原节点的数目以及企业级搜索应用服务器集群扩容后新增节点的数目之后，还包括：确定获取的所述原节点数、新增节点数是合理的。6.如权利要求1-5任一项所述的企业级搜索应用服务器集群自动扩容方法，其特征在于，在对所述现切片进行相应的合并之后，还包括：删除原切片以及对应的数据。7.如权利要求6所述的企业级搜索应用服务器集群自动扩容方法，其特征在于，在所述删除原切片以及数据之后，还包括：检测各个新生成的路由表以及各个节点的数据量，判断扩容是否完成。8.一种企业级搜索应用服务器集群自动扩容系统，其特征在于，包括：获取模块，用于获取企业级搜索应用...

【专利技术属性】
技术研发人员：王志超，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东,44