分布式集群索引分片的评估方法及装置、电子设备制造方法及图纸

本发明专利技术公开了一种分布式集群索引分片的评估方法及装置、电子设备，所述方法包括：获取业务方所选定的集群的配置信息以及业务方指定的单个索引的数据量的预估值；获取分布式集群的节点配置信息；根据集群的配置信息、单个索引的数据量的预估值以及节点配置信息，计算得到单个索引的分片数量区间。利用上述方案可以使索引分片等技术问题对用户透明，用户不需要了解分布式集群本身的运行以及性能相关问题，直接根据选定的配置信息及业务索引数据量的预估值，可以得到索引的分片数量区间，方便用户根据分片数量区间建立对应的索引，提高索引建立的合理性，有效避免业务发展可能出现的性能问题。

【技术实现步骤摘要】
分布式集群索引分片的评估方法及装置、电子设备
本专利技术涉及软件领域，具体涉及一种分布式集群索引分片的评估方法及装置、电子设备。
技术介绍
分布式搜索服务器，如ElasticSearch(以下简称ES)，可以利用分布式集群提供分布式多用户能力的全文搜索引擎，能够达到实时搜索，稳定、可靠、快速。ES可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成多个，分布到不同的节点上，使得一个索引可以存储超过一个节点容量的数据，从而构成分布式集群搜索。但ES本身限定了只能在索引创建时一次指定分片的数量，在索引创建后分片数量不能再进行更改。因此，在建立索引时，需要预先考虑如何创建合理的分片数量，如过度分片，每个分片都是有额外的成本的，当建立的分片数量过多，分片开始竞争相同的硬件资源时,性能便会逐步下降；同时，增大了合并分片查询结果时的复杂度，增大了查询耗时；且如果在大量分片上只维护了很少的数据,则将导致最终的文档相关性较差。当分片数量过少时，分片本身过大，可能会对分布式集群从故障中恢复的能力产生负面影响。当分片的数量建立不合理时，只能重新创建索引，又使得整个过程耗时较多且影响业务使用。基于上述问题，使得用户在建立索引时，需要先了解ES应如何设置分片，对用户限定了技术门槛要求。但实际在建立索引时，很多用户往往只想得到明确的分片数量，甚至都不关心随意的设置可能带来的问题。但现有技术还不能使用户直接得到合理的分片数量。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的分布式集群索引分片的评估方法及装置、电子设备。根据本专利技术的一个方面，提供了一种分布式集群索引分片的评估方法，其包括：获取业务方所选定的集群的配置信息以及业务方指定的单个索引的数据量的预估值；获取分布式集群的节点配置信息；根据集群的配置信息、单个索引的数据量的预估值以及节点配置信息，计算得到单个索引的分片数量区间。根据本专利技术的另一方面，提供了一种分布式集群索引分片的评估装置，其包括：获取模块，适于获取业务方所选定的集群的配置信息以及业务方指定的单个索引的数据量的预估值；节点获取模块，适于获取分布式集群的节点配置信息；分片计算模块，适于根据集群的配置信息、单个索引的数据量的预估值以及节点配置信息，计算得到单个索引的分片数量区间。根据本专利技术的又一方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；存储器用于存放至少一可执行指令，可执行指令使处理器执行上述分布式集群索引分片的评估方法对应的操作。根据本专利技术的再一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述分布式集群索引分片的评估方法对应的操作。根据本专利技术提供的分布式集群索引分片的评估方法及装置、电子设备，获取业务方所选定的集群的配置信息以及业务方指定的单个索引的数据量的预估值；获取分布式集群的节点配置信息；根据集群的配置信息、单个索引的数据量的预估值以及节点配置信息，计算得到单个索引的分片数量区间。利用本专利技术可以使索引分片等技术问题对用户透明，用户不需要了解分布式集群本身的运行以及性能相关问题，直接根据选定的配置信息及业务索引数据量的预估值，可以得到索引的分片数量区间。方便用户根据分片数量区间建立对应的索引，提高索引建立的合理性，有效避免业务发展可能出现的性能问题。且本专利技术基于分布式集群配置信息和业务方需求的索引信息确定分片数量区间，使得得到的分片数量区间既满足业务方需求，又适合分布式集群配置，可以合理的保存数据，避免性能问题。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了根据本专利技术一个实施例的分布式集群索引分片的评估方法的流程图；图2示出了根据本专利技术另一个实施例的分布式集群索引分片的评估方法的流程图；图3示出了根据本专利技术一个实施例的分布式集群索引分片的评估装置的功能框图；图4示出了根据本专利技术一个实施例的一种电子设备的结构示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。图1示出了根据本专利技术一个实施例的分布式集群索引分片的评估方法的流程图。如图1所示，分布式集群索引分片的评估方法具体包括如下步骤：步骤S101，获取业务方所选定的集群的配置信息以及业务方指定的单个索引的数据量的预估值。考虑到业务方可能对集群的配置不熟悉，或者便于业务方选择，服务方可以依据部署经验把上述配置信息打包成多个固定模板形式，形成不同的集群套餐。集群套餐可以方便业务方直接选择，降低了对业务方的技术门槛要求，提高了后续对集群索引分片操作的便利性。在本专利技术中分布式集群为ElasticSearch分布式集群(以下简称ES分布式集群)。业务方需要根据自己的业务需求建立索引，以便加快搜索速度，尽可能达到实时搜索的效果。在业务方使用ES分布式集群建立索引时，可以利用ES分布式集群本身对分片的管理，为索引建立多个分片。ES分布式集群对分片中数据的存储、分片中数据的查询、查询结果汇总等管理对业务方而言均是透明的，业务方不需要了解ES分布式集群中分片如何进行数据存储、查询、结果汇总等处理，仅在建立索引时指定分片数量即可。由于业务方其主要关注点在于利用ES分布式集群进行搜索，而不了解在建立索引时设置多少个分片数量更为合理。本实施例基于业务方所了解的内容在业务方建立索引时，提供给业务方索引具体的分片数量，引导业务方建立合理的索引和分片。业务方对业务所需的单个索引数据量可以给出预估值，预估值与业务息息相关，即业务方可以指定单个索引的数据量估算值，如500G。业务方还可以选定业务需要的ES分布式集群的集群配置信息。集群套餐的配置信息具体包括如内存总容量，由于ES分布式集群本身特性其会运行JVM锁住内存，本领域技术人员在配置ES分布式集群时即便有足够的内存，也会尽量使内存总容量不超过32G，避免浪费内存，降低CPU的性能，为ES分布式集群配置的内存总容量需要考虑不影响ES分布式集群本身的运行，且一般不会动态扩容。内存总容量会影响索引分片数量的设置，内存总容量较小时，设置在其上的分片本身可存储的数据量也会受限较小，索引的数据量的预估值较大时，可能需要设置多个分片，才能满足业务的需求；内存总容量较大时，设置在其上的分片本身存储的数据量可以大些，根据索引的数据量的预估值，可以设置少量分片。集群套餐的配置信息还可以包括磁盘容量，由于磁盘容量可以通过动态扩容实现，其对索引分片数量设置的影响较小。不同的配置本文档来自技高网...

【技术保护点】
1.一种分布式集群索引分片的评估方法，包括：获取业务方所选定的集群的配置信息以及所述业务方指定的单个索引的数据量的预估值；获取分布式集群的节点配置信息；根据所述集群的配置信息、单个索引的数据量的预估值以及节点配置信息，计算得到单个索引的分片数量区间。

【技术特征摘要】
1.一种分布式集群索引分片的评估方法，包括：获取业务方所选定的集群的配置信息以及所述业务方指定的单个索引的数据量的预估值；获取分布式集群的节点配置信息；根据所述集群的配置信息、单个索引的数据量的预估值以及节点配置信息，计算得到单个索引的分片数量区间。2.根据权利要求1所述的方法，其中，所述集群的配置信息包括内存总容量；所述分布式集群的节点配置信息包括节点总数。3.根据权利要求2所述的方法，其中，所述根据所述集群的配置信息、单个索引的数据量的预估值以及节点配置信息，计算得到单个索引的分片数量区间进一步包括：确定内存占用量区间；根据所述内存占用量区间、单个索引的数据量的预估值以及节点总数，计算得到单个索引的分片数量区间。4.根据权利要求3所述的方法，其中，所述分片数量区间的最大值/最小值与所述单个索引的数据量的预估值成正比；所述分片数量区间的最大值/最小值与所述节点总数成反比；所述分片数量区间的最大值与所述内存占用量区间的最小值成反比，所述分片数量区间的最小值与所述内存占用量区间的最大值成反比。5.根据权利要求1-4中任一项所述的方法，其中，在所述计算得到单个索引的分片数量区间之后，所述方法还包括：获取索引的副本个数；根据单个节点所能建立的分片数量最大值、所述副本个数、所述节点总数以及所述单个索引的分片数量区间，计算得到对应所述集群的配置信息所能建立的索引个数区间。6.根据...

【专利技术属性】
技术研发人员：任娜，王立新，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京,11