分布式集群索引分片的评估方法及装置、电子设备制造方法及图纸

本发明专利技术公开了一种分布式集群索引分片的评估方法及装置、电子设备，所述方法包括：获取业务方所选定的集群的配置信息以及业务方指定的单个索引的数据量的预估值；获取分布式集群的节点配置信息；根据集群的配置信息、单个索引的数据量的预估值以及节点配置信息，计算得到单个索引的分片数量区间。利用上述方案可以使索引分片等技术问题对用户透明，用户不需要了解分布式集群本身的运行以及性能相关问题，直接根据选定的配置信息及业务索引数据量的预估值，可以得到索引的分片数量区间，方便用户根据分片数量区间建立对应的索引，提高索引建立的合理性，有效避免业务发展可能出现的性能问题。

【技术实现步骤摘要】
分布式集群索引分片的评估方法及装置、电子设备
本专利技术涉及软件领域，具体涉及一种分布式集群索引分片的评估方法及装置、电子设备。
技术介绍
分布式搜索服务器，如ElasticSearch(以下简称ES)，可以利用分布式集群提供分布式多用户能力的全文搜索引擎，能够达到实时搜索，稳定、可靠、快速。ES可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成多个，分布到不同的节点上，使得一个索引可以存储超过一个节点容量的数据，从而构成分布式集群搜索。但ES本身限定了只能在索引创建时一次指定分片的数量，在索引创建后分片数量不能再进行更改。因此，在建立索引时，需要预先考虑如何创建合理的分片数量，如过度分片，每个分片都是有额外的成本的，当建立的分片数量过多，分片开始竞争相同的硬件资源时,性能便会逐步下降；同时，增大了合并分片查询结果时的复杂度，增大了查询耗时；且如果在大量分片上只维护了很少的数据,则将导致最终的文档相关性较差。当分片数量过少时，分片本身过大，可能会对分布式集群从故障中恢复的能力产生负面影响。当分片的数量建立不合理时，只能重新创建索引，又使得整个过程耗时较多且影响业务本文档来自技高网...

【技术保护点】
1.一种分布式集群索引分片的评估方法，包括：获取业务方所选定的集群的配置信息以及所述业务方指定的单个索引的数据量的预估值；获取分布式集群的节点配置信息；根据所述集群的配置信息、单个索引的数据量的预估值以及节点配置信息，计算得到单个索引的分片数量区间。

【技术特征摘要】
1.一种分布式集群索引分片的评估方法，包括：获取业务方所选定的集群的配置信息以及所述业务方指定的单个索引的数据量的预估值；获取分布式集群的节点配置信息；根据所述集群的配置信息、单个索引的数据量的预估值以及节点配置信息，计算得到单个索引的分片数量区间。2.根据权利要求1所述的方法，其中，所述集群的配置信息包括内存总容量；所述分布式集群的节点配置信息包括节点总数。3.根据权利要求2所述的方法，其中，所述根据所述集群的配置信息、单个索引的数据量的预估值以及节点配置信息，计算得到单个索引的分片数量区间进一步包括：确定内存占用量区间；根据所述内存占用量区间、单个索引的数据量的预估值以及节点总数，计算得到单个索引的分片数量区间。4.根据权利要求3所述的方法，其中，所述分片数量区间的最大值/最小值与所述单个索引的数据量的预估值成正比；所述分片数量区间的最大值/最小值与所述节点总数成反比；所述分片数量区间的最大值与所述内存占用量区间的最小值成反比，所述分片数量区间的最小值与所述内存占用量区间的最大值成反比。5.根据权利要求1-4中任一项所述的方法，其中，在所述计算得到单个索引的分片数量区间之后，所述方法还包括：获取索引的副本个数；根据单个节点所能建立的分片数量最大值、所述副本个数、所述节点总数以及所述单个索引的分片数量区间，计算得到对应所述集群的配置信息所能建立的索引个数区间。6.根据...

【专利技术属性】
技术研发人员：任娜，王立新，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京,11