一种分片数动态调整方法、装置、设备及介质制造方法及图纸

本申请公开了一种分片数动态调整方法、装置、设备及介质，涉及计算机技术领域，该方法包括：每天定时检测历史数据量；基于历史数据量确定出满足预设条件的目标索引，并确定按天划分的目标索引对应的目标天数；根据不同目标天数选择直接将节点数设置为目标分片数，或，选择基于不同目标天数获取不同天数的目标数据量，并基于目标数据量计算预期分片数，然后根据预期分片数与节点数的数量关系设置目标分片数。由此可见，本申请按天分索引减少数据量，并根据目标索引的目标天数和目标数据量实时调整分片数，以达到确定合理分片数以进行合理分片的目的。分片的目的。分片的目的。

【技术实现步骤摘要】
一种分片数动态调整方法、装置、设备及介质


[0001]本专利技术涉及计算机
，特别涉及一种分片数动态调整方法、装置、设备及介质。

技术介绍

[0002]当前，在大数据环境的场景下，经常会发现很多现场按月划分的索引会滚动很多个索引，然后在现场数据量比较大情况下，由于出厂时无法预估现场某种类型的数据量，默认的分片数设置是节点的2倍，但是默认设置的Elasticsearch索引shard(分片)，可能由于分配不当导致占满磁盘或使用较多的JVM导致集群宕机等情况。该问题不解决会使得数据查询、聚合等出现问题，该大数据量查询/聚合查询将会导致Elasticsearch集群崩溃、集群无法稳定运行、数据无法正常入库等后果。
[0003]因此，如何确定合理分片数以进行合理分片是当前亟待解决的问题。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种分片数动态调整方法、装置、设备及介质，能够确定合理分片数以进行合理分片。其具体方案如下：
[0005]第一方面，本申请公开了一种分片数动态调整方法，包括：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分片数动态调整方法，其特征在于，包括：每天定时检测历史数据量；基于所述历史数据量确定出满足预设条件的目标索引，并确定按天划分的所述目标索引对应的目标天数；根据不同所述目标天数选择直接将所述节点数设置为目标分片数，或，选择基于不同所述目标天数获取不同天数的目标数据量，并基于所述目标数据量计算预期分片数，然后根据所述预期分片数与节点数的数量关系设置所述目标分片数。2.根据权利要求1所述的分片数动态调整方法，其特征在于，所述根据不同所述目标天数选择直接将所述节点数设置为目标分片数，包括：若所述目标天数为第一天数或第二天数，则选择将所述节点数设置为目标分片数。3.根据权利要求1所述的分片数动态调整方法，其特征在于，所述基于不同所述目标天数获取不同天数的目标数据量，并基于所述目标数据量计算预期分片数，然后根据所述预期分片数与节点数的数量关系设置所述目标分片数，包括：若所述目标天数大于第一天数小于第三天数，则统计前第一天数内的第一数据量，并基于所述第一数据量计算第一分片数，然后根据所述第一分片数与所述节点数的数量关系设置所述目标分片数；若所述目标天数不小于第三天数，则统计前第三天数内的第二数据量，并基于所述第二数据量计算第二分片数，然后根据所述第二分片数与所述节点数的数量关系设置所述目标分片数。4.根据权利要求1所述的分片数动态调整方法，其特征在于，所述基于所述目标数据量计算预期分片数，包括：计算所述目标数据量与参考数据量的比值与1的和得到参考分片数，对所述参考分片数进行向下取整得到预期分片数。5.根据权利要求1所述的分片数动态调整方法，其特征在于，所述根据所述预期分片数与节点数的数量关系设置所述目标分片数，包括：若所述预期分片数小于节点数且所述节点数为质数，则将所述预期分片数设置为所述目标分片数；若所述预期分片数小于节点数且所述节点数为非质数，则确定所述节点数的若干约数，并将与所述预期分片数临近且大于所述预期分片数的目标约数设置为所述目标分片数；...

【专利技术属性】
技术研发人员：魏燕子，杨梦龙，
申请(专利权)人：杭州安恒信息技术股份有限公司，
类型：发明
国别省市：