System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 分布式引擎的索引创建方法、装置以及电子设备制造方法及图纸_技高网

分布式引擎的索引创建方法、装置以及电子设备制造方法及图纸

技术编号:40302428 阅读:8 留言:0更新日期:2024-02-07 20:48
本申请涉及一种分布式引擎的索引创建方法、装置以及电子设备。该方法包括:在接收到目标指令的情况下,从目标指令中,获取要创建的目标索引的索引类型标签,其中,目标指令用于在目标集群中创建目标索引,索引类型标签用于指示目标索引的被访问次数的高低;确定目标集群中,每一个节点的存储类型标签,其中,存储类型标签用于标记节点的磁盘的类型;根据索引类型标签与存储类型标签,从目标集群中确定出目标节点;将目标索引存储到目标节点。本申请解决了Elasticsearch集群中节点的磁盘资源分配不准确的技术问题。

【技术实现步骤摘要】

本申请涉及集群领域,尤其涉及一种分布式引擎的索引创建方法、装置以及电子设备


技术介绍

1、现有技术中,elasticsearch集群作为一个分布式的搜索和分析引擎,包括了多个节点,而每一个节点使用的磁盘可能包括了高性能磁盘和低性能磁盘。elasticsearch集群在创建索引时,并没有对磁盘和索引进行区分,导致不常用的索引可能占用高性能磁盘,而常用的索引占据低性能磁盘,造成磁盘资源分配不准确。


技术实现思路

1、本申请提供了一种分布式引擎的索引创建方法、装置、存储介质以及电子设备,以解决elasticsearch集群中节点的磁盘资源分配不准确的技术问题。

2、第一方面,本申请提供了一种分布式引擎的索引创建方法,包括:在接收到目标指令的情况下,从上述目标指令中,获取要创建的目标索引的索引类型标签,其中,上述目标指令用于在目标集群中创建上述目标索引,上述索引类型标签用于指示上述目标索引的被访问次数的高低;确定上述目标集群中,每一个节点的存储类型标签,其中,上述存储类型标签用于标记上述节点的磁盘的类型;根据上述索引类型标签与上述存储类型标签,从上述目标集群中确定出目标节点;将上述目标索引存储到上述目标节点。

3、第二方面,本申请提供了一种分布式引擎的索引创建装置,包括:获取模块,用于在接收到目标指令的情况下,从上述目标指令中,获取要创建的目标索引的索引类型标签,其中,上述目标指令用于在目标集群中创建上述目标索引,上述索引类型标签用于指示上述目标索引的被访问次数的高低;第一确定模块,用于确定上述目标集群中,每一个节点的存储类型标签,其中,上述存储类型标签用于标记上述节点的磁盘的类型;第二确定模块,用于根据上述索引类型标签与上述存储类型标签,从上述目标集群中确定出目标节点;存储模块,用于将上述目标索引存储到上述目标节点。

4、作为一种可选的示例,上述第一确定模块包括:第一确定单元,用于将每一个节点作为当前节点,确定上述当前节点使用的磁盘;在上述当前节点使用的磁盘为一种磁盘的情况下,将上述磁盘的类型标签确定为上述存储类型标签;在上述当前节点使用的磁盘为多种磁盘的情况下,将多种磁盘中每一种磁盘的类型标签确定为上述当前节点的一个存储类型标签。

5、作为一种可选的示例,上述第二确定模块包括:第二确定单元,用于从上述目标集群的每一个节点的存储类型标签中查找上述索引类型标签;在查找到上述索引类型标签的情况下,将包括上述索引类型标签的节点确定为一个第一节点;从上述第一节点中选择一个或多个节点作为上述目标节点。

6、作为一种可选的示例,上述第二确定单元包括:选择子单元,用于确定上述第一节点中每一个节点的可用存储空间的大小;按照上述可用存储空间从大到小的顺序,选择n个第一节点作为上述目标节点,其中,上述n为小于或等于m的正整数,上述m为上述目标索引的索引分片的数量。

7、作为一种可选的示例,上述选择子单元还用于:确定上述第一节点中,上述索引类型标签对应类型的磁盘的可用存储空间大小;根据上述索引类型标签对应类型的磁盘的可用存储空间的大小从大到小对上述第一节点进行排序。

8、作为一种可选的示例,上述存储模块包括:存储单元,用于在上述目标节点为一个的情况下,获取上述目标节点的第一存储地址,其中,上述第一存储地址为上述目标节点中与上述索引类型标签匹配的磁盘的存储地址;将上述目标索引的所有索引分片存储在上述第一存储地址;在上述目标节点为多个的情况下,确定每一个上述目标节点的第二存储地址,其中,上述第二存储地址为与上述索引类型标签匹配的磁盘的存储地址,将上述目标索引的至少一个索引分片存储在一个上述第二存储地址。

9、作为一种可选的示例,上述获取模块包括:获取单元,用于获取上述目标索引的历史访问次数;根据上述历史访问次数,确定上述目标索引的访问频次;在上述访问频次超出预设频次的情况下,将上述目标索引的索引类型标签设置为热索引类型标签,在上述访问频次小于或等于上述预设频次的情况下,将上述目标索引的索引类型标签设置为冷索引类型标签,其中,上述热索引类型标签用于指示上述目标索引为高访问量索引,上述冷索引类型标签用于指示上述目标索引为低访问量索引,上述预设频次用于比较出上述目标索引的索引类型。

10、第三方面,本申请提供了一种电子设备,包括:至少一个通信接口;与上述至少一个通信接口相连接的至少一个总线;与上述至少一个总线相连接的至少一个处理器;与上述至少一个总线相连接的至少一个存储器,其中,上述存储器存储有计算机程序,上述处理器被配置为执行上述计算机程序时实现上述任一项上述的分布式引擎的索引创建方法。

11、第四方面,本申请还提供了一种计算机存储介质,存储有计算机可执行指令,上述计算机可执行指令用于执行本申请上述任一项上述的分布式引擎的索引创建方法。

12、本申请实施例提供的上述技术方案与现有技术相比具有如下优点:本申请实施例提供的该方案,在创建目标索引时,可以根据索引类型标签来确定目标索引时高访问类型索引还是低访问类型索引,然后在创建目标索引时,选择对应存储类型标签的节点作为目标节点来存储目标索引,而存储类型标签与磁盘类型有关,从而实现了目标索引根据访问量高低,存储在对应的不同类型的磁盘上的效果。

本文档来自技高网...

【技术保护点】

1.一种分布式引擎的索引创建方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述确定所述目标集群中,每一个节点的存储类型标签包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述索引类型标签与所述存储类型标签,从所述目标集群中确定出目标节点包括:

4.根据权利要求3所述的方法,其特征在于,所述从所述第一节点中选择一个或多个节点作为所述目标节点包括:

5.根据权利要求4所述的方法,其特征在于,所述确定所述第一节点中每一个节点的可用存储空间的大小包括:

6.根据权利要求1所述的方法,其特征在于,所述将所述目标索引存储到所述目标节点包括:

7.根据权利要求1所述的方法,其特征在于,所述在接收到目标指令的情况下,从所述目标指令中,获取要创建的目标索引的索引类型标签包括:

8.一种分布式引擎的索引创建装置,其特征在于,包括:

9.一种电子设备,其特征在于,包括:至少一个通信接口;与所述至少一个通信接口相连接的至少一个总线;与所述至少一个总线相连接的至少一个处理器;与所述至少一个总线相连接的至少一个存储器,其中,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1至7任意一项中所述的方法。

10.一种计算机可读的存储介质,所述存储介质存储有计算机可执行指令,所述计算机可执行指令用于执行本申请上述权利要求1至7任一项所述的方法。

...

【技术特征摘要】

1.一种分布式引擎的索引创建方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述确定所述目标集群中,每一个节点的存储类型标签包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述索引类型标签与所述存储类型标签,从所述目标集群中确定出目标节点包括:

4.根据权利要求3所述的方法,其特征在于,所述从所述第一节点中选择一个或多个节点作为所述目标节点包括:

5.根据权利要求4所述的方法,其特征在于,所述确定所述第一节点中每一个节点的可用存储空间的大小包括:

6.根据权利要求1所述的方法,其特征在于,所述将所述目标索引存储到所述目标节点包括:

7.根...

【专利技术属性】
技术研发人员:温帮
申请(专利权)人:北京金山云网络技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1