一种基于分布式数据库的负载均衡调整方法及装置制造方法及图纸

技术编号:25479392 阅读:27 留言:0更新日期:2020-09-01 23:00
本申请实施例提供一种基于分布式数据库的负载均衡调整方法及装置,涉及计算机技术领域,该方法包括:获取分布式数据库的负载特征和数据使用特征;对负载特征和数据使用特征进行特征合并处理,得到合并特征;通过预先构建的识别模型对合并特征进行负载识别处理,得到待调整的迁移源列表;根据迁移源列表对分布式数据库进行负载均衡调整处理,得到调整后的分布式数据库。可见,实施这种实施方式,能够解决由于数据的使用热度不同导致存储节点访问压力过大的问题,达到分布式数据库负载均衡的效果,进而提升集群的读写性能。

【技术实现步骤摘要】
一种基于分布式数据库的负载均衡调整方法及装置
本申请涉及计算机
,具体而言,涉及一种基于分布式数据库的负载均衡调整方法及装置。
技术介绍
分布式数据库是基于单节点数据库的基础上发展起来的,是计算机技术、数据存储技术和网络技术结合的产物。在实际应用中发现,由于数据的使用热度不同,通常会导致某些存储节点的访问压力过大,造成机器损坏,引发数据库集群的短板问题。
技术实现思路
本申请实施例的目的在于提供一种基于分布式数据库的负载均衡调整方法及装置,用以解决由于数据的使用热度不同导致存储节点访问压力过大的问题,达到分布式数据库负载均衡的效果,进而提升集群的读写性能。本申请实施例第一方面提供了一种基于分布式数据库的负载均衡调整方法,其特征在于,包括:获取所述分布式数据库的负载特征和数据使用特征;对所述负载特征和所述数据使用特征进行特征合并处理,得到合并特征;通过预先构建的识别模型对所述合并特征进行负载识别处理,得到待调整的迁移源列表;根据所述迁移源列表对所述分布式数据库进行负载均衡调整处理,得到调整后的分布式数据库。在上述实现过程中,该方法可以优先获取分布式数据库的负载特征和数据使用特征;然后再对负载特征和数据使用特征进行特征合并处理,得到合并特征;在获取到合并特征之后,通过预先构建的识别模型对合并特征进行负载识别处理,得到待调整的迁移源列表;最后,根据迁移源列表对分布式数据库进行负载均衡调整处理,得到调整后的分布式数据库。可见,实施这种实施方式,能够将分布式数据库中的集群节点负载信息作为负载特征,将分布式数据库中节点高热度数据的数据量信息作为数据使用特征,然后合并上述两种特征得到合并特征,以使识别模型可以根据该合并特征进行负载识别,得到相应的迁移源列表,然后再进一步根据该迁移源列表对分布式数据库进行负载均衡处理,得到调整后的分布式数据库,从而能够实现对分布式数据库的负载均衡,进而能够解决由于数据的使用热度不同导致存储节点访问压力过大的问题,达到分布式数据库负载均衡的效果,提升数据集群的读写性能。进一步地,在所述获取所述分布式数据库的负载特征和数据使用特征之前,所述方法还包括:构建原始识别模型;获取用于训练所述原始识别模型的训练特征数据;对所述训练特征数据进行特征归一化处理,得到归一化特征数据;通过所述归一化特征数据对所述原始识别模型进行模型训练,得到识别模型。在上述实现过程中,该方法还以可以在获取分布式数据库的负载特征和数据使用特征之前,优先构建原始识别模型;然后获取用于训练原始识别模型的训练特征数据;进而对训练特征数据进行特征归一化处理,得到归一化特征数据;最后通过归一化特征数据对原始识别模型进行模型训练,得到识别模型。可见,实施这种实施方式,该方法可以在特征获取之前预先建立用于进行负载识别处理的识别模型,从而使得识别模型可以根据实际情况实时建立,并且实时使用,进而提高该基于分布式数据库的负载均衡调整方法的应用实时性,提高分布式数据库的调整调率。进一步地,所述通过预先构建的识别模型对所述合并特征进行负载识别处理,得到待调整的迁移源列表,包括:获取所述分布式数据库的所有节点列表;将所述合并特征输入至预先构建的识别模型中,输出处理结果;根据所述处理结果从所述所有节点列表中选择出所有待调整的节点,得到初始迁移源列表;对所述初始迁移源列表中每个节点进行排序处理,得到待调整的迁移源列表。在上述实现过程中,该方法在获取待调整的迁移源列表的过程中,可以优先获取分布式数据库的所有节点列表;然后将合并特征输入至预先构建的识别模型中,以使识别模型输出相应的处理结果;该方法在获取到处理结果之后,根据该处理结果从所有节点列表中选择出所有待调整的节点,得到初始迁移源列表;然后再对初始迁移源列表中每个节点进行排序处理,得到待调整的迁移源列表。可见,实施这种实施方式,该方法可以通过识别模型来对合并特征进行处理,得到处理结果,然后再根据处理结果在分布式数据库中的节点列表中提取出初始迁移源列表,然后再对节点记性排序得到待调整的迁移源列表,从而实现迁移源列表的准确获取,从而提高了对分布式负载的均衡调整效果。进一步地,所述根据所述迁移源列表对所述分布式数据库进行负载均衡调整处理,得到调整后的分布式数据库,包括:获取上一次进行负载均衡调整时的存储迁移目的列表、上一次进行负载均衡调整时使用率最高的数据类别以及上一次进行负载均衡调整时使用率最低的数据类别;根据所述存储迁移目的列表和所述使用率最高的数据类别对所述迁移源列表中每个节点的存储数据进行数据迁移处理,得到初步调整的分布式数据库;在所述初步调整的分布式数据库的基础上,根据所述存储迁移目的列表和所述使用率最低的数据类别对所述迁移源列表中每个节点的存储数据进行数据回迁处理,得到调整后的分布式数据库。在上述实现过程中,该方法在获取调整后的分布式数据库的过程中,可以优先获取上一次进行负载均衡调整时的存储迁移目的列表、上一次进行负载均衡调整时使用率最高的数据类别以及上一次进行负载均衡调整时使用率最低的数据类别;然后,再根据存储迁移目的列表和使用率最高的数据类别对迁移源列表中每个节点的存储数据进行数据迁移处理,得到初步调整的分布式数据库;最后,再在初步调整的分布式数据库的基础上,根据存储迁移目的列表和使用率最低的数据类别对迁移源列表中每个节点的存储数据进行数据回迁处理,得到调整后的分布式数据库。可见,实施这种实施方式,分布式数据库可以根据历史数据进行更新调整,从而实现高效准确的调整分布式数据库的效果。进一步地,所述负载特征包括所述分布式数据库的每个节点的负载均值,所述负载均值包括中央处理器负载均值、机器负载均值、内存负载均值中的一种或者多种;所述数据使用特征包括所述分布式数据库中存储的每种类型数据的数据使用率。在上述实现过程中,负载特征包括分布式数据库的每个节点中包括中央处理器负载均值、机器负载均值、内存负载均值中的一种或者多种的负载均值;该负载均值可以通过多个负载均值的各项数值来均衡调整调整分布式数据库,从而提高分布式数据库的均衡调整效果;同时,数据使用特征包括分布式数据库中存储的每种类型数据的数据使用率,该每种类型数据的数据使用率可以提高数据丰富程度,从而获取更准确的数据内容,进而提高分布式数据库的均衡调整效果。本申请实施例第二方面提供了一种基于分布式数据库的负载均衡调整装置,所述负载均衡调整装置包括:获取单元,用于获取所述分布式数据库的负载特征和数据使用特征;合并单元,用于对所述负载特征和所述数据使用特征进行特征合并处理,得到合并特征;识别单元,用于通过预先构建的识别模型对所述合并特征进行负载识别处理,得到待调整的迁移源列表;调整单元,用于根据所述迁移源列表对所述分布式数据库进行负载均衡调整处理,得到调整后的分布式数据库。在上述实现过程中,该基于分布式数据库的负载均衡调整装本文档来自技高网...

【技术保护点】
1.一种基于分布式数据库的负载均衡调整方法,其特征在于,包括:/n获取所述分布式数据库的负载特征和数据使用特征;/n对所述负载特征和所述数据使用特征进行特征合并处理,得到合并特征;/n通过预先构建的识别模型对所述合并特征进行负载识别处理,得到待调整的迁移源列表;/n根据所述迁移源列表对所述分布式数据库进行负载均衡调整处理,得到调整后的分布式数据库。/n

【技术特征摘要】
1.一种基于分布式数据库的负载均衡调整方法,其特征在于,包括:
获取所述分布式数据库的负载特征和数据使用特征;
对所述负载特征和所述数据使用特征进行特征合并处理,得到合并特征;
通过预先构建的识别模型对所述合并特征进行负载识别处理,得到待调整的迁移源列表;
根据所述迁移源列表对所述分布式数据库进行负载均衡调整处理,得到调整后的分布式数据库。


2.根据权利要求1所述的基于分布式数据库的负载均衡调整方法,其特征在于,在所述获取所述分布式数据库的负载特征和数据使用特征之前,所述方法还包括:
构建原始识别模型;
获取用于训练所述原始识别模型的训练特征数据;
对所述训练特征数据进行特征归一化处理,得到归一化特征数据;
通过所述归一化特征数据对所述原始识别模型进行模型训练,得到识别模型。


3.根据权利要求1所述的基于分布式数据库的负载均衡调整方法,其特征在于,所述通过预先构建的识别模型对所述合并特征进行负载识别处理,得到待调整的迁移源列表,包括:
获取所述分布式数据库的所有节点列表;
将所述合并特征输入至预先构建的识别模型中,输出处理结果;
根据所述处理结果从所述所有节点列表中选择出所有待调整的节点,得到初始迁移源列表;
对所述初始迁移源列表中每个节点进行排序处理,得到待调整的迁移源列表。


4.根据权利要求1所述的基于分布式数据库的负载均衡调整方法,其特征在于,所述根据所述迁移源列表对所述分布式数据库进行负载均衡调整处理,得到调整后的分布式数据库,包括:
获取上一次进行负载均衡调整时的存储迁移目的列表、上一次进行负载均衡调整时使用率最高的数据类别以及上一次进行负载均衡调整时使用率最低的数据类别;
根据所述存储迁移目的列表和所述使用率最高的数据类别对所述迁移源列表中每个节点的存储数据进行数据迁移处理,得到初步调整的分布式数据库;
在所述初步调整的分布式数据库的基础上,根据所述存储迁移目的列表和所述使用率最低的数据类别对所述迁移源列表中每个节点的存储数据进行数据回迁处理,得到调整后的分布式数据库。


5.根据权利要求1所述的基于分布式数据库的负载均衡调整方法,其特征在于,所述负载特征包括所述分布式数据库的每个节点的负载均值...

【专利技术属性】
技术研发人员:王天宇刘远郭颂
申请(专利权)人:北京学之途网络科技有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1