System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于智能运维的分布式系统监控方法技术方案_技高网

基于智能运维的分布式系统监控方法技术方案

技术编号:40957667 阅读:3 留言:0更新日期:2024-04-18 20:34
本发明专利技术涉及数据聚类技术领域,具体涉及一种基于智能运维的分布式系统监控方法。该方法首先通过各个子系统的资源占比特征值和当前时刻的资源占比率,构建各个子系统对应的数据点;根据所有数据点的聚类中心度量值,筛选出所有数据点中的各个初始聚类中心点;根据所有初始聚类中心点,对各个子系统对应的数据点进行聚类,获取分布式系统的各个聚类簇;根据各个聚类簇中各个数据点的资源占比情况,进行资源分配。本发明专利技术通过改进初始聚类中心点的选择,将资源使用情况类似的子系统更准确地聚为一类,实现资源准确合理地分配,更好地维护分布式系统的性能。

【技术实现步骤摘要】

本专利技术涉及数据聚类,具体涉及一种基于智能运维的分布式系统监控方法


技术介绍

1、分布式系统是由多个子系统构成,子系统分别部署在不同的服务器上,通过网络进行各个子系统之间的调用和协作,共同完成系统的任务或目标。在分布式系统中,单个子系统的运行状况对于整个分布式系统性能具有重要影响,在分布式系统运行过程中,当某个子系统的cpu资源占比率较高时,可能导致该子系统的过载或崩溃,从而影响整个系统的稳定性和效率。所以在分布式系统的运行过程中,需要监控分布式系统中子系统的cpu资源占比率,并对子系统进行聚类,使得相同聚类簇的子系统的资源占比情况类似,有助于运维人员了解资源占比情况,更好地管理和调整资源分配,维护分布式系统的性能。

2、现有技术利用fcm聚类算法(fuzzy c-means clustering algorithm,模糊c-均值聚类算法)根据cpu资源占比率对子系统进行聚类。然而该算法对初始聚类中心点选择非常敏感,初始聚类中心点选择不合理,容易导致聚类陷入局部最优问题,从而使得难以将具有相似系统资源占比的子系统进行聚为一类,影响管理和分配子系统资源的合理性,使得维护分布式系统的性能效果不佳。


技术实现思路

1、为了解决利用fcm聚类算法技术问题,初始聚类中心点选择不合理,导致难以将具有相似系统资源占比的子系统进行聚为一类,导致管理和分配子系统资源不合理,使得维护分布式系统的性能效果不佳的技术问题,本专利技术的目的在于提供一种基于智能运维的分布式系统监控方法,所采用的技术方案具体如下:

2、一种基于智能运维的分布式系统监控方法,所述方法包括以下步骤:

3、获取分布式系统的整体资源占比监控数据;所述整体资源占比监控数据包括各个子系统的系统资源占比监控时序数据;所述系统资源占比监控时序数据包括各个时刻对应的资源占比率;

4、根据各个子系统的所述系统资源占比监控时序数据的大小和波动,获取各个子系统的资源占比特征值;根据各个子系统的所述资源占比特征值和当前时刻的所述资源占比率,构建各个子系统对应的数据点;

5、确定数据点的预设周围区域中的区域点;在数据点的所述预设周围区域中,根据数据点和区域点的所述资源占比特征值之间差异,以及数据点和区域点的当前时刻的所述资源占比率之间差异,获取数据点的资源占比相似值;确定数据点的预设周围范围中的周围点,在数据点的所述预设周围范围中,根据数据点和周围点的资源占比相似值的差异,获取数据点的聚类中心度量值;根据所有数据点的所述聚类中心度量值,筛选出所有数据点中的各个初始聚类中心点;

6、根据所有所述初始聚类中心点,对所述各个子系统对应的数据点进行聚类,获取分布式系统的各个聚类簇;

7、根据各个所述聚类簇中各个数据点的资源占比情况,进行资源分配。

8、进一步地,所述资源占比特征值的获取方法包括:

9、根据资源占比特征值公式获取所述资源占比特征值,所述资源占比特征值公式包括:

10、;其中,为第个子系统的资源占比特征值;为在第个子系统的系统资源占比监控时序数据中,所有资源占比率的均值;为在第个子系统的系统资源占比监控时序数据中,最大的资源占比率;为在第个子系统的系统资源占比监控时序数据中,最小的资源占比率;为在第个子系统的系统资源占比监控时序数据中,所有资源占比率的标准差;为归一化函数。

11、进一步地,构建各个子系统对应的数据点的方法包括:

12、将每个子系统作为每个数据点,所述数据点的横坐标为当前时刻的所述资源占比率;所述数据点的纵坐标为子系统的所述资源占比特征值。

13、进一步地,所述资源占比相似值的获取方法包括:

14、根据资源占比相似值公式获取所述资源占比相似值,所述资源占比相似值公式包括:

15、;其中,为第个数据点的资源占比相似值;为第个数据点的资源占比特征值;为第个数据点的预设周围区域中,第个区域点的资源占比特征值;为第个数据点的预设周围区域中所有区域点的总数量;为第个数据点的当前时刻的所述资源占比率;为第个数据点的预设周围区域中,第个区域点的当前时刻的所述资源占比率;为以自然数为底数的指数函数。

16、进一步地,所述聚类中心度量值的获取方法包括:

17、根据聚类中心度量值公式获取所述聚类中心度量值,所述聚类中心度量值公式包括:

18、;其中,第个数据点的聚类中心度量值;为第个数据点的资源占比相似值;为第个数据点的预设周围区域中,第个周围点的资源占比相似值;为第个数据点的预设周围区域中所有周围点的总数量;为归一化函数。

19、进一步地,所述初始聚类中心点的获取方法包括:

20、将聚类中心度量值大于预设中心阈值的各数据点,作为各个初始聚类中心点。

21、进一步地,所述各个聚类簇的获取过程包括:

22、获取各迭代过程的各个聚类中心点;根据数据点和所述聚类中心点之间资源占比特征值的接近程度,数据点和所述聚类中心点之间在当前时刻的所述资源占比率的接近程度,以及数据点和所述聚类中心点之间系统资源占比监控时序数据的相似程度,获取数据点与聚类中心点的隶属度。

23、进一步地,所述隶属度获取方法包括:

24、根据隶属度公式获取所述隶属度,所述隶属度公式包括:

25、;为第个数据点与第个聚类中心点的隶属度;为第个数据点的资源占比特征值;为第个数据点的当前时刻的所述资源占比率;为第个聚类中心点的资源占比特征值;为第个聚类中心点的当前时刻的所述资源占比率;为迭代过程的所有聚类中心点的总数量;为第个数据点的系统资源占比监控时序数据;为第个聚类中心点的系统资源占比监控时序数据;为第个数据点的系统资源占比监控时序数据和第个聚类中心点的系统资源占比监控时序数据之间的dtw匹配距离;为以自然数为底数的指数函数。

26、进一步地,所述资源分配的方法包括:

27、根据各个聚类簇中所有数据点的当前时刻的所述资源占比率和所述资源占比特征值,获取聚类簇的类别特征值;

28、根据聚类簇的类别特征值,利用资源调控法,进行资源分配。

29、进一步地,所述类别特征值的获取方法包括:

30、根据类别特征值公式获取所述类别特征值,所述类别特征值公式包括:

31、 ;其中,为第个聚类簇的类别特征值;为在第个聚类簇中,第个数据点的所述资源占比特征值;为在第个所述聚类簇中,第个数据点的当前时刻的所述资源占比率;为在第个聚类簇中所有数据点的总数量。

32、本专利技术具有如下有益效果:

33、考虑到分布式子系统在运行时,资源占比变化和分布情况往往具有区别,获取各个子系统的资源占比特征值;不同资源使用情况的子系统,往往具有不同的资源占比特征值。进而构建各个子系统对应的数据点,使得数据点之间分布可以反映资源占比特征值和当前资源占比情况,使得后续聚类不仅考虑到了当本文档来自技高网...

【技术保护点】

1.一种基于智能运维的分布式系统监控方法,其特征在于,所述方法包括以下步骤:

2.根据权利要求1所述的一种基于智能运维的分布式系统监控方法,其特征在于,所述资源占比特征值的获取方法包括:

3.根据权利要求1所述的一种基于智能运维的分布式系统监控方法,其特征在于,构建各个子系统对应的数据点的方法包括:

4.根据权利要求1所述的一种基于智能运维的分布式系统监控方法,其特征在于,所述资源占比相似值的获取方法包括:

5.根据权利要求1所述的一种基于智能运维的分布式系统监控方法,其特征在于,所述聚类中心度量值的获取方法包括:

6.根据权利要求5所述的一种基于智能运维的分布式系统监控方法,其特征在于,所述初始聚类中心点的获取方法包括:

7.根据权利要求1所述的一种基于智能运维的分布式系统监控方法,其特征在于,所述各个聚类簇的获取过程包括:

8.根据权利要求7所述的一种基于智能运维的分布式系统监控方法,其特征在于,所述隶属度获取方法包括:

9.根据权利要求1所述的一种基于智能运维的分布式系统监控方法,其特征在于,所述资源分配的方法包括:

10.根据权利要求9所述的一种基于智能运维的分布式系统监控方法,其特征在于,所述类别特征值的获取方法包括:

...

【技术特征摘要】

1.一种基于智能运维的分布式系统监控方法,其特征在于,所述方法包括以下步骤:

2.根据权利要求1所述的一种基于智能运维的分布式系统监控方法,其特征在于,所述资源占比特征值的获取方法包括:

3.根据权利要求1所述的一种基于智能运维的分布式系统监控方法,其特征在于,构建各个子系统对应的数据点的方法包括:

4.根据权利要求1所述的一种基于智能运维的分布式系统监控方法,其特征在于,所述资源占比相似值的获取方法包括:

5.根据权利要求1所述的一种基于智能运维的分布式系统监控方法,其特征在于,所述聚类中心度量值的获取方法包括:

...

【专利技术属性】
技术研发人员:汪镜波
申请(专利权)人:深圳市互盟科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1