数据中心自适应监控采集系统的处理方法、系统及介质技术方案

本申请提供了一种数据中心自适应监控采集系统的处理方法、系统及介质。该处理方法应用于数据中心自适应监控采集系统，监控采集系统包括：监控数据获取模块、监控调度模块及监控采集模块；通过监控采集调度器获取注册中心预分组的变动数据信息；在判断指令操作信息为新增指令操作信息时，利用KNN调度算法为待处理监控采集器标识对应的待处理监控采集器分配目标监控服务端，并在注册中心预分组中更新待处理监控采集器的属性信息或目标监控服务端的属性信息；并触发监控采集执行器为待处理监控采集器生成目标监控服务端可识别的配置信息，以完成监控采集调度处理。利用本申请提供的处理方法，可提高数据中心的稳定性和监控采集调度处理的效率。采集调度处理的效率。采集调度处理的效率。

【技术实现步骤摘要】
数据中心自适应监控采集系统的处理方法、系统及介质


[0001]本申请涉及数据监控
，尤其涉及一种数据中心自适应监控采集系统的处理方法、系统及介质。

技术介绍

[0002]数据中心作为“新基建”的重点内容，承载着各行业信息系统最核心和关键的资产，也是数字经济的基石与引擎，因此数据中心的可靠性是至关重要的。数据中心运行状态的实时监控和异常告警信息生成及推送，对于保障数据中心的稳定运行显得尤为重要。
[0003]现有技术中，对于数据中心的监控通常是需要人工进行操作处理的，即需要技术人员预先建立好监控服务端和监控采集器的匹配规则，并将匹配规则存储在监控系统配置管理库中，基于数据同步工具将该匹配规则同步至注册中心，使得监控采集执行器按照该匹配规则对数据中心的数据进行监控。
[0004]但是，现有技术中的匹配规则比较机械化，仅可按照预设的匹配规则进行监控处理，当有新的业务变更时，则需要技术人员重新设置匹配规则，导致处理效率慢；此外，监控服务端设置的采集资源仅可按照预设的资源配置进行监控处理，缺乏灵活性，再者，现有技术中监控服务端与监控采集器之间的匹配规则同步在监控服务端，这使得无法自动生成监控服务端和监控采集器的拓扑图，导致当某个监控服务端所在主机宕机之后，无法快速定位受影响的监控业务，进而导致数据中心的稳定性较差。

技术实现思路

[0005]本申请提供一种数据中心自适应监控采集系统的处理方法、系统及介质，用以解决现有技术中数据中心的监控系统处理效率慢、灵活性差以及稳定性差等问题。
[0006]第一方面，本申请提供了一种数据中心自适应监控采集系统的处理方法，所述处理方法应用于数据中心自适应监控采集系统，所述监控采集系统包括：监控数据获取模块、监控调度模块及监控采集模块，其中，所述监控调度模块包括监控采集调度器、监控采集执行器及注册中心；
[0007]则所述处理方法，包括：
[0008]所述监控采集调度器获取由所述监控数据获取模块中的数据同步工具同步到所述注册中心预分组的变动数据信息，所述变动数据包括：指令操作信息、待处理监控采集器标识；
[0009]所述监控采集调度器判断所述变动数据信息中的指令操作信息是否为新增指令操作信息，若是，则利用KNN调度算法为所述待处理监控采集器标识对应的待处理监控采集器分配目标监控服务端，并在所述注册中心预分组中更新所述待处理监控采集器的属性信息或所述目标监控服务端的属性信息；
[0010]所述监控采集调度器触发所述监控采集执行器，以使得所述监控采集执行器按照所述待处理监控采集器或所述目标监控服务端的属性信息，及所述监控调度模块的配置模
块中心的配置参数为所述待处理监控采集器生成所述目标监控服务端可识别的配置信息，获取所述待处理监控采集器与所述目标监控服务端的key_value键值对关系，并将所述key_value键值对关系同步到所述注册中心运行分组中，以完成监控采集调度处理。
[0011]在一种优选的实施方式中，所述监控调度模块中还包括：预处理探针，则所述监控采集调度器判断所述变动数据信息中的指令操作信息是否为新增指令操作信息，若是，则利用KNN调度算法为所述待处理监控采集器分配目标监控服务端，在所述注册中心预分组中更新所述待处理监控采集器或所述目标监控服务端的属性信息，包括：
[0012]所述监控采集调度器触发所述预处理探针获取所述待处理监控采集器的采集量信息，并结合所述待处理监控采集器的属性信息，获取所述待处理监控采集器的中心特征值并生成第一特征向量；
[0013]所述监控采集调度器在所述注册中心分别获取所述监控服务端的中心特征值并生成第二特征向量；
[0014]所述监控采集调度器分别计算所述第一特征向量与所述第二特征向量的之间的中心距离，获取中心距离向量，并计算预配置的权重向量与所述中心距离向量的乘积，获取加权距离值；
[0015]所述监控采集调度器判断所述加权距离值大于预配置的加权距离阈值，若大于，则在所述注册中心预分组中新建目标监控服务端的属性信息。
[0016]在一种优选的实施方式中，所述方法，还包括：
[0017]所述监控采集调度器若判断所述加权距离值小于所述预配置的加权距离阈值，则在所述注册中心中选择出最高优先级的加权距离值所对应的监控服务端，以作为所述目标监控服务端；
[0018]所述监控采集调度器根据所述目标监控服务端的属性信息更新所述待处理监控采集器的属性信息。
[0019]在一种优选的实施方式中，所述方法，还包括：
[0020]若所述监控采集调度器判断所述变动数据信息中的指令操作信息为删除指令操作信息，则触发所述监控采集执行器根据所述待处理监控采集器标识，在所述注册中心运行分组中确定与所述待处理监控采集器标识对应的目标属性信息；
[0021]所述监控采集调度器触发所述监控采集执行器根据所述目标属性信息，生成与所述待处理监控采集器相关的删除配置信息，并将所述删除配置信息同步至与所述待处理监控采集器标识具有绑定关系的监控服务端中；
[0022]所述监控采集调度器触发与所述待处理监控采集器标识具有绑定关系的监控服务端自动热加载所述删除配置信息，以完成对所述待处理监控采集器的删除处理操作；
[0023]所述监控采集调度器在判断出与所述待处理监控采集器标识具有绑定关系的监控服务端在预设时间内完成所述删除处理操作时，触发所述监控采集执行器在所述注册中心运行分组中对所述待处理监控采集器进行删除处理操作。
[0024]在一种优选的实施方式中，所述方法，还包括：
[0025]所述监控采集调度器触发所述监控采集执行器在标定时间下获取每一所述监控服务端的日均资源使用率；
[0026]所述监控采集调度器触发所述监控采集执行器针对每一所述日均资源使用率，判
断所述日均资源使用率是否满足自动缩容处理的条件；
[0027]若满足所述自动缩容处理的条件，则所述监控采集调度器触发所述监控采集执行器调整满足所述自动缩容处理的条件的日均资源使用率对应的监控服务端的预占资源配置，以完成所述自动缩容处理。
[0028]在一种优选的实施方式中，所述自动缩容处理的条件，包括：
[0029]所述日均资源使用率小于预配置的低负载阈值，且所述日均资源使用率对应的监控服务端小于所述预配置的低负载阈值的持续天数大于预配置的低负载天数。
[0030]在一种优选的实施方式中，所述方法，还包括：
[0031]若不满足所述自动缩容处理的条件，且所述日均资源使用率大于预配置的高负载阈值时，所述监控采集调度器触发所述监控采集执行器根据所述日均资源使用率对应的监控服务端的属性信息中的剩余采集量额度，执行相应的自动扩容处理。
[0032]在一种优选的实施方式中，所述方法，还包括：
[0033]若所述剩余采集量额度大于零，则所述监控采集调度器触发所述监控采集执行器调整所述日均资源使用率对应的监控服务端的预本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据中心自适应监控采集系统的处理方法，其特征在于，所述处理方法应用于数据中心自适应监控采集系统，所述监控采集系统包括：监控数据获取模块、监控调度模块及监控采集模块，其中，所述监控调度模块包括监控采集调度器、监控采集执行器及注册中心；则所述处理方法，包括：所述监控采集调度器获取由所述监控数据获取模块中的数据同步工具同步到所述注册中心预分组的变动数据信息，所述变动数据包括：指令操作信息、待处理监控采集器标识；所述监控采集调度器判断所述变动数据信息中的指令操作信息是否为新增指令操作信息，若是，则利用KNN调度算法为所述待处理监控采集器标识对应的待处理监控采集器分配目标监控服务端，并在所述注册中心预分组中更新所述待处理监控采集器的属性信息或所述目标监控服务端的属性信息；所述监控采集调度器触发所述监控采集执行器，以使得所述监控采集执行器按照所述待处理监控采集器或所述目标监控服务端的属性信息，及所述监控调度模块的配置模块中心的配置参数为所述待处理监控采集器生成所述目标监控服务端可识别的配置信息，获取所述待处理监控采集器与所述目标监控服务端的key_value键值对关系，并将所述key_value键值对关系同步到所述注册中心运行分组中，以完成监控采集调度处理。2.根据权利要求1所述的方法，其特征在于，所述监控调度模块中还包括：预处理探针，则所述监控采集调度器判断所述变动数据信息中的指令操作信息是否为新增指令操作信息，若是，则利用KNN调度算法为所述待处理监控采集器分配目标监控服务端，在所述注册中心预分组中更新所述待处理监控采集器或所述目标监控服务端的属性信息，包括：所述监控采集调度器触发所述预处理探针获取所述待处理监控采集器的采集量信息，并结合所述待处理监控采集器的属性信息，获取所述待处理监控采集器的中心特征值并生成第一特征向量；所述监控采集调度器在所述注册中心分别获取所述监控服务端的中心特征值并生成第二特征向量；所述监控采集调度器分别计算所述第一特征向量与所述第二特征向量的之间的中心距离，获取中心距离向量，并计算预配置的权重向量与所述中心距离向量的乘积，获取加权距离值；所述监控采集调度器判断所述加权距离值大于预配置的加权距离阈值，若大于，则在所述注册中心预分组中新建目标监控服务端的属性信息。3.根据权利要求2所述的方法，其特征在于，还包括：所述监控采集调度器若判断所述加权距离值小于所述预配置的加权距离阈值，则在所述注册中心中选择出最高优先级的加权距离值所对应的监控服务端，以作为所述目标监控服务端；所述监控采集调度器根据所述目标监控服务端的属性信息更新所述待处理监控采集器的属性信息。4.根据权利要求2所述的方法，其特征在于，还包括：若所述监控采集调度器判断所述变动数据信息中的指令操作信息为删除指令操作信
息，则触发所述监控采集执行器根据所述待处理监控采集器标识，在所述注册中心运行分组中确定与所述待处理监控采集器标识对应的目标属性信息；所述监控采集调度器触发所述监控采集执行器根据所述目标属性信息，生成与所述待处理监控采集器相关的删除配置信息，并将所述删除配置信息同步至与所述待处理监控采集器标识具有绑定关系的监控服务端中；所述监控采集调度器触发与所述待处理监控采集器标识具有绑定关系的监控服务端自动热加载所述删除配置信息，以完成对所述待处理监控采集器的删除处理操作；所述监控采集调度器在判断出与所述待处理监控采集器标识具有绑定关系的监控服务端在预设时间内完成所述删除处理操作时，触发所述监控采集执行器在所述注册中心运行分组中对所述待处理监控采集器进行删除处理操作。5.根据权利要求1所述的方法，其特征在于，还包括：所述监控采集调度器触发所述监控采集执行器在标定时间下获取每一所述监控服务端的日均资源使用率；所述监控采集调度器触发所述监控采集执行器针对每一所述日均资源使用率，判断所述日均资源使用率是否满足自动缩容处理的条件；若满足所述自动缩容处理的条件，则所述监控采集调度器触发所述监控采集执行器调整满足所述自动缩容处理的条件的日均资源使用率对应的监控服务端的预占资源配置，以完成所述自动缩容处理。6.根据权利要求5所述的方法，其特征在于，所述自动缩容处理的条件，包括：所述日均资源使用...

【专利技术属性】
技术研发人员：江浪，薛莹莹，吴限，蔡志强，葛迪，查玲，徐权威，陆祉丞，邓见广，李永萍，苏宁，张雅媛，吴桐，靳尧，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：