监控数据采集横向扩展方法、系统、电子设备和存储介质技术方案

本申请涉及监控数据采集横向扩展方法、系统、电子设备和存储介质，属于监控数据采集领域，该方法包括：在预设的监控实例初次采集数据完成后，根据每次采集点的数据量、采集间隔时间和数据保存时间，推算监控系统需要的内存空间；若监控系统可使用的内存空间小于需要的内存空间，则触发监控系统的横向扩展；预设的监控实例成为主监控实例，并衍生出若干个从监控实例，其中，从监控实例的数量基于需要的内存空间与可使用的内存空间的比对计算得到，且每个监控实例预留有预设阈值的缓冲空间；各采集点通过主监控实例和若干个从监控实例采集数据，能够解决因采集点很多导致监控系统崩溃，和因单个监控实例故障造成某段时间监控点的数据缺失的问题。的数据缺失的问题。的数据缺失的问题。

【技术实现步骤摘要】
监控数据采集横向扩展方法、系统、电子设备和存储介质


[0001]本申请涉及监控数据采集
，特别是涉及监控数据采集横向扩展方法、系统、电子设备和存储介质。

技术介绍

[0002]企业部署一套监控系统以收集被监控对象的数据时，随着采集点增加或者采集数据量增大，需要进行监控实例的扩展，比如通过纵向扩展可以增大监控实例的资源配额，但会受到部署服务器资源上限的限制，当监控数据或采集数据点特别多时，监控实例会占用大量资源，甚至突破监控实例所在服务器的资源上限，导致监控系统崩溃；所以，相关技术中通过横向扩展可以增加监控实例的个数，从而通过新增加的监控实例去采集新的采集点，但是，单个采集点只由一个监控实例负责，可能会由于单个监控实例故障造成某段时间监控点的数据缺失。

技术实现思路

[0003]本申请实施例提供了一种监控数据采集横向扩展方法、系统、电子设备和存储介质，以至少解决相关技术中当监控数据或采集数据点特别多时，突破监控实例所在服务器的资源上限，导致监控系统崩溃，以及单个采集点只由一个监控实例负责，可能会由于单个监控实例故障造成某段时间监控点的数据缺失的问题。
[0004]第一方面，本申请实施例提供了一种监控数据采集横向扩展方法，所述方法包括：在预设的监控实例初次采集数据完成后，根据每次采集点的数据量、采集间隔时间和数据保存时间，推算监控系统需要的内存空间；若所述监控系统可使用的内存空间小于所述需要的内存空间，则触发所述监控系统的横向扩展；所述预设的监控实例成为主监控实例，并衍生出若干个从监控实例，其中，所述从监控实例的数量基于所述需要的内存空间与所述可使用的内存空间的比对计算得到，且每个监控实例预留有预设阈值的缓冲空间；各采集点通过所述主监控实例和所述若干个从监控实例采集数据。
[0005]在其中一些实施例中，在所述预设的监控实例成为主监控实例，并衍生出若干个从监控实例之后，所述方法还包括：所述主监控实例和所述若干个从监控实例组成监控集群；各所述从监控实例初始化完成后向作为领导的所述主监控实例汇报就绪状态，并持续汇报健康状态。
[0006]在其中一些实施例中，在所述主监控实例和所述若干个从监控实例组成监控集群之后，所述方法还包括：若所述主监控实例无法正常工作，则所述监控集群选举出新的领导，且衍生出一个新的从监控实例来代替该无法正常工作的主监控实例以继续采集数据。
[0007]在其中一些实施例中，在所述主监控实例和所述若干个从监控实例组成监控集群之后，所述方法还包括：当所述监控集群接收到数据查询请求时，由所述主监控实例响应，且所述主监控实例查询各所述从监控实例中的数据后进行汇总，反馈汇总的数据。
[0008]在其中一些实施例中，在所述预设的监控实例成为主监控实例，并衍生出若干个
从监控实例之后，所述方法还包括：所述主监控实例根据原采集间隔时间和监控实例总数量计算每个监控实例的现采集间隔时间，并将所有采集点的信息下发给各所述从监控实例；当所述主监控实例首次采集数据时，将采集开始时间广播同步给各所述从监控实例，以控制各所述从监控实例的采集开始时间，每个监控实例按所述现采集间隔时间采集数据。
[0009]在其中一些实施例中，控制各所述从监控实例的采集开始时间包括：以所述主监控实例的采集开始时间为基准，对各所述从监控实例以依次递增的方式配置采集开始时间，其中，递增的大小等于所述原采集间隔时间。
[0010]在其中一些实施例中，根据每次采集点的数据量、采集间隔时间和数据保存时间，推算监控系统需要的内存空间包括：
[0011]根据以下公式推算所述需要的内存空间：
[0012]S＝M*T/t
[0013]其中，S表示所述需要的内存空间，M表示所述每次采集点的数据量，T表示所述数据保存时间，t表示所述采集间隔时间。
[0014]第二方面，本申请实施例提供一种监控数据采集横向扩展的系统，所述系统包括：
[0015]推算模块，用于在预设的监控实例初次采集数据完成后，根据每次采集点的数据量、采集间隔时间和数据保存时间，推算监控系统需要的内存空间；
[0016]触发模块，用于若所述监控系统可使用的内存空间小于所述需要的内存空间，则触发所述监控系统的横向扩展；
[0017]衍生模块，用于所述预设的监控实例成为主监控实例，并衍生出若干个从监控实例，其中，所述从监控实例的数量基于所述需要的内存空间与所述可使用的内存空间的比对计算得到，且每个监控实例预留有预设阈值的缓冲空间；
[0018]采集模块，用于各采集点通过所述主监控实例和所述若干个从监控实例采集数据。
[0019]第三方面，本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项所述的方法。
[0020]第四方面，本申请实施例提供一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至7中任一项所述的方法。
[0021]相比于相关技术，通过本申请实施例的方法，实现了监控系统自动扩容，当采集点数据激增或新增采集点时，能够避免监控实例资源占用超过服务器限制资源上限；并且，由于各采集点通过主监控实例和若干个从监控实例采集数据，实现了单个采集点由多个监控实例负责，能够防止因单个监控实例故障导致数据缺失。
附图说明
[0022]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0023]图1是根据相关技术的第一种监控数据采集横向扩展方法中监控实例与采集点的关系示意图；
[0024]图2是根据相关技术的第二种监控数据采集横向扩展方法中监控实例与采集点的
关系示意图；
[0025]图3是根据本申请实施例的一种监控数据采集横向扩展方法的流程图；
[0026]图4是根据本申请实施例的一种监控数据采集横向扩展方法中监控实例与采集点的关系示意图；
[0027]图5是根据本申请实施例的一种监控数据采集横向扩展的系统的内部结构示意图；
[0028]图6是根据本申请实施例的电子设备的内部结构示意图。
具体实施方式
[0029]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的
技术实现思路
的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
[0030]在本申请中提及“本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种监控数据采集横向扩展方法，其特征在于，所述方法包括：在预设的监控实例初次采集数据完成后，根据每次采集点的数据量、采集间隔时间和数据保存时间，推算监控系统需要的内存空间；若所述监控系统可使用的内存空间小于所述需要的内存空间，则触发所述监控系统的横向扩展；所述预设的监控实例成为主监控实例，并衍生出若干个从监控实例，其中，所述从监控实例的数量基于所述需要的内存空间与所述可使用的内存空间的比对计算得到，且每个监控实例预留有预设阈值的缓冲空间；各采集点通过所述主监控实例和所述若干个从监控实例采集数据。2.根据权利要求1所述的方法，其特征在于，在所述预设的监控实例成为主监控实例，并衍生出若干个从监控实例之后，所述方法还包括：所述主监控实例和所述若干个从监控实例组成监控集群；各所述从监控实例初始化完成后向作为领导的所述主监控实例汇报就绪状态，并持续汇报健康状态。3.根据权利要求2所述的方法，其特征在于，在所述主监控实例和所述若干个从监控实例组成监控集群之后，所述方法还包括：若所述主监控实例无法正常工作，则所述监控集群选举出新的领导，且衍生出一个新的从监控实例来代替该无法正常工作的主监控实例以继续采集数据。4.根据权利要求2所述的方法，其特征在于，在所述主监控实例和所述若干个从监控实例组成监控集群之后，所述方法还包括：当所述监控集群接收到数据查询请求时，由所述主监控实例响应，且所述主监控实例查询各所述从监控实例中的数据后进行汇总，反馈汇总的数据。5.根据权利要求1所述的方法，其特征在于，在所述预设的监控实例成为主监控实例，并衍生出若干个从监控实例之后，所述方法还包括：所述主监控实例根据原采集间隔时间和监控实例总数量计算每个监控实例的现采集间隔时间，并将所有采集点的信息下发给各所述从监控实例；当所述主监控...

【专利技术属性】
技术研发人员：赵一晗，王玉虎，
申请(专利权)人：杭州朗澈科技有限公司，
类型：发明
国别省市：