一种数据采集方法、系统、设备以及介质技术方案

本发明专利技术公开了一种数据采集方法，包括以下步骤：响应于接收到数据采集请求，对所述请求进行解析以获取所述请求中携带的采集对象和采集参数；判断所述采集对象是否是预设对象；响应于所述采集对象不是预设对象，根据所述采集对象匹配当前采集策略，并利用匹配到的采集策略对所述采集参数进行修改；利用修改后的采集参数重新建立采集任务，并根据所述匹配到的采集策略设置所述采集任务的执行条件；响应于触发所述执行条件，执行所述采集任务。本发明专利技术还公开了一种系统、计算机设备以及可读存储介质。本发明专利技术提出的方案能够对数据采集请求进行差异化修改，进而提升了管理平台的管理能力。进而提升了管理平台的管理能力。进而提升了管理平台的管理能力。

【技术实现步骤摘要】
一种数据采集方法、系统、设备以及介质


[0001]本专利技术涉及数据采集领域，具体涉及一种数据采集方法、系统、设备以及存储介质。

技术介绍

[0002]存储领域里，数据是系统管理的根本，越来越多的客户业务量巨大、数据增长快、存储设备多，对于大量的存储设备与集群的管理，各存储厂商也相继推出了各种统一的综合平台去集中管理。统一管理将要面对就是从大量的设备、集群采集数据信息，进行管理、呈现与操作，在这个过程中，数据是基础，采集的工作是尤为重要的。但是当前大多数厂商的系统对于存储系统的数据采集还停留在由统一管理平台直接进行采集与请求的阶段，因此对于大量的存储设备和集群的响应速度，网络都提出了较高的要求，同时也是统一管理平台的瓶颈之一。繁琐的数据种类、API请求、各种定时采集任务也让统一管理平台略显臃肿与复杂，同时直接的采集方式也影响到统一管理平台对大量存储的操作响应，数据查询速度；也会相应的占用统一管理平台运行环境的软硬件资源，影响稳定性。

技术实现思路

[0003]有鉴于此，为了克服上述问题的至少一个方面，本专利技术实施例提出一种数据采集方法，包括以下步骤：
[0004]响应于接收到数据采集请求，对所述请求进行解析以获取所述请求中携带的采集对象和采集参数；
[0005]判断所述采集对象是否是预设对象；
[0006]响应于所述采集对象不是预设对象，根据所述采集对象匹配当前采集策略，并利用匹配到的采集策略对所述采集参数进行修改；
[0007]利用修改后的采集参数重新建立采集任务，并根据所述匹配到的采集策略设置所述采集任务的执行条件；
[0008]响应于触发所述执行条件，执行所述采集任务。
[0009]在一些实施例中，还包括：
[0010]响应于所述采集对象是预设对象，根据所述采集对象在缓存池中获取相应的数据并返回。
[0011]在一些实施例中，还包括：
[0012]分别创建若干个预设对象对应的定时任务；
[0013]根据所述定时任务循环采集相应的预设对象对应的数据；
[0014]将采集到的数据缓存到缓存池中。
[0015]在一些实施例中，根据所述采集对象匹配当前采集策略，进一步包括：
[0016]针对不同的采集对象预先创建若干个不同负载下的采集策略；
[0017]根据当前负载确定所述请求中携带的采集对象对应的采集策略。
[0018]在一些实施例中，还包括：
[0019]响应于接收到用户下发的修改所述匹配到的采集策略的指令，根据所述指令对所述匹配到的采集策略进行相应修改。
[0020]基于同一专利技术构思，根据本专利技术的另一个方面，本专利技术的实施例还提供了一种数据采集系统，包括：
[0021]接收模块，配置为响应于接收到数据采集请求，对所述请求进行解析以获取所述请求中携带的采集对象和采集参数；
[0022]判断模块，配置为判断所述采集对象是否是预设对象；
[0023]匹配模块，配置为响应于所述采集对象不是预设对象，根据所述采集对象匹配当前采集策略，并利用匹配到的采集策略对所述采集参数进行修改；
[0024]任务模块，配置为利用修改后的采集参数重新建立采集任务，并根据所述匹配到的采集策略设置所述采集任务的执行条件；
[0025]采集模块，配置为响应于触发所述执行条件，执行所述采集任务。
[0026]在一些实施例中，还包括缓存模块，配置为：
[0027]响应于所述采集对象是预设对象，根据所述采集对象在缓存池中获取相应的数据并返回。
[0028]在一些实施例中，所述缓存模块还配置为：
[0029]分别创建若干个预设对象对应的定时任务；
[0030]根据所述定时任务循环采集相应的预设对象对应的数据；
[0031]将采集到的数据缓存到缓存池中。
[0032]在一些实施例中，匹配模块还配置为：
[0033]针对不同的采集对象预先创建若干个不同负载下的采集策略；
[0034]根据当前负载确定所述请求中携带的采集对象对应的采集策略。
[0035]在一些实施例中，还包括修改模块，配置为：
[0036]响应于接收到用户下发的修改所述匹配到的采集策略的指令，根据所述指令对所述匹配到的采集策略进行相应修改。
[0037]基于同一专利技术构思，根据本专利技术的另一个方面，本专利技术的实施例还提供了一种计算机设备，包括：
[0038]至少一个处理器；以及
[0039]存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行以下步骤：
[0040]响应于接收到数据采集请求，对所述请求进行解析以获取所述请求中携带的采集对象和采集参数；
[0041]判断所述采集对象是否是预设对象；
[0042]响应于所述采集对象不是预设对象，根据所述采集对象匹配当前采集策略，并利用匹配到的采集策略对所述采集参数进行修改；
[0043]利用修改后的采集参数重新建立采集任务，并根据所述匹配到的采集策略设置所述采集任务的执行条件；
[0044]响应于触发所述执行条件，执行所述采集任务。
[0045]在一些实施例中，还包括：
[0046]响应于所述采集对象是预设对象，根据所述采集对象在缓存池中获取相应的数据并返回。
[0047]在一些实施例中，还包括：
[0048]分别创建若干个预设对象对应的定时任务；
[0049]根据所述定时任务循环采集相应的预设对象对应的数据；
[0050]将采集到的数据缓存到缓存池中。
[0051]在一些实施例中，根据所述采集对象匹配当前采集策略，进一步包括：
[0052]针对不同的采集对象预先创建若干个不同负载下的采集策略；
[0053]根据当前负载确定所述请求中携带的采集对象对应的采集策略。
[0054]在一些实施例中，还包括：
[0055]响应于接收到用户下发的修改所述匹配到的采集策略的指令，根据所述指令对所述匹配到的采集策略进行相应修改。
[0056]基于同一专利技术构思，根据本专利技术的另一个方面，本专利技术的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时执行以下步骤：
[0057]响应于接收到数据采集请求，对所述请求进行解析以获取所述请求中携带的采集对象和采集参数；
[0058]判断所述采集对象是否是预设对象；
[0059]响应于所述采集对象不是预设对象，根据所述采集对象匹配当前采集策略，并利用匹配到的采集策略对所述采集参数进行修改；
[0060]利用修改后的采集参数重新建立采集任务，并根据所述匹配到的采集策略设置所述采集任务的执行条件；
[0061]响应于触发所述执行条件，执行所述采集任务。
[0062]在一些实施例中，还包括：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据采集方法，其特征在于，包括以下步骤：响应于接收到数据采集请求，对所述请求进行解析以获取所述请求中携带的采集对象和采集参数；判断所述采集对象是否是预设对象；响应于所述采集对象不是预设对象，根据所述采集对象匹配当前采集策略，并利用匹配到的采集策略对所述采集参数进行修改；利用修改后的采集参数重新建立采集任务，并根据所述匹配到的采集策略设置所述采集任务的执行条件；响应于触发所述执行条件，执行所述采集任务。2.如权利要求1所述的方法，其特征在于，还包括：响应于所述采集对象是预设对象，根据所述采集对象在缓存池中获取相应的数据并返回。3.如权利要求2所述的方法，其特征在于，还包括：分别创建若干个预设对象对应的定时任务；根据所述定时任务循环采集相应的预设对象对应的数据；将采集到的数据缓存到缓存池中。4.如权利要求1所述的方法，其特征在于，根据所述采集对象匹配当前采集策略，进一步包括：针对不同的采集对象预先创建若干个不同负载下的采集策略；根据当前负载确定所述请求中携带的采集对象对应的采集策略。5.如权利要求1所述的方法，其特征在于，还包括：响应于接收到用户下发的修改所述匹配到的采集策略的指令，根据所述指令对所述匹配到的采集策略进行相应修改。6.一种数据采集系统，其特征在于，包括：接收模块，配置为响应于接收到数据采集请求，对所述请...

【专利技术属性】
技术研发人员：单亚勇，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：