多云数据采集方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种多云数据采集方法、装置、计算机设备和存储介质。所述方法包括：通过接收并解析客户端发送的任务请求，根据任务请求中云厂商信息和数据类型信息，确定执行数据采集的数据接口，根据数据接口的请求响应时间、采集耗时经验值、故障频次和接口优先级，确定采集任务对应的任务权重值；获取采集节点的任务执行状况信息，以及采集节点每条运营商网络线路到数据接口的节点网络状况信息，根据任务执行状况信息和节点网络状况信息，确定采集节点采用每条网络线路对应的节点权重值；根据任务权重值，对任务采集节点对应的运营商网络线路上的任务序列进行排序，利用运营商网络线路和数据接口构成的采集网络对采集任务进行数据采集。

【技术实现步骤摘要】
多云数据采集方法、装置、计算机设备和存储介质
本申请涉及数据采集
，特别是涉及一种多云数据采集方法、装置、计算机设备和存储介质。
技术介绍
随着云计算、大数据行业的飞速发展，数据中心发展到一个新的阶段。数据中心基础设施是云计算架构的核心，它提供给用户包括CPU、内存、存储、网络等资源的使用，有效减轻了IT运维的成本和复杂性。多云服务需要对接众多的云厂商，各厂商提供了不同类型的数据采集接口，云厂商使用的运营商网络也各不相同，在实际应用中，客户端发送任务请求后，采集节点执行数据采集任务时，可能会出现跨运营商的数据采集；另外如果某个厂商的数据采集接口异常或网络状况不佳，采集节点会出现采集任务积压，导致整个系统其他采集任务延迟，影响后续接口数据的采集。因此，现有多云数据采集技术存在效率低，适应性差的问题。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够解决多云数据采集效率低、适应性差问题的多云数据采集方法、装置、计算机设备和存储介质。一种多云数据采集方法，所述方法包括：接收客户端发送的任务请本文档来自技高网...

【技术保护点】
1.一种多云数据采集方法，其特征在于，所述方法包括：/n接收客户端发送的任务请求；所述任务请求中包括云厂商信息和数据类型信息；/n解析所述任务请求，得到采集任务，根据所述云厂商信息和所述数据类型信息，分别获取所述数据类型信息对应的数据接口的请求响应时间、采集耗时经验值、故障频次和接口优先级；/n根据所述请求响应时间、所述采集耗时经验值、所述故障频次和所述接口优先级，确定所述采集任务对应的任务权重值；/n获取采集节点到所述数据接口的节点网络状况信息；所述采集节点对应多个网络线路，所述采集节点通过所述网络线路与所述数据接口连接，所述网络线路为运营商网络线路；/n根据所述节点网络状况信息以及所述采集...

【技术特征摘要】
1.一种多云数据采集方法，其特征在于，所述方法包括：
接收客户端发送的任务请求；所述任务请求中包括云厂商信息和数据类型信息；
解析所述任务请求，得到采集任务，根据所述云厂商信息和所述数据类型信息，分别获取所述数据类型信息对应的数据接口的请求响应时间、采集耗时经验值、故障频次和接口优先级；
根据所述请求响应时间、所述采集耗时经验值、所述故障频次和所述接口优先级，确定所述采集任务对应的任务权重值；
获取采集节点到所述数据接口的节点网络状况信息；所述采集节点对应多个网络线路，所述采集节点通过所述网络线路与所述数据接口连接，所述网络线路为运营商网络线路；
根据所述节点网络状况信息以及所述采集节点采用所述运营商网络线路的任务执行状况信息，确定所述采集节点采用所述运营商网络线路对应的节点权重值；
根据所述节点权重值，从所述采集节点中确定任务采集节点和对应的运营商网络线路；
根据所述任务权重值，对所述任务采集节点对应的运营商网络线路上的任务序列进行排序，利用所述运营商网络线路和所述数据接口构成的采集网络对所述采集任务进行数据采集。


2.根据权利要求1所述的方法，其特征在于，根据所述云厂商信息和所述数据类型信息，分别获取所述数据类型信息对应的数据接口的请求响应时间、采集耗时经验值、故障频次和接口优先级，包括：
根据所述云厂商信息和所述数据类型信息，确定云厂商服务器中与数据类型信息对应的数据接口；
通过向所述数据接口发送探测包或任务请求，根据数据接口针对所述探测包或任务请求反馈的返回参数，得到所述请求相应时间、所述采集耗时经验值、所述故障频次和所述接口优先级。


3.根据权利要求1所述的方法，其特征在于，根据所述任务权重值，对所述任务采集节点对应的运营商网络线路上的任务序列进行排序，利用所述运营商网络线路和所述数据接口构成的采集网络对所述采集任务进行数据采集之后，还包括：
根据采集任务的执行情况，统计并分析采集任务的请求相应时间、采集耗时经验值和故障频次，对所述数据接口的请求相应时间、采集耗时经验值、故障频次进行更新。


4.根据权利要求1所述的方法，其特征在于，根据所述请求响应时间、所述采集耗时经验值、所述故障频次和所述接口优先级，确定所述采集任务对应的任务权重值，包括：
获取预先设置的所述请求响应时间、所述采集耗时经验值、所述故障频次和所述接口优先级的参数上限值和权重上限值；
根据所述请求响应时间、所述采集耗时经验值、所述故障频次和所述接口优先级，确定所述采集任务对应的任务权重值为：



其中wtask表示采集任务对应的任务权重值；W1表示请求响应时间权重上限值，W2表示采集耗时经验值权重上限值，W3表示故障频次权重上限值，W4表示接口优先级权重值的上限值；T1表示请求响应时间参数上限值，T2表示采集耗时经验值参数上限值，N表示故障频次参数上限值，P表示接口优先级参数上限值；t1表示所述请求响应时间，t2表...

【专利技术属性】
技术研发人员：杨立坤，周永兴，
申请(专利权)人：北京视界云天科技有限公司，
类型：发明
国别省市：北京;11