数据采集方法及装置制造方法及图纸

本发明专利技术提供一种数据采集方法及装置，涉及人工智能技术领域，数据采集方法包括：将预设的采集脚本批量部署到至少两个目标设备；其中，所述采集脚本包含识别目标设备的属性信息的语句；根据所述采集脚本采集目标设备的数据和识别目标设备的属性信息；通过分布式传输的方式接收采集的数据和识别的属性信息。本发明专利技术通过批量部署脚本至多个目标设备，提高采集脚本的部署效率；通过识别目标设备的属性信息，有效解析数据来源后可有效定位采集的数据来源；通过分布式传输的方式传输数据可提高数据的传输效率。

【技术实现步骤摘要】
数据采集方法及装置
本专利技术涉及人工智能
，特别涉及运维
，具体涉及一种数据采集方法及装置。
技术介绍
近年来，随着人工智能的高速发展，智能化运维逐渐在运维领域崭露头角，而数据采集为智能运维的基础。在IT运维领域，待分析的数据大多来自各IT设备，传统的采集IT运维数据的方式为分别在各IT设备上部署采集脚本，将采集结果输出至数据库等。脚本一般来说编辑简单，修改方便，不需编译即可执行，简化了采集数据的步骤。但是，部署采集脚本的过程繁琐，若采集脚本发生更新还需重新部署。会导致基于采集脚本的数据采集过程繁琐和效率低的问题。
技术实现思路
针对现有技术中的问题，本专利技术提供一种数据采集方法及装置，能够有效提高数据采集的效率。为解决上述技术问题，本专利技术提供以下技术方案：第一方面，本专利技术提供一种数据采集方法，包括：将预设的采集脚本批量部署到至少两个目标设备；其中，所述采集脚本包含识别目标设备的属性信息的语句；根据所述采集脚本采集目标设备的数据和识别目标设备的属性信息；通过分布式传输的方式接收采集的数据和识别的属性信息。进一步地，在通过分布式传输的方式接收采集的数据和识别的属性信息之后，还包括：对采集的数据进行预处理并对预处理后的数据进行存储；其中，预处理包括：数据的筛选、数据的分类和数据的格式转化中至少一种。其中，采用服务器端数据处理管道对采集的数据进行筛选、分类和格式转化。其中，所述将预设的采集脚本批量部署到至少两个目标设备，包括：将所有目标设备的地址添加至预设群组；利用自动化运维工具将采集脚本分发至所有目标设备。其中，所述属性信息为目标设备的名称、目标设备的编号和目标设备的网络地址中至少一种。其中，每个所述采集脚本均包含采集数据类脚本、采集日志类脚本和采集指标类脚本中至少一种。第二方面，本专利技术提供一种数据采集装置，包括：批量部署单元，用于将预设的采集脚本批量部署到至少两个目标设备；其中，所述采集脚本包含识别目标设备的属性信息的语句；采集单元，用于根据所述采集脚本采集目标设备的数据和识别目标设备的属性信息；回传单元，用于通过分布式传输的方式接收采集的数据和识别的属性信息。进一步地，还包括：处理单元，用于对采集的数据进行预处理并对预处理后的数据进行存储；其中，预处理包括：数据的筛选、数据的分类和数据的格式转化中至少一种。其中，所述处理单元采用服务器端数据处理管道对采集的数据进行筛选、分类和格式转化。其中，所述批量部署单元包括：分组子单元，用于将所有目标设备的地址添加至预设群组；部署子单元，用于利用自动化运维工具将采集脚本分发至所有目标设备。其中，所述属性信息为目标设备的名称、目标设备的编号和目标设备的网络地址中至少一种。其中，每个所述采集脚本均包含采集数据类脚本、采集日志类脚本和采集指标类脚本中至少一种。第三方面，本专利技术提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的数据采集方法的步骤。第四方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的数据采集方法的步骤。由上述技术方案可知，本专利技术提供一种数据采集方法及装置，通过批量部署脚本至多个目标设备，提高采集脚本的部署效率；通过识别目标设备的属性信息，有效解析数据来源后可有效定位采集的数据来源；通过分布式传输的方式传输数据可提高数据的传输效率。还能够减轻运维数据采集人员的工作压力，为智能运维打好基础。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例中的数据采集方法的第一流程示意图。图2为本专利技术实施例中的数据采集方法的第二流程示意图。图3为本专利技术实施例中的数据采集装置的结构示意图。图4为本专利技术实施例中的电子设备的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术提供一种数据采集方法的实施例，参见图1，所述数据采集方法具体包含有如下内容：S101：将预设的采集脚本批量部署到至少两个目标设备；其中，所述采集脚本包含识别目标设备的属性信息的语句；需要说明的是，目标设备的属性信息为目标设备的名称、目标设备的编号和目标设备的网络地址中至少一种。每个采集脚本均包含采集数据类脚本、采集日志类脚本和采集指标类脚本中至少一种。在本实施例中，属性信息为的编号，每个采集脚本均包含采集数据类脚本、采集日志类脚本和采集指标类脚本。在具体实施时，在目标设备环境中准备一台网络连通的设备，在该网络连通的设备中将所有目标设备的IP加入absiblegroup，该absiblegroup为预设群组。将采集脚本通过自动化运维工具(ansible，计算机系统配置管理器)的服务器传送至所有目标设备，其中采集脚本包含识别目标设备的属性信息的语句，使得采集脚本采集的数据中带有目标设备的信息。综上，通过批量部署脚本至多个目标设备，提高采集脚本的部署效率。S102：根据所述采集脚本采集目标设备的数据和识别目标设备的属性信息；在本步骤中，目标设备的数据和目标设备的属性信息为对应关系，通过属性信息表明数据来源。通过识别目标设备的属性信息，有效解析数据来源后可有效定位采集的数据来源。具体的，目标设备需要初始化支持不同脚本语言的各脚本引擎，并加载采集脚本。目标设备自己自身存储的数据，查找定义在采集脚本中的需要采集的目标数据。将下载的数据发送至相应脚本语言的脚本引擎；脚本引擎根据采集脚本方法名称，调用并执行对应的脚本方法，在存储器采集出目标数据。S103：通过分布式传输的方式接收采集的数据和识别的属性信息。通过分布式传输的方式传输数据可提高数据的传输效率。具体的，接收目标设备发送来的采集脚本采集的数据并将采集的数据传输至中间件kafka。中间件kafka收集各个目标设备端发送的采集脚本采集的的数据，统一发送至logstash(服务器端数据处理管道)；logstash(服务器端数据处理管道)接收中间件kafka的消息，转为数据文件，并存储至目标数据库。从上述描述可知，本专利技术实施例提供的数据采集方法，通过本文档来自技高网...

【技术保护点】
1.一种数据采集方法，其特征在于，包括：/n将预设的采集脚本批量部署到至少两个目标设备；其中，所述采集脚本包含识别目标设备的属性信息的语句；/n根据所述采集脚本采集目标设备的数据和识别目标设备的属性信息；/n通过分布式传输的方式接收采集的数据和识别的属性信息。/n

【技术特征摘要】
1.一种数据采集方法，其特征在于，包括：
将预设的采集脚本批量部署到至少两个目标设备；其中，所述采集脚本包含识别目标设备的属性信息的语句；
根据所述采集脚本采集目标设备的数据和识别目标设备的属性信息；
通过分布式传输的方式接收采集的数据和识别的属性信息。


2.根据权利要求1所述的数据采集方法，其特征在于，在通过分布式传输的方式接收采集的数据和识别的属性信息之后，还包括：
对采集的数据进行预处理并对预处理后的数据进行存储；
其中，预处理包括：数据的筛选、数据的分类和数据的格式转化中至少一种。


3.根据权利要求2所述的数据采集方法，其特征在于，采用服务器端数据处理管道对采集的数据进行筛选、分类和格式转化。


4.根据权利要求1所述的数据采集方法，其特征在于，所述将预设的采集脚本批量部署到至少两个目标设备，包括：
将所有目标设备的地址添加至预设群组；
利用自动化运维工具将采集脚本分发至所有目标设备。


5.根据权利要求1所述的数据采集方法，其特征在于，所述属性信息为目标设备的名称、目标设备的编号和目标设备的网络地址中至少一种。

【专利技术属性】
技术研发人员：熊慧君，茅逸斐，徐修颖，吴都，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11