一种数据采集方法及系统技术方案

本申请提供了一种数据采集方法及系统，其中，该方法包括：所述方法应用于主节点和从节点，所述方法包括：所述主节点根据用户的采集配置指令，生成从节点的采集实例模板，并将所述采集实例模板发送给相应的从节点；所述采集实例模板包括：配置描述信息以及匹配数据源端和目的端的采集配置参数；所述从节点在接收所述采集实例模板后，基于所述采集实例模板中的采集配置参数和配置描述信息，生成相应的采集服务实例；通过所述采集服务实例采集对应的数据源端的数据信息，并将所述数据信息发送至对应的目的端。本申请实施例采用主节点和从节点的分布式部署方式，能够针对变化的数据源端进行采集服务实例的灵活部署，提高了部署效率且可靠性较好。

A Data Acquisition Method and System

The application provides a data acquisition method and system, which includes: the method is applied to master node and slave node, and the method includes: the master node generates the sample template of slave node according to the user's acquisition configuration instructions, and sends the sample template to the corresponding slave node; the sample template includes: configuration description information After receiving the acquisition instance template, the slave node generates the corresponding acquisition service instance based on the acquisition configuration parameter and configuration description information in the acquisition instance template; collects the corresponding data information from the data source through the acquisition service instance, and sends the data information to the corresponding object. The end. The application embodiments adopt the distributed deployment mode of master node and slave node, which can flexibly deploy the collection service instances according to the changing data source, and improve the deployment efficiency and reliability.

【技术实现步骤摘要】
一种数据采集方法及系统
本申请涉及数据采集
，具体而言，涉及一种数据采集方法及系统。
技术介绍
目前，厂家通过获取生产设备的运行数据信息，能够便于厂家监控和管理所生产设备的设备状态。因此，针对生产设备的数据采集是厂家管理决策和数据分析中重要的组成部分。传统的数据采集方式是：配置与待采集数据设备相匹配的采集服务，通过采集服务采集其匹配的待采集设备的运行数据信息。但是，这种方式，当待采集设备发生变化，比如待采集设备升级或者需要增加待采集设备的数量，需要工作人员手动调整与待采集设备相匹配的采集服务的配置参数或者重新部署采集服务，整个部署过程复杂、费时费力且部署效率低。
技术实现思路
有鉴于此，本申请的目的在于提供一种数据采集方法及系统，通过主节点和从节点的分布式部署方式，能够针对变化的数据源端进行采集服务实例的灵活部署，整个部署过程简单、方便使用，提高了部署效率且可靠性较好。第一方面，本申请实施例提供了一种数据采集方法，其中，所述方法应用于主节点和从节点，所述方法包括：所述主节点根据用户的采集配置指令，生成从节点的采集实例模板，并将所述采集实例模板发送给相应的从节点；所述采集实例模板包括：配置描述信息以及匹配数据源端和目的端的采集配置参数；所述从节点在接收所述采集实例模板后，基于所述采集实例模板中的采集配置参数和配置描述信息，生成相应的采集服务实例；通过所述采集服务实例采集对应的数据源端的数据信息，并将所述数据信息发送至对应的目的端。结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，其中，所述主节点将所述采集实例模板发送给相应的从节点之后，所述方法还包括：所述主节点获取所述从节点中所述采集服务实例的安装状态；所述主节点若监控到所述从节点的安装状态不符合预设条件，则启动相应的报警提示。结合第一方面，本申请实施例提供了第一方面的第二种可能的实施方式，其中，所述方法还包括：所述主节点若监控到所述从节点的安装状态符合预设条件，则获取所述从节点中所述采集服务实例的服务状态信息；所述主节点若监控到所述从节点的服务状态信息不符合预设条件，则启动相应的报警提示。结合第一方面或第一方面的第一种可能的实施方式或第二种可能的实施方式，本申请实施例提供了第一方面的第三种可能的实施方式，其中，所述主节点将所述采集实例模板发送给相应的从节点之前，所述方法还包括：所述主节点获取所述从节点与所述主节点的连接状态；所述主节点若监控到所述从节点的连接状态为非正常连接时，则启动相应的报警提示。结合第一方面，本申请实施例提供了第一方面的第四种可能的实施方式，其中，所述主节点根据用户的采集配置指令，生成从节点的采集实例模板，包括：所述主节点生成所述采集服务实例所需要的安装基础信息和所述采集服务实例对应的属性参数信息；所述主节点根据采集服务实例所需要的安装基础信息，显示所述采集服务实例对应的属性参数信息；所述主节点根据所述采集配置指令标记的所述属性参数信息中目标属性参数信息，生成采集实例模板。结合第一方面的第四种可能的实施方式，本申请实施例提供了第一方面的第五种可能的实施方式，其中，所述从节点基于所述采集实例模板中的采集配置参数和配置描述信息，生成相应的采集服务实例，包括：所述从节点获取采集服务实例所需要的安装基础信息，基于所述采集实例模板中的采集配置参数和配置描述信息对所述安装基础信息进行配置，生成相应的采集服务实例。结合第一方面，本申请实施例提供了第一方面的第六种可能的实施方式，其中，所述主节点根据用户的采集配置指令，生成从节点的采集实例模板之后，所述方法还包括：所述主节点接收用户对所述采集服务实例的更改信息；其中，所述更改信息包括更改属性参数信息；所述主节点根据所述更改信息中的更改属性参数信息，更新所述采集实例模板。结合第一方面，本申请实施例提供了第一方面的第七种可能的实施方式，其中，所述从节点为多个，所述配置描述信息中包括从节点编号和每个从节点编号需要配置采集实例模板的数量；所述主节点将生成的所述采集实例模板发送给多个所述从节点；每个所述从节点在接收到所述采集实例模板后，基于所述采集实例模板中的采集配置参数和配置描述信息，生成匹配数量的采集服务实例。结合第一方面，本申请实施例提供了第一方面的第八种可能的实施方式，其中，所述采集配置参数包括数据源端的第一地址、连接所述数据源端的第一通信协议、目的端的第二地址和连接所述目的端的第二通信协议；所述通过所述采集服务实例采集对应的数据源端的数据信息，并将所述数据信息发送至对应的目的端，包括：所述从节点中的采集服务实例基于所述第一通信协议连接数据源端连接，并基于所述第一地址从所述数据源端获取数据信息；所述从节点中的采集服务实例基于所述第二通信协议连接所述目的端，并基于第二地址向所述目的端发送所述数据信息。第二方面，本申请实施例还提供了一种数据采集系统，其中，所述系统包括主节点和至少一个从节点；所述主节点，用于根据用户的采集配置指令，生成从节点的采集实例模板，并将所述采集实例模板发送给相应的从节点；所述采集实例模板包括：配置描述信息以及匹配数据源端和目的端的采集配置参数；所述从节点，用于在接收所述采集实例模板后，基于所述采集实例模板中的采集配置参数和配置描述信息，生成相应的采集服务实例；通过所述采集服务实例采集对应的数据源端的数据信息，并将所述数据信息发送至对应的目的端。本申请实施例提供的一种数据采集方法及系统，采用主节点和从节点的分布式系统，在主节点上能够针对变化的数据源端，在一个或多个从节点上进行采集服务实例的灵活部署，整个部署过程简单、方便使用，提高了部署效率、可靠性较好，并且降低了运维成本。为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1示出了本申请实施例所提供的一种数据采集方法的流程示意图；图2示出了本申请实施例所提供的另一种数据采集方法的流程示意图；图3示出了本申请实施例所提供的另一种数据采集方法的流程示意图；图4示出了本申请实施例所提供的另一种数据采集方法的流程示意图；图5示出了本申请实施例所提供的另一种数据采集方法的流程示意图；图6示出了本申请实施例所提供的另一种数据采集方法的流程示意图；图7示出了本申请实施例所提供的一种数据采集系统的结构示意图。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。本文档来自技高网...

【技术保护点】
1.一种数据采集方法，其特征在于，所述方法应用于主节点和从节点，所述方法包括：所述主节点根据用户的采集配置指令，生成从节点的采集实例模板，并将所述采集实例模板发送给相应的从节点；所述采集实例模板包括：配置描述信息以及匹配数据源端和目的端的采集配置参数；所述从节点在接收所述采集实例模板后，基于所述采集实例模板中的采集配置参数和配置描述信息，生成相应的采集服务实例；通过所述采集服务实例采集对应的数据源端的数据信息，并将所述数据信息发送至对应的目的端。

【技术特征摘要】
1.一种数据采集方法，其特征在于，所述方法应用于主节点和从节点，所述方法包括：所述主节点根据用户的采集配置指令，生成从节点的采集实例模板，并将所述采集实例模板发送给相应的从节点；所述采集实例模板包括：配置描述信息以及匹配数据源端和目的端的采集配置参数；所述从节点在接收所述采集实例模板后，基于所述采集实例模板中的采集配置参数和配置描述信息，生成相应的采集服务实例；通过所述采集服务实例采集对应的数据源端的数据信息，并将所述数据信息发送至对应的目的端。2.根据权利要求1所述的数据采集方法，其特征在于，所述主节点将所述采集实例模板发送给相应的从节点之后，所述方法还包括：所述主节点获取所述从节点中所述采集服务实例的安装状态；所述主节点若监控到所述从节点的安装状态不符合预设条件，则启动相应的报警提示。3.根据权利要求2所述的数据采集方法，其特征在于，所述方法还包括：所述主节点若监控到所述从节点的安装状态符合预设条件，则获取所述从节点中所述采集服务实例的服务状态信息；所述主节点若监控到所述从节点的服务状态信息不符合预设条件，则启动相应的报警提示。4.根据权利要求1-3任一项所述的数据采集方法，其特征在于，所述主节点将所述采集实例模板发送给相应的从节点之前，所述方法还包括：所述主节点获取所述从节点与所述主节点的连接状态；所述主节点若监控到所述从节点的连接状态为非正常连接时，则启动相应的报警提示。5.根据权利要求1所述的数据采集方法，其特征在于，所述主节点根据用户的采集配置指令，生成从节点的采集实例模板，包括：所述主节点生成所述采集服务实例所需要的安装基础信息和所述采集服务实例对应的属性参数信息；所述主节点根据采集服务实例所需要的安装基础信息，显示所述采集服务实例对应的属性参数信息；所述主节点根据所述采集配置指令标记的所述属性参数信息中目标属性参数信息，生成采集实例模板。6.根据权利要求5所述的数据采集方法，其特征在于，所述从节点基于所述采集实例模板中的采集配置参数和配置描述信息，生成相应的采集服务...

【专利技术属性】
技术研发人员：林皓，唐兵兵，余方和，朱志明，
申请(专利权)人：北京北信源信息安全技术有限公司，
类型：发明
国别省市：北京,11