一种可视化的ElasticSearch数据采集方法及装置制造方法及图纸

本发明专利技术公开了一种可视化的ElasticSearch数据采集方法及装置，包括：创建可视化组件，可视化组件包括输入插件、输出插件和调度插件；通过将输入插件、输出插件和调度插件关联，创建任务；分别对所述输入插件、输出插件和调度插件进行参数配置，得到输入插件配置文件、输出插件配置文件和调度插件配置文件；配置任务的运行节点和任务策略；加载任务策略，获取目标运行节点的节点信息；依据目标运行节点的节点信息将任务发送给目标运行节点以便目标运行节点获取并解析所述输入插件配置文件、输出插件配置文件和调度插件配置文件，执行数据采集；通过本发明专利技术简化了配置过程，可同时多任务多节点并发采集，有效提高了数据采集的效率，降低了使用成本。

【技术实现步骤摘要】
一种可视化的ElasticSearch数据采集方法及装置
本专利技术涉及数据采集
，尤其是涉及一种可视化的ElasticSearch数据采集方法及装置。
技术介绍
ElasticSearch是一个基于Lucene的搜索服务器，它提供了一个分布式多用户能力的全文搜索引擎，基于RESTfulweb接口，Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎，设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。使用ElasticSearch的高效搜索有一个前提条件，需要先将数据采集到ElasticSearch中。目前采集数据通常使用第三方插件完成，需要使用命令行或复杂的配置，学习成本和使用门槛较高，且只能单任务执行，采集速度慢，效率低下。
技术实现思路
为了解决上述问题，本专利技术提出了一种可视化的ElasticSearch数据采集方法及装置，通过通过图形化操作的方式，定义结构化数据的输入输出和创建调度任务，实现了基于ElasticSearch的数据采集，简化了采集过程，提高了采集速率。为了实现上述目的，本专利技术采用如下技术方案：具体的，一种可视化的ElasticSearch数据采集方法，应用于与节点服务器通信连接的用户终端，所述方法包括：创建可视化组件，所述可视化组件包括输入插件、输出插件和调度插件；通过将所述输入插件、输出插件和调度插件关联，创建任务；分别对所述输入插件、输出插件和调度插件进行参数配置，得到输入插件配置文件、输出插件配置文件和调度插件配置文件；配置所述任务的运行节点和任务策略；加载所述任务策略，获取目标运行节点的节点信息；依据所述目标运行节点的节点信息将所述任务发送给目标运行节点以便目标运行节点获取并解析所述输入插件配置文件、输出插件配置文件和调度插件配置文件，执行数据采集。进一步的，所述输入插件配置文件包括数据源信息及查询脚本，所述数据源信息包括数据源数据库的IP及端口信息。进一步的，所述输出插件配置文件包括数据目标信息，所述数据目标为ElasticSearch服务器，所述数据目标信息包括Elasticsearch服务器的IP、端口、索引名称及类型名称。进一步的，所述调度插件配置文件包括调度类型、调度时间及关联输入输出。进一步的，配置所述任务的运行节点包括配置运行节点服务器的名称、IP、端口信息。进一步的，配置所述任务的任务策略包括配置执行方式、目标运行节点服务器、任务日志级别和调度任务，所述调度任务为将所述任务关联至所述目标运行节点服务器。进一步的，所述输入插件配置文件和输出插件配置文件均保存为ktr文件，所述调度插件配置文件为kjb文件。进一步的，所述目标运行节点执行数据采集的具体步骤为：所述目标运行节点解析所述调度插件配置文件，获取所述任务的调度类型、调度时间及关联输入输出信息，目标运行节点根据获取的关联输入输出信息，获取所述输入插件配置文件和输出插件配置文件，通过解析输入插件配置文件和输出插件配置文件获取所述数据源信息和所述数据目标信息，并根据数据源信息和数据目标信息，按照调度类型和调度时间执行数据的采集。具体的，一种可视化的ElasticSearch数据采集装置，所述装置包括：设计器和管理器，所述设计器用于通过可视化组件创建任务，所述管理器用于配置运行节点及分配所述任务的目标运行节点，并将任务发送至所述目标运行节点执行。与现有技术相比，本专利技术的有益效果在于：本专利技术通过图形化操作的方式，定义结构化数据的输入输出和创建调度任务，针对不同的业务需求，只需作简单配置即可开始结构化数据的采集，提高数据采集的易用性，可同时多任务多节点并发采集，提高数据采集的高效性。附图说明图1为本专利技术的一种可视化的ElasticSearch数据采集方法流程图；图2为本专利技术实施例1的数据采集过程流程图；图3为本专利技术的一种可视化的ElasticSearch数据采集装置框图。附图标记说明：101-设计器，102-管理器。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。实施例1如图1所示，一种可视化的ElasticSearch数据采集方法，应用于与节点服务器通信连接的用户终端，方法包括：创建可视化组件，可视化组件包括输入插件、输出插件和调度插件，通过将数据采集全程可视化，用户只需作简单配置即可开始数据采集，无需进行抽象难记的命令和复杂繁琐的配置操作，提升用户体验，降低学习成本和使用门槛，采集过程由调度中心智能控制，无需人工干预，并可实时监控采集详情。通过将输入插件、输出插件和调度插件关联，创建任务，每个插件都是独立的，一个完整任务链由输入插件、输出插件和调度插件组成。配置输入插件，配置信息包括输入插件名称、数据源信息和查询脚本，将配置好的输入插件配置文件保存为ktr文件；数据源信息包括数据源数据库的IP、端口等信息，查询脚本为从数据源数据库中查询数据的脚本，以oracle为数据源数据库为例，需要从oracle读取数据，则数据源信息需填写oracle的IP和端口等信息，查询脚本为从oracle中查询数据的SQL语句。配置输出插件，包括输出插件名称和数据目标信息，数据目标为要把数据抽取到的目标数据库，将配置好的输出插件配置文件保存为ktr文件；本实施例中，数据目标为ElasticSearch服务器，数据目标信息包括Elasticsearch服务器的IP、端口、索引名称及类型名称。配置调度插件，包括是否重复采集、调度类型、调度时间和关联输入输出，配置好的调度插件配置文件保存为kjb文件；调度类型包括马上执行、距当前多久时间执行、每天某个时间执行、每周某个时间执行、每月某个时间执行；调度时间为配置好调度类型后需要指定的具体调度时间；关联输入输出为指定当前调度插件需要调用的输入插件和输出插件。配置运行节点，包括运行节点服务器名称、IP和端口信息。配置任务策略，即分配任务的目标运行节点，配置信息包括执行方式、目标运行节点服务器、任务日志级别和调度任务，调度任务为将任务关联至分配的目标运行节点服务器；同时采用本文档来自技高网...

【技术保护点】
1.一种可视化的ElasticSearch数据采集方法，应用于与节点服务器通信连接的用户终端，其特征在于，所述方法包括：创建可视化组件，所述可视化组件包括输入插件、输出插件和调度插件；通过将所述输入插件、输出插件和调度插件关联，创建任务；分别对所述输入插件、输出插件和调度插件进行参数配置，得到输入插件配置文件、输出插件配置文件和调度插件配置文件；配置所述任务的运行节点和任务策略；加载所述任务策略，获取目标运行节点的节点信息；依据所述目标运行节点的节点信息将所述任务发送给目标运行节点以便目标运行节点获取并解析所述输入插件配置文件、输出插件配置文件和调度插件配置文件，执行数据采集。

【技术特征摘要】
1.一种可视化的ElasticSearch数据采集方法，应用于与节点服务器通信连接的用户终端，其特征在于，所述方法包括：创建可视化组件，所述可视化组件包括输入插件、输出插件和调度插件；通过将所述输入插件、输出插件和调度插件关联，创建任务；分别对所述输入插件、输出插件和调度插件进行参数配置，得到输入插件配置文件、输出插件配置文件和调度插件配置文件；配置所述任务的运行节点和任务策略；加载所述任务策略，获取目标运行节点的节点信息；依据所述目标运行节点的节点信息将所述任务发送给目标运行节点以便目标运行节点获取并解析所述输入插件配置文件、输出插件配置文件和调度插件配置文件，执行数据采集。2.根据权利要求1所述的一种可视化的ElasticSearch数据采集方法，其特征在于，所述输入插件配置文件包括数据源信息及查询脚本，所述数据源信息包括数据源数据库的IP及端口信息。3.根据权利要求1所述的一种可视化的ElasticSearch数据采集方法，其特征在于，所述输出插件配置文件包括数据目标信息，所述数据目标为ElasticSearch服务器，所述数据目标信息包括Elasticsearch服务器的IP、端口、索引名称及类型名称。4.根据权利要求1所述的一种可视化的ElasticSearch数据采集方法，其特征在于，所述调度插件配置文件包括调度类型、调度时间及关联输入输出。5.根据权利要求1所述的一种可视化的ElasticSearch数据采集方法，其特征在于...

【专利技术属性】
技术研发人员：杨耀，王纯斌，钟武，李森林，
申请(专利权)人：成都四方伟业软件股份有限公司，
类型：发明
国别省市：四川,51