一种基于可配置模板的采集系统及方法技术方案

本发明专利技术公开了一种基于可配置模板的采集系统及方法，包括：使用过程处理框架获得输入配置模板，配置模板中包含对待采集的信息的采集过程或逻辑处理的描述性定义；采集探针与配置模板进行识别匹配，按照预定义的协议过程逻辑进行信息采集，获得原始数据；对原始数据通过Table表处理方式进行逻辑计算和关联计算，获得结果二维表；根据有限更新原则对结果二维表进行表结构创建与写出，从而获得目标采集信息。本发明专利技术将协议采集过程转变成一种声明式描述定义，用于支持复杂信息的采集、分析处理过程，同时配置模型中支持资源、指标、告警触发的模型实体，以及模型之间的依赖关系和自动扩展机制的描述。机制的描述。机制的描述。

【技术实现步骤摘要】
一种基于可配置模板的采集系统及方法


[0001]本专利技术属于IT与软件开发领域，特别是涉及一种基于可配置模板的采集系统及方法。

技术介绍

[0002]在网络管理软件领域中，底层采集模块需要进行基于多种协议的采集活动，获取各种接入设备的属性及指标信息。但面临设备类型多、接入方式不同、属性关系分散、指标定义种类繁多，造成硬性编程工作量巨大，适配性不足。
[0003]目前主流网管软件的采集产品，常内置一些基本的采集过程，支持常用的资源、指标采集，但在功能扩展性上通常以开放脚本的实现方式进行衔接，学习成本较高，思路发散，不易掌握。

技术实现思路

[0004]为解决现有技术中存在的问题，本专利技术提供了如下方案：一种基于可配置模板的采集方法，包括：
[0005]使用过程处理框架模板获得配置模板，其中，所述配置模板用于对待采集或处理的信息进行配置描述；
[0006]预制采集探针与所述配置模板进行识别匹配，按照所述配置模板中预定义的资源类采集逻辑定义进行信息采集，获得原始数据；
[0007]按照所述配置模板中配置的处理逻辑对所述原始数据使用Table表处理方式进行逻辑计算和关联计算，处理后获得结果二维表；
[0008]根据有限更新原则对所述结果二维表进行表结构创建与写出，获得采集信息。
[0009]优选地，使用过程处理框架模板获得配置模板的过程包括，
[0010]过程处理框架模板通过JSON的格式分别对资源发现、指标发现、触发器发现的处理配置模板进行描述，系统解析获得配置模板内容；
[0011]所述配置模板包括输入部分、处理部分以及输出部分；
[0012]其中，所述输入部分支持不同协议的基础数据的采集，用于获取基础数据，形成数据表，
[0013]所述处理部分采用标准SQL处理语法结合数据表的配置方式，进行配置描述，配置过程中提供替换占位逻辑，依赖索引标记；
[0014]所述输出部分用于将输出数据以表的形式进行持久化，写出采集或处理的结果数据。
[0015]优选地，所述配置模板对待采集或处理的信息进行配置描述的内容包括资源采集过程、指标发现过程、告警触发器的联动生成过程的逻辑处理描述；
[0016]所述联动生成过程至少包括基于Snmp协议资源属性采集、基于SSH协议的资源属性采集、通用动态指标自动发现、触发器自动发现逻辑。
[0017]优选地，所述联动生成过程的逻辑处理描述过程包括，
[0018]基于不同协议的数据接入，通过声明式的配置方式，统一配置表述描述处理过程，根据统一的处理逻辑生成资源数据，基于所述资源数据的指标发现逻辑和指标的告警触发机制，驱动程序读取配置，完成资源发现、指标发现，告警触发器的程序部件构建过程。
[0019]优选地，预制采集探针与所述配置模块进行识别匹配的过程包括，定义基于不同协议的资源发现探针、指标发现探针、告警触发器发现探针，对应匹配资源专利技术、指标发现，告警触发器的配置模板。
[0020]优选地，所述配置模板支持资源、指标、告警触发的模型实体，以及所述模型实体之间的依赖关系和自动扩展机制；
[0021]所述模型实体包括资源实体、指标实体、告警触发器实体；
[0022]所述资源实体之间存在父子关系，包括父资源实体、子资源实体，所述资源实体为物理或实体的逻辑单元，包括设备、部件或模块；所述父资源实体下可配置一个或多个子资源实体；
[0023]所述指标实体为资源实体上的具体指标，所述资源实体下可配置一个或多个指标实体；
[0024]所述告警触发器实体表示基于单个或多指标的复合计算逻辑，用于描述事件触发或恢复的条件；模板定义支持根据一个或多个指标参数输入，自动事件触发或恢复生成计算表达式。
[0025]优选地，所述配置模板还支持资源级联，自动完成资源的挂载关系，动态捕获某一父资源的所有子资源；根据资源参数，递归自动发现所有子资源的指标项，获得指标采集集合，同时完成采集方式的动态拼装，支持通用采集器根据指标项集合进行采集。
[0026]还提供一种基于可配置模板的采集系统，包括，
[0027]配置模块，用于对待采集的信息进行配置描述管理、配置模板分析、处理过程组装；
[0028]采集模块，用于按照预定义的计算逻辑进行信息采集，获得原始数据；
[0029]处理模块，用于对所述原始数据通过Table表处理方式进行逻辑计算和关联计算，获得结果二维表；
[0030]存储模块，用于存储根据所述结果二维表进行表结构创建与结果数据写出。
[0031]优选地，所述配置模块包括配置模板过程构建单元、配置描述单元；
[0032]所述配置模板过程构建单元用于分别构建采集处理分析过程，通过JSON的格式描述处理过程的依赖关系；
[0033]所述配置描述单元用于描述资源采集过程，基于资源进行指标发现过程，然后基于指标的告警触发器的联动生成过程。
[0034]优选地，所述采集模块包括匹配单元、信息采集单元；
[0035]所述匹配单元用于将采集探针与所述配置模块进行识别匹配，包括将资源发现探针、指标发现探针、告警触发器发现探针，对应匹配资源专利技术、指标发现，告警触发器的配置模板；
[0036]所述信息采集单元用于在采集探针与配置模板识别匹配完成后，按照配置模板中预定义的计算逻辑进行信息采集或处理。
[0037]本专利技术公开了以下技术效果：
[0038]本专利技术提供的一种基于可配置模板的采集系统及方法，通过可以配置的方式进行采集过程编写，描述资源采集过程、基于资源进行指标发现过程，而后告警触发器的联动生成过程，配置规则较为简单，易于上手，从而快速完成采集过程的设置，避免硬编码采集过程，实现采集过程从外部可以灵活配置。
附图说明
[0039]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0040]图1为本专利技术实施例的系统处理的流程图；
[0041]图2为本专利技术实施例的模板实体模型示意图。
具体实施方式
[0042]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0043]为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。
[0044]实施例一
[0045]如图1所示，本专利技术提供了一种支持复杂Snmp、SSh等资源采集、指标发现、告警触发器的生成过程可配置的方法。具体为一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于可配置模板的采集方法，其特征在于，包括：使用过程处理框架模板获得配置模板，其中，所述配置模板用于对待采集或处理的信息进行配置描述；预制采集探针与所述配置模板进行识别匹配，按照所述配置模板中预定义的资源类采集逻辑定义进行信息采集，获得原始数据；按照所述配置模板中配置的处理逻辑对所述原始数据使用Table表处理方式进行逻辑计算和关联计算，处理后获得结果二维表；根据有限更新原则对所述结果二维表进行表结构创建与写出，获得采集信息。2.根据权利要求1所述的基于可配置模板的采集方法，其特征在于，使用过程处理框架模板获得配置模板的过程包括，过程处理框架模板通过JSON的格式分别对资源发现、指标发现、触发器发现的处理配置模板进行描述，系统解析获得配置模板内容；所述配置模板包括输入部分、处理部分以及输出部分；其中，所述输入部分支持不同协议的基础数据的采集，用于获取基础数据，形成数据表，所述处理部分采用标准SQL处理语法结合数据表的配置方式，进行配置描述，配置过程中提供替换占位逻辑，依赖索引标记；所述输出部分用于将输出数据以表的形式进行持久化，写出采集或处理的结果数据。3.根据权利要求1所述的基于可配置模板的采集方法，其特征在于，所述配置模板对待采集或处理的信息进行配置描述的内容包括资源采集过程、指标发现过程、告警触发器的联动生成过程的逻辑处理描述；所述联动生成过程至少包括基于Snmp协议资源属性采集、基于SSH协议的资源属性采集、通用动态指标自动发现、触发器自动发现逻辑。4.根据权利要求3所述的基于可配置模板的采集方法，其特征在于，所述联动生成过程的逻辑处理描述过程包括，基于不同协议的数据接入，通过声明式的配置方式，统一配置表述描述处理过程，根据统一的处理逻辑生成资源数据，基于所述资源数据的指标发现逻辑和指标的告警触发机制，驱动程序读取配置，完成资源发现、指标发现，告警触发器的程序部件构建过程。5.根据权利要求1所述的基于可配置模板的采集方法，其特征在于，预制采集探针与所述配置模块进行识别匹配的过程包括，定义基于不同协议的资源发现探针、指标发现探针、告警触发器发现探针，对应匹配资源发明、指标发现，告警触发器的配置模板。6.根据权利要求1所述的基于可配置模板的采集...

【专利技术属性】
技术研发人员：康鹏，綦磊，贾娟，余清华，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：