基于配置项的动态数据采集方法技术

本发明专利技术提供了一种基于配置项的动态数据采集方法，其进行数据采集时根据配置项模板生成配置项实例，利用配置项关系管理配置项实例相互间的关系，从而通过配置项来描述监控对象，所述配置项模板包括元素：配置项属性，用于标明配置项特征的特征值；技术指标，用于标明配置项动态状态的特征值；配置项关系，用于标明配置项实例相互间的关系。本发明专利技术实现了数据采集平台的执行框架和配置项的分离，通过配置项的方式对未知（或变化）的数据源及数据格式的采集、存储、展示进行定义，使得平台主体框架稳定、同时具有理想的扩展性，在扩展监控对象、变更监控属性时，监控功能的上线周期和成本均很理想，同时对平台原有部署的数据采集功能没有影响。

【技术实现步骤摘要】

本专利技术涉及综合数据采集、监控系统，具体地，涉及基于配置项的动态数据采集方 法。
技术介绍
在信息化高度发展的今天，信息技术在各个行业中的应用都得到了前所未有的重 视，对于信息系统的依赖也越来越深，依靠原始的现场人力点检方法已经无法满足现有IT 运维保障的要求，更加无法满足IT系统持续优化的管理要求。因此，各个专业化厂商，如月艮 务器厂商、虚拟化厂商、网络设备厂商等，与设备供应的同时都提供了相应的数据采集接口 和自动化监控系统，这些专业化系统虽然针对自身设备和产品能够进行细致全面的管控， 但是无法形成统一的管理视图，各个系统形成了信息孤岛，无法满足大中型组织的信息化 管理需求；应运而生的综合监控的解决方案或平台，通过标准的接口和协议从各个设备及 下级管理系统中采集数据，统一分析及展示，有效解决了这个问题，但是也存在如下新的问 题： 1、采集信息的格式无法预知。虽然通常的综合监控产品会实现大多数的标准数据 采集协议，如SNMP、JMX、agent、Syslog、rest、webservice等，但是在应用层面无法预知采 集信息的具体数据格式。换句话，同样是通过标准webservice采集到的数据，数据内容是 什么含义、如何格式化无法统一。这样的采集系统虽然做到了在某一层次上的数据统一和 程序稳定，但是仍旧需要根据不同的监控对象修改数据采集模块(或者是数据采集插件）和 数据处理模块。对于已购买该系统的用户，随着信息系统的发展想要扩展监控对象和属性， 就需要原厂商的支持、甚至再次付费才能满足监控要求。 2、采集信息的展示无法预知。采集到的数据，到底是以字符串、数字还是百分比方 式来显示？是否需要显示所有数据？显示的次序如何？是否需要以图形方式显示？以上 等等问题，都无法在部署前充分预知、而且也无法保证一成不变。简单的展示需求变更，可 能带来系统采集和展示模块的反复修改、编译和发布，影响系统稳定和展示效果，而且成本 不菲。 经检索发现如下相关文献。 相关文献1 :监控指标项动态配置方法 申请号：CN201310115867. 7。 该专利文献提供了一种监控指标项动态配置方法，包括配置监控项和监控项的绑 定；配置监控项包括：选择协议，选择适用节点类型，选择操作系统，选择属性，配置获取命 令，设置返回值类型，设置预警规则，预警级别和测试监控项；监控项绑定包括：设置节点 管理IP，选择节点类型，操作系统的选择，设置凭证，监控项测试，DGAS节点变更及DGAS服 务接受变更。 技术要点比较：该专利文献主要针对网络环境中的设备监控，对监控指标和监控 项做了明确定义，实际上是一种半抽象的配置项实现方式，在传统面向设备监控的系统里， 与本专利技术应用的效果类似。本专利技术与该专利文献相比较，主要区别在于： 1、本专利技术延伸了对展示层的动态配置，而该专利文献的监控项配置截止于对返回 结果格式化，对于监控项的图形化展示，因此本专利技术更加有效。 2、本专利技术定义了完全抽象的配置项概念，例如可以将一台PC服务器作为一个配 置项，在该配置项上绑定操作系统、中间件等技术指标；也可以将PC服务器、操作系统和中 间件均作为配置项，通过设定宿主关系进行关联；同时一项业务服务也可以作为一个配置 项，将该配置项和服务器配置项做关联。如何设定配置项的粒度，完全取决于对配置项管 理的粒度要求。在面向业务的监控系统里，需要体现监控项间的相互关系；在提供Saas及 Paas服务的云环境里，淡化了设备概念而突出了资源池的概念，强调从业务服务和技术服 务视角进行监控，该专利文献将不再适用。 3、本专利技术强调了对配置项模板及其属性、技术指标、实例、相互关系的管理，通过 共享的方式尽量减少建立不必要的模板、属性和指标，使得配置项相关库保持在简单有序 的状态。而该专利文献没有涉及到相关的概念及设计。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种基于配置项的动态数据采集方 法。本专利技术通过对配置项的管理配置，满足对不同数据源及数据格式的采集和展示需求， 使得系统具有优异的动态扩展性。 本专利技术所描述的平台系统，即为了满足数据采集平台的动态化扩展要求，通过将 数据采集平台分离为一个执行框架、以及基于模板的配置项实例，实现对未知(或变化的） 数据源及数据格式的采集、展示需求。 根据本专利技术提供的一种，其进行数据采集时根据 配置项模板生成配置项实例，利用配置项关系管理配置项实例相互间的关系，从而通过配 置项来描述监控对象，其中，所述配置项模板包括如下元素： -配置项属性，用于标明配置项特征的特征值，定义为字符串类型； -技术指标，用于标明配置项动态状态的特征值； -配置项关系，用于标明配置项实例相互间的关系。 优选地，配置项关系包括：宿主、使用、属于、连接、管理。 优选地，技术指标包括多项指标属性，技术指标的指标属性是排序的，逐项指定属 性值的类型、显示方式，并且定义主指标属性。 优选地，技术指标的采集，包括： -选择接口类型，以标识技术指标采集的执行方式； -选择采集脚本，以根据技术指标的描述，采集数据并生成预期输出的可执行代 码； -选择参数映射，以通过不同的配置项实例传递的参数值，进而通过统一的采集脚 本为这些配置项模板的技术指标进行数据采集工作。 与现有技术相比，本专利技术具有如下的有益效果： 本专利技术实现了数据采集平台的执行框架和配置项的分离，通过配置项的方式对未 知(或变化）的数据源及数据格式的采集、存储、展示进行定义，使得平台主体框架稳定、同 时具有理想的扩展性。应用本技术方案搭建的数据采集平台系统，在扩展监控对象、变更监 控属性时，监控功能的上线周期、所花费的成本，都能达到最理想的效果，同时对平台原有 部署的数据采集功能没有影响。 【附图说明】 通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、 目的和优点将会变得更明显： 图1为常见综合监测系统的层次划分示例； 图2为配置项体系构成； 图3为执行框架与配置项分离示意图； 图4为配置项实例操作系统示例图； 图5为配置项实例操作系统变更后示例图。 【具体实施方式】 下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术 人员进一步理解本专利技术，但不以任何形式限制本专利技术。应当指出的是，对本领域的普通技术 人员来说，在不脱离本专利技术构思的前提下，还可以做出若干变形和改进。这些都属于本专利技术 的保护范围。 1、配置项设计 本专利技术的核心，是要通过可配置的方式，来描述任何可能的监控对象，我们这里定 义为配置项模板。配置项模板由配置项属性、技术指标和配置项关系三类基本元素组成，分 别说明如下： 配置项属性：可以标明该配置项某一特征的特征值，定义为字符串类型，一个配置 项模板可以有多项属性。以操作系统为例，操作系统的名称和版本即可作为操作系统 这个配置项模板的属性，不同的名称和版本确定了未来的一个操作系统监控实例的明确标 识。配置项属性相对静态，一般不会发生改变、或者改变是人为造成的。 技术指标：可以标明该配置项动态本文档来自技高网...

【技术保护点】
一种基于配置项的动态数据采集方法，其特征在于，进行数据采集时根据配置项模板生成配置项实例，利用配置项关系管理配置项实例相互间的关系，从而通过配置项来描述监控对象，其中，所述配置项模板包括如下元素：‑配置项属性，用于标明配置项特征的特征值，定义为字符串类型；‑技术指标，用于标明配置项动态状态的特征值；‑配置项关系，用于标明配置项实例相互间的关系。

【技术特征摘要】
1. 一种基于配置项的动态数据采集方法，其特征在于，进行数据采集时根据配置项模 板生成配置项实例，利用配置项关系管理配置项实例相互间的关系，从而通过配置项来描 述监控对象，其中，所述配置项模板包括如下元素： -配置项属性，用于标明配置项特征的特征值，定义为字符串类型； -技术指标，用于标明配置项动态状态的特征值； -配置项关系，用于标明配置项实例相互间的关系。2. 根据权利要求1所述的基于配置项的动态数据采集方法，其特征在于，配置项关系 包括：宿主、使用、属于、连接、管理。3. 根据权利要求...

【专利技术属性】
技术研发人员：成名，李刚，
申请(专利权)人：上海宝信软件股份有限公司，
类型：发明
国别省市：上海;31