一种基于元数据的数据采集方法技术

本发明专利技术涉及一种基于元数据的数据采集方法，该方法包括下述步骤：（1）分离数据采集流程和数据；（2）建立标准流程；（3）建立元数据模型；（4）实施数据采集。该方法通过对多种不同的具体采集方法进行分析，将数据采集的主体流程定义为标准流程，标准流程外的数据和特殊方法抽象为标准流程所需的元数据，建立元数据模型，标准流程配合不同的元数据实现对不同采集对象的数据采集。

【技术实现步骤摘要】

本专利技术涉及一种数据采集方法，具体涉及。
技术介绍
在监控系统领域，大型的监控系统需要监控多种不同类型的硬件设备、软件运行情况等，数据采集在监控系统中是必备的基础工作，不同类型的监控对象往往会提供不同的数据接口和通信协议，如通用的SNMP协议和各种厂商私有的自定义协议，监控系统中要对不同采集方法的监控对象分别设计采集方法，系统扩展成本较高。现有技术往往对不同的监控对象各自设计采集方法，复用性差、整体性能不易统一优化，后期扩展性差、升级成本高。实际应用中，早期的监控对象类型往往比较少，针对少量的监控对象分别设计采集方法即可，此时实现的监控系统架构往往扩展性不好，到后期监控对象类型不断增加时，要修改系统架构已经很不容易。
技术实现思路
针对现有技术的不足，本专利技术提供，该方法通过对多种不同的具体采集方法进行分析，将数据采集的主体流程定义为标准流程，标准流程外的数据和特殊方法抽象为标准流程所需的元数据，建立元数据模型，标准流程配合不同的元数据实现对不同采集对象的数据采集。本专利技术的目的是采用下述技术方案实现的:—种基于元数据的数据采集方法，其改进之处在于，所述方法包括下述步骤:( I)分离数据采集流程和数据；(2)建立标准流程；(3)建立元数据模型；(4)实施数据采集。其中，所述步骤(I)中，在历史数据采集过程实例中获取一组数据采集过程实例，对比分析不同数据采集过程中的异同，将数据采集过程和数据采集过程中涉及的数据分离；所述数据包括数值和字符。其中，所述步骤(2)中，对数据采集主体流程进行裁剪，保留读写参数和调用方法的接口，将包含数据调用方法接口的主体流程定义为标准流程。其中，所述主体流程是指不同数据采集过程中包含相同的数据和调用方法的流程。其中，所述步骤(3)中，所述建立元数据模型包括下述步骤:A、分析将步骤(I)分离出的数据，提取出数据本质，在监控系统中用于定义数据的元素为元数据；B、汇总数据采集流程的元数据，分析其在标准流程中的作用和位置，裁剪掉与标准流程无关的元数据，保留标准流程必备的元数据，组成数据采集流程的元数据集；与标准流程无关的元数据具体为:采集流程中涉及各种各样的数据，其中有些是标准流程中的步骤必须用到的，在每个具体的采集流程实例中都会出现。有些只是某些特定流程需要的，不属于标准流程需要的元数据。如标准流程中包含“连接采集对象”的步骤，那么“采集对象地址”就是属于标准流程的元数据。又如某个采集流程实例包含“采集失败后重试，最多重试3次”步骤，这一步骤大多数采集流程实例并不需要，不作为标准采集流程的一部分，相应地“重试次数”就是仅与“重试”这一特殊流程关联的元数据，与标准流程无关，在建立标准流程时可以裁减。C、确定所述元数据集的每个元素在标准流程中的读入位置，形成元数据模型。其中，所述步骤(4)中，根据采集对象的特征，实例化元数据模型为数据实例的数据集，配合标准流程，实施数据采集，实现对不同采集对象的数据采集。其中，新增采集对象时，实例化元数据，插入到监控系统中，标准流程不改变。采集对象指的是数据采集的对象，如一个被监控的设备。所述元数据是指描述数据及其环境的数据。与现有技术比，本专利技术达到的有益效果是:本专利技术提供的基于元数据的数据采集方法，通过对多种不同的具体采集方法进行分析，将数据采集的主体流程定义为标准流程，标准流程外的数据和特殊方法抽象为标准流程所需的元数据，建立元数据模型，标准流程配合不同的元数据实现对不同采集对象的数据采集。通过应用本专利技术提供的方法，监控系统中每新增一种监控对象(采集对象)类型，只需提取其相对标准流程所需的元数据，将元数据通过配置的方式加入监控系统即可实施数据采集，对监控系统整体改动小，开发工作量小，同时监控系统结构简单、整体可控性强，便于监控系统优化和规模控制。【附图说明】图1是本专利技术提供的基于元数据的数据采集方法流程图；图2是本专利技术提供的实施数据采集的示意图。【具体实施方式】下面结合附图对本专利技术的【具体实施方式】作进一步的详细说明。本专利技术提供的基于元数据的数据采集方法流程如图1所示，该方法包括下述步骤:( I)分离数据采集流程和数据:在历史数据采集过程实例中获取一组数据采集过程实例，对比分析不同数据采集过程中的异同，将数据采集过程和数据采集过程中涉及的数据分离；所述数据包括数值和字符。(2)建立标准流程:对数据采集主体流程进行裁剪，剔除其中的具体数据和具体方法，保留读写参数和调用方法的接口，将包含数据调用方法接口的主体流程定义为标准流程。具体数据:例如某个采集对象的地址是192.168.1.1，这是个具体数据，在标准流程中不会保留192.168.1.1，这一数据可以抽象为“地址”加入元数据模型，在标准流程中保留“获取地址”方法即可。具体方法:如一个实际数据采集中使用SNMP方法采集，有“建立SNMP连接”的具体方法，这个具体方法不会在标准流程中保留，而是抽象为“建立连接”，判断这一抽象方法是否通用，如果通用就保留在标准流程中。如果不通用可以建立一个调用方法的接口加入标准流程中，实例化采集流程时调用实际的方法。(3)建立元数据模型:建立元数据模型包括下述步骤:A、分析将步骤(I)分离出的数据，提取出数据本质(数据本质包括作用、属性、类别)，在监控系统中用于定义数据的元素为元数据；不同的通信协议涉及不同的数据采集方法，可抽象为数据采集方法元数据。调用采集方法的位置不同，可抽象为调用位置元数据。B、汇总数据采集流程的元数据，分析其在标准流程中的作用和位置，裁剪掉与标准流程无关的元数据，保留标准流程必备的元数据，组成数据采集流程的元数据集；C、确定所述元数据集的每个元素在标准流程中的读入位置，形成元数据模型。(4)实施数据采集:本专利技术提供的实施数据采集的示意图如图2所示，根据采集对象的特征，实例化元数据模型为数据实例的数据集，配合标准流程，实施数据采集，实现对不同采集对象的数据米集。新增采集对象时，实例化元数据，插入到监控系统中，标准流程不改变。在不同领域监控系统监控的对象不同，比如当前的天气、温度、湿度就是一种对当前气象条件的监控，监控系统通常需要持续性地监控设备或系统的某些指标。在服务器应用领域，普遍需要监控服务器、交换机等硬件和操作系统、业务应用等软件，如服务器的电源状态、温度、电压、风扇转速等，操作系统的CPU利用率、内存利用率、当前登录人数等。数据采集是监控系统的基础，采集到数据才能做进一步的数据展现、分析、控制。本专利技术提供的基于元数据的数据采集方法，是对多种多样的数据采集方法提取共同点，将不同点建立为元数据，通过运行时插入的方式达到容易扩展、对已有监控系统改动小、开发工作量小的效果，实际应用中也可采用其它方式对数据采集方法抽取共性，如将采集流程设计为统一接口、不同方法的架构。最后应当说明的是:以上实施例仅用以说明本专利技术的技术方案而非对其限制，尽管参照上述实施例对本专利技术进行了详细的说明，所属领域的普通技术人员应当理解:依然可以对本专利技术的【具体实施方式】进行修改或者等同替换，而未脱离本专利技术精神和范围的任何修改或者等同替换，其均应涵盖在本专利技术的权利要求范围当中。本文档来自技高网...

【技术保护点】
一种基于元数据的数据采集方法，其特征在于，所述方法包括下述步骤：（1）分离数据采集流程和数据；（2）建立标准流程；（3）建立元数据模型；（4）实施数据采集。

【技术特征摘要】
1.一种基于元数据的数据采集方法，其特征在于，所述方法包括下述步骤: (1)分离数据采集流程和数据； (2)建立标准流程； (3)建立元数据模型； (4)实施数据采集。2.如权利要求1所述的基于元数据的数据采集方法，其特征在于，所述步骤(I)中，在历史数据采集过程实例中获取一组数据采集过程实例，对比分析不同数据采集过程中的异同，将数据采集过程和数据采集过程中涉及的数据分离；所述数据包括数值和字符。3.如权利要求1所述的基于元数据的数据采集方法，其特征在于，所述步骤(2)中，对数据采集主体流程进行裁剪，保留读写参数和调用方法的接口，将包含数据调用方法接口的主体流程定义为标准流程。4.如权利要求3所述的基于元数据的数据采集方法，其特征在于，所述主体流程是指不同数据采集过程中包含相同的数据和调用方法的流程。5.如权利要...

【专利技术属性】
技术研发人员：刘瑞贤，赵欢，解文龙，赵晓杰，
申请(专利权)人：曙光信息产业北京有限公司，
类型：发明
国别省市：