CMDB数据自动校验采集的系统及方法技术方案

本发明专利技术提供了一种CMDB数据自动校验采集的系统及方法，涉及运维技术领域，该方法包括：步骤S1：通过自动采集工具采集CMDB配置项初始数据；步骤S2：将采集的初始数据根据配置项校验规则进行自动校验，并进行部分数据的批处理以满足校验规则；步骤S3：通过数据校验的数据根据配置项模型映射关系进行数据的自动映射入库，采集CMDB数据的自动校验；步骤S4：未通过数据校验的数据输出错误日志，供用户查看并修订问题。本发明专利技术能够有利于分支机构CMDB数据上报及监管数据报送等场景，易于实现集成，且能够实现CMDB数据的高效采集。够实现CMDB数据的高效采集。够实现CMDB数据的高效采集。

【技术实现步骤摘要】
CMDB数据自动校验采集的系统及方法


[0001]本专利技术涉及运维
，具体地，涉及一种CMDB数据自动校验采集的系统及方法。

技术介绍

[0002]CMDB(Configuration Management Database，配置管理数据库)是企业存储IT资源的基础数据库，负责存储管理数据中心、硬件设施、虚拟机资源、软件系统、关联关系等IT资产，并对外提供基础数据服务。基于此，很多机构已根据自身需求建设完成CMDB，发挥IT资产数据管理服务作用。但由于分支机构与总公司、金融机构与监管部门等存在着CMDB模型定义不一致、CMDB数据规则不统一等问题，导致数据汇总难度大、数据难以统一收集与管理，无法发挥CMDB数据更大价值。
[0003]目前，常采用配置管理数据库(Configurat ion Management Database，CMDB)来记录云产品与服务器之间的对应关系，CMDB系统记录的信息普遍是在运维工作流程中，由运维人员操作运维系统来配置的，故CMDB系统记录的信息往往需要校验和修正，现有技术中，CMDB系统记录信息校验也是由运维人员定期人工处理的。
[0004]现在，针对CMDB数据采集的方法和系统更多关注于单个CMDB系统配置项信息的自动化采集及校验，公开号为CN108989385A的专利技术专利，公开了一种基于Zabbix监控采集自动同步CMDB的实现方法，包括如下步骤：S1)通过创建中间表对象作为Zabbix采集器和CMDB配置项的过渡器；S2)将中间表对象分别与Zabbix采集器和CMDB配置项建立映射关系；S3)Zabbix采集器通过映射关系将采集数据写入到中间表；S4)CMDB配置项通过映射关系读取中间表并同步到配置项属性，完成从Zabbix到CMDB配置项的自动同步。
[0005]公开号为CN111625528A的专利技术专利，公开了一种配置管理数据库的校验方法、装置及可读存储介质，包括：获取每一服务器上运行的至少一个目标进程；基于每一服务器上各目标进程的标识信息，从预设云产品进程部署规则库中确定与该服务器具有对应关系的云产品、以及与该服务器具有对应关系的云产品的进程部署规则；基于每一服务器与各云产品之间的对应关系获取该服务器的第一对应关系列表，并利用与该服务器具有对应关系的云产品的进程部署规则对第一对应关系列表进行校验，得到该服务器的第二对应关系列表；基于各服务器的第二对应关系列表，对CMDB中记录的各云产品与服务器的对应关系进行校验。
[0006]上述技术的主要缺点有：首先，上述专利技术更多关注单个CMDB系统配置项数据的采集，并未关注多个CMDB系统之间的映射及数据汇总收集。其次，上述专利技术数据校验较为片面，没有提出全面数据校验的方法和系统。

技术实现思路

[0007]针对现有技术中的缺陷，本专利技术提供一种CMDB数据自动校验采集的系统及方法。
[0008]根据本专利技术提供的一种CMDB数据自动校验采集的系统及方法，所述方案如下：
[0009]第一方面，提供了一种CMDB数据自动校验采集的系统，所述系统包括：
[0010]自动校验采集模块和报送模块；
[0011]自动校验采集模块：对第一CMDB系统配置项数据进行自动校验采集，包括配置项初始数据的采集、加工单元和数据校验单元；
[0012]报送模块：对通过数据校验的配置项数据进行数据报送，以RESTful API的方式完成第二CMDB系统配置项数据的收集，包括数据报送接口及数据状态查询接口。
[0013]优选的，所述采集校验映射表包括第一CMDB系统与第二CMDB系统配置项及字段的一一映射关系、数据的获取方式、是否进行批处理及数据的校验规则。
[0014]优选的，所述自动校验采集模块中配置项初始数据的采集、加工单元为根据采集校验映射表进行第一CMDB系统配置项初始数据的自动化采集，以及根据采集校验映射表进行配置项初始数据的批处理加工，并由定时任务控制采集、加工程序的定时自动化执行。
[0015]优选的，所述配置项初始数据的采集、加工单元中配置项初始数据采集包括：可直接获取值和通过函数动态获取值，其中，通过函数获取值需程序动态进行处理获取对应值，在采集映射表中以fun_为开头标记。
[0016]优选的，所述配置项初始数据的采集、加工单元中配置项初始数据加工包括：根据采集校验映射表中是否批处理标记进行，若为true，进行批处理加工；若为false，则不进行批处理加工。
[0017]优选的，所述自动校验采集模块中数据校验单元包括：根据配置的数据校验规则进行数据校验，满足第二CMDB系统的数据收集需求；数据校验规则由第二CMDB系统配置项模型负责人通过页面配置或excel表格导入的方式制定。
[0018]优选的，所述数据校验规则包括：数据的规范性校验、逻辑性校验、一致性校验；
[0019]其中，规范性校验包括：数据必填项校验、数据类型校验以及数据值域校验；
[0020]逻辑性校验为判断配置项数据取值是否符合校验规则制定的逻辑事实；
[0021]一致性校验为判断存在关联关系的配置项在与其有关联关系的配置项中是否存在。
[0022]优选的，所述报送模块中数据报送接口包括：对中间库数据报送至第二CMDB系统，报送支持数据的新增、修改及删除，报送完成返回数据的批次号；
[0023]数据状态查询接口包括：根据数据批次号对数据处理状态进行查询，以确保数据报送准确无误，同时提供数据报送日志，以供查询报送状况。
[0024]第二方面，提供了一种CMDB数据自动校验采集的方法，所述方法包括：
[0025]步骤S1：通过CMDB数据自动校验采集系统根据采集校验映射表进行第一CMDB系统配置项初始数据的自动化采集；
[0026]步骤S2：采集的配置项初始数据按照采集校验映射表定义进行数据批处理及数据的自动校验；
[0027]步骤S3：通过数据校验的配置项数据根据采集映射表的第一CMDB系统、第二CMDB系统配置项模型映射关系进行数据的自动映射入库；未通过数据校验的配置项数据则输出采集日志，供用户查看并修订数据校验问题。
[0028]优选的，所述步骤S2包括：
[0029]根据采集校验映射表判断是否需要进行批处理加工，若是则进行批处理加工；否
则直接进入数据校验过程；
[0030]再根据数据校验规则进行数据校验，依次为数据规范性校验、逻辑性校验和一致性校验。
[0031]与现有技术相比，本专利技术具有如下的有益效果：
[0032]1、本专利技术中CMDB数据自动校验采集系统实现与CMDB系统解耦，可适配多套CMDB模型，有利于分支机构CMDB数据上报及监管数据报送等场景，易于实现集成；
[0033]2、根据CMDB系统各配置项模型规则进行数据的自动校验，包括数据的规范性校验、逻辑性校验、一致性校验等，以规范CMDB数据质量；
[0034]3、通过数据校验本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种CMDB数据自动校验采集的系统，其特征在于，包括：自动校验采集模块和报送模块；自动校验采集模块：对第一CMDB系统配置项数据进行自动校验采集，包括配置项初始数据的采集、加工单元和数据校验单元；报送模块：对通过数据校验的配置项数据进行数据报送，以RESTful API的方式完成第二CMDB系统配置项数据的收集，包括数据报送接口及数据状态查询接口。2.根据权利要求1所述的CMDB数据自动校验采集的系统，其特征在于，所述采集校验映射表包括第一CMDB系统与第二CMDB系统配置项及字段的一一映射关系、数据的获取方式、是否进行批处理及数据的校验规则。3.根据权利要求1所述的CMDB数据自动校验采集的系统，其特征在于，所述自动校验采集模块中配置项初始数据的采集、加工单元为根据采集校验映射表进行第一CMDB系统配置项初始数据的自动化采集，以及根据采集校验映射表进行配置项初始数据的批处理加工，并由定时任务控制采集、加工程序的定时自动化执行。4.根据权利要求3所述的CMDB数据自动校验采集的系统，其特征在于，所述配置项初始数据的采集、加工单元中配置项初始数据采集包括：可直接获取值和通过函数动态获取值，其中，通过函数获取值需程序动态进行处理获取对应值，在采集映射表中以fun_为开头标记。5.根据权利要求3所述的CMDB数据自动校验采集的系统，其特征在于，所述配置项初始数据的采集、加工单元中配置项初始数据加工包括：根据采集校验映射表中是否批处理标记进行，若为true，进行批处理加工；若为false，则不进行批处理加工。6.根据权利要求1所述的CMDB数据自动校验采集的系统，其特征在于，所述自动校验采集模块中数据校验单元包括：根据配置的数据校验规则进行数据校验，满足第二CMDB系统的数据收集需求；数据校验规则由第二CMDB系统配...

【专利技术属性】
技术研发人员：颜富甲，张驹强，
申请(专利权)人：兴业银行股份有限公司，
类型：发明
国别省市：