【技术实现步骤摘要】
一种元数据采集方法、装置、设备和介质
[0001]本专利技术涉及元数据采集
，尤其涉及一种元数据采集方法、装置、设备和介质。
技术介绍
[0002]在数据中台日益普及时，数据中台系统的业务场景也越来越复杂，数据中台是一套可持续“让企业的数据用起来”的机制，是一种战略选择和组织形式，是依据特有的业务模式和组织架构，通过有形的产品和实施方法论支撑，构建的一套持续不断把数据变成资产并服务于业务的机制。
[0003]数据中台系统接入的数据源的种类和数量越来越多，数据源种类多达几十种，主要分为关系型数据、非关系型数据库和消息队列，关系型数据库包括关系型数据库管理系统(MYSQL)、数据库管理系统(ORACLE)、对象
‑
关系型数据库管理系统(POSTGRES)等，非关系型数据库包括面向文档存储的数据库(MONGODB)、分布式搜索和分析引擎(ELASTICSEARCH，ES)、远程字典服务(Remote Dictionary Server，REDIS)，消息队列包括开源流处理平台(KAFKA)；由于接入...
【技术保护点】
【技术特征摘要】
1.一种元数据采集方法，其特征在于，所述方法包括：获取输入的采集任务中携带的待采集的外部数据库的标识信息、目标数据源种类和目标采集方式，其中所述目标采集方式为手动控制采集、或目标采集周期自动采集；根据所述目标数据源种类、预先保存的数据源种类与元数据信息种类的对应关系，确定所述目标数据源种类对应的目标元数据信息种类；控制采集器在所述标识信息的外部数据库中，按照所述目标采集方式采集所述目标元数据信息种类的目标元数据信息并保存在数据库中。2.根据权利要求1所述的方法，其特征在于，所述按照所述目标采集方式采集所述目标元数据信息种类的目标元数据信息包括：若所述目标采集方式为手动控制采集，且接收到用户输入的操作指令，则根据所述操作指令中携带的执行操作，执行采集所述目标元数据信息种类的目标元数据信息；若所述目标采集方式为目标采集周期自动采集，则每间隔所述目标采集周期动态采集所述目标元数据信息种类的目标元数据信息。3.根据权利要求1所述的方法，其特征在于，所述控制采集器在所述待采集的外部数据库中，按照所述目标采集方式采集所述目标元数据信息种类的目标元数据信息并保存在数据库中之前，所述方法还包括：若所述目标采集方式为手动控制采集，根据预先保存的每个采集器的状态，确定状态为未启动状态的第一采集器，将所述第一采集器作为待控制的采集器；若所述目标采集方式为目标采集周期自动采集，根据预先保存的每个采集器的状态以及下次采集时间，确定状态为等待中状态且下次采集时间早于当前时间的第二采集器，并将所述第二采集器作为待控制的采集器。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：检测所述控制器与所述待采集的外部数据库的连接状态；若连接失败则记录运行失败日志并保存到所述数据库中；若连接成功，则判断所述目标元数据信息种类的目标元数据信息是否全部采集成功，若是，则根据全部采集成功的目标元数据信息更新所述数据库中已保存从所述外部数据库采集的元数据信息，并更新存储量、记录数和更新时间，若否，则记录运行失败日志并保存到所述数据库中；若异常中断，则根据预先保存的每个采集器的状态，确定状态为采集中状态的第三采集器，并控制所述第三采集器进行采集。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：若接收到用户对从目标标识信息的外部数据库采集的存储信息的查询请求，则从所述数据库中获取从所述目标标识信息的外部数据库中采集的元数据信息的存储量、记录数、最近更新时间和元数据信息并显示；若接收到用户对从所述目标标识信息的外部数据库采集的存储信息的更新请求，则重新从所述目标标识信息的外部数据库中获取元数据信息并保存在内部远程字典服务redis数据库中，并在确定保存成功后从所述redis数据库中获取元数据信息的存储量、记录数、最近更新时间和元数据信息并显示。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
将从所述数据库中获取的元数据信息的存储量、记录数、最近更新时间和元数据信息保存到所述redis数据库中。7.一种元数据采集装置，其特征在于，所述装置包括：获取模块，用于获取输入的采集任务中携带的待采集的外部数据库的标识信息、目标数据源种类和目标采集方式，其中所述目标采集方式为手动控制采集、或目标采集周期自动采集；确定模块，用于根据所述目标数据源种类、预先保存的数据源种类与...
【专利技术属性】
技术研发人员：陆金虎，周明伟，徐佳星，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。