多数据源元数据快速比对方法、系统、设备和存储介质技术方案

本发明专利技术涉及数据处理技术领域，具体涉及多数据源元数据快速比对方法、系统、设备和存储介质。该方法根据数据源名称获取当前数据库连接，构建初始化SQL语句，查询数据库中对应的元数据信息；根据查询到的数据库中的元数据信息，基于Hash规则计算每条元数据信息内容的Hash值；针对待比较的元数据信息，比对元数据信息的Hash值，并以列存储方式进行分块并行计算；分块并行计算Hash值对比的待比较的元数据信息的内容是否相同，筛选出本地待删减、新增、修改的表和字段的元数据记录。本发明专利技术通过将多种数据源的元数据进行快速比对，提高了数据交互的效率，通过Hash值比对的方式，避免逐条逐个记录的比对，提高了计算效率。提高了计算效率。提高了计算效率。

【技术实现步骤摘要】
多数据源元数据快速比对方法、系统、设备和存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种多数据源元数据快速比对方法、系统、设备和存储介质。

技术介绍

[0002]企业数字化经营中，企业数据呈现海量、多源、快速变化的特点。在数据混合部署的形态下，企业数据会分散存储于孤岛式的Oracle、SQL、PostgreSQL等各种数据库、或Hbase等大数据平台、数据中台、以及各项业务系统中。企业因经营发展的需要，在调用多数据源下的数据时，往往需要企业的技术人员根据需求，根据不同数据源进行重复性的数据开发、数据处理等代码编写工作。耗费大量的时间成本和人力成本。
[0003]企业或可导入目前市面上的数据管理工具辅助使用，但现有技术中的数据管理工具，一般仅支持单一的数据源、或与该工具同厂商的数据源，提供数据管理功能，无法实现兼容目前市面上通用的多数据源同时进行数据管理的需求。
[0004]同时针对各个数据库和数据平台的管理中做到数据资产化和后续数据服务化的一个核心能力主要在于针对不同数据库和平台的元数据的集成能力。由于企业需要本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多数据源元数据快速比对方法，其特征在于，该方法包括以下步骤：根据数据源名称获取当前数据库连接，构建初始化SQL语句，查询数据库中对应的元数据信息；根据查询到的数据库中的元数据信息，基于Hash规则计算每条元数据信息内容的Hash值；针对待比较的元数据信息，比对元数据信息的Hash值，并以列存储方式进行分块并行计算；分块并行计算Hash值对比的待比较的元数据信息的内容是否相同，筛选出本地待删减、新增、修改的表和字段的元数据记录。2.如权利要求1所述的多数据源元数据快速比对方法，其特征在于，所述多数据源元数据快速比对方法中，采取Hash校验的方式比对元数据信息之间的Hash值，基于一条Hash结果用以确定元数据是否发生变化需要更新。3.如权利要求2所述的多数据源元数据快速比对方法，其特征在于，根据数据源名称获取当前数据库连接，还包括：查询数据库中的同步标识状态，检查当前同步任务是否为第一次全量同步；若为第一次全量同步，则将同步状态更新为“开始同步”，并查询数据库中是否存在当前数据源的元数据配置，存在则清空。4.如权利要求3所述的多数据源元数据快速比对方法，其特征在于，构建初始化SQL语句，查询数据库中对应的元数据信息之前，还包括:读取目标数据库信息, 根据type类型判断需连接的数据库，获取数据库数据连接。5.如权利要求1所述的多数据源元数据快速比对方法，其特征在于，查询数据库时，还包括：判断数据源内数据库的数目，根据数据库的数目初始化每个数据库单独的元数据读取语句，并根据多条查询SQL的情况设置后续数据写入的合并逻辑的标识符。6.如权利要求5所述的多数据源元数据快速比对方法，其特征在于，所述多数据源元数据快速比对方法，...

【专利技术属性】
技术研发人员：程志国，
申请(专利权)人：北京麦聪软件有限公司，
类型：发明
国别省市：