【技术实现步骤摘要】
本专利技术属于大数据治理，具体是一种基于自动匹配规则的数据质量和安全处理系统及方法。
技术介绍
1、随着数据成为企业的重要资产，数据的质量和安全性对于企业的决策和运营至关重要。然而，现有数据处理流程中，数据质量检查和安全处理往往依赖于人工设定的规则和策略，这不仅效率低下，而且容易出错。同时，随着数据量的不断增加，传统的数据质量检查方法已经难以满足高效、准确的需求。
2、现有技术中存在以下缺陷：
3、规则扩展性差：传统方案需为每个规则开发独立代码，导致系统臃肿，难以快速响应业务需求变化。
4、校验效率低：单机执行引擎无法应对海量数据校验，时效性难以保障。
5、问题定位困难：缺乏数据血缘追踪能力，异常数据溯源耗时较长。
6、阈值静态化：规则阈值依赖人工经验设定，无法自适应数据分布变化。
技术实现思路
1、鉴于上述问题，提出了本专利技术以便提供克服上述问题或者至少部分地解决上述问题的一种。
2、为实现上述目的，本专利技术采用
【技术保护点】
1.一种基于自动匹配规则的数据质量和安全处理系统，其特征在于，所述系统包括：
2.如权利要求1所述的一种基于自动匹配规则的数据质量和安全处理系统，其特征在于，规则动态配置模块包括：
3.如权利要求2所述的一种基于自动匹配规则的数据质量和安全处理系统，其特征在于，所述预定义规则模板包括空值检查、字段长度检查、两表一致性检查、身份证号脱敏和银行卡号脱敏。
4.如权利要求1所述的一种基于自动匹配规则的数据质量和安全处理系统，其特征在于，多源数据采集模块包括连接器单元，连接器单元支持JDBC、HDFS和Kafka数据源接入，用于从数据源采集
【技术特征摘要】
1.一种基于自动匹配规则的数据质量和安全处理系统，其特征在于，所述系统包括：
2.如权利要求1所述的一种基于自动匹配规则的数据质量和安全处理系统，其特征在于，规则动态配置模块包括：
3.如权利要求2所述的一种基于自动匹配规则的数据质量和安全处理系统，其特征在于，所述预定义规则模板包括空值检查、字段长度检查、两表一致性检查、身份证号脱敏和银行卡号脱敏。
4.如权利要求1所述的一种基于自动匹配规则的数据质量和安全处理系统，其特征在于，多源数据采集模块包括连接器单元，连接器单元支持jdbc、hdfs和kafka数据源接入，用于从数据源采集待处理的数据。
5.如权利要求4所述的一...
【专利技术属性】
技术研发人员：汪欢，王德鑫，蒋旭，谭炜波，孙荣利，桑国彪，
申请(专利权)人：北京神舟航天软件技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。