一种数据映射校验的系统、方法和装置制造方法及图纸

本发明专利技术公开了一种数据映射校验的系统、方法和装置，包括：归一化模块，用于获取数据源信息，对历史数据和新增数据进行预处理，并构建样本集合；数据聚类模块，用于获取样本集合的数据，对样本集合进行聚类处理，构建映射字典；数据多分类模块，用于训练预测模型，将新增字段信息输入训练后的预测模型，根据预测结果输出映射关系，若预测结果为空，则建立新增字段信息的映射关系，根据映射关系生成映射数据集，并更新映射字典和预测模型。本发明专利技术提供的数据映射校验的系统、方法和装置，解决具有相似性的字段名称和字段内容的映射问题，并根据已有数据训练预测模型，进一步实现映射关系自动化，减少人工操作的耗时，提升工作效率。

【技术实现步骤摘要】

本专利技术属于数据映射校验，具体涉及一种数据映射校验的系统、方法和装置。

技术介绍

1、金融企业如银行有外接不同外部数据服务商的需求。存在同一类场景，但是同时或者顺序接入不同的数据源的情况。不同的服务商提供的数据字段结构既存在相似性也存在差异性。比如同类字段，但是码值规格不一致，又如部分字段不一致。从数据统一管理和维护的角度看，需要将此类的数据融合在一起。通过人工梳理其中的差异性较为费时费力。数据治理工作在梳理金融业务标准时，存在对相同业务，不同产品的标准定义的相似性判断和合并优化。同样需要使用对数据源字段的相似性校验和融合分析技术。

2、现有技术的参考方法如下：方法一：专利号cn114462421a，采用数据表和字段的相似性进行匹配。该方法对数据源和目的端的表名、字段名进行语义识别，得到数据源语义和目的端语义；对每个数据源的每个字段的语义和目的端的所有字段的语义进行相似度比对，得到对应数据源的每个字段的语义相似度列表；根据所述语义相似度列表从映射规则集中确定该数据源与目的端的映射关系；将所有映射关系存储至映射关系库中；判断映射关系库中的所有映本文档来自技高网...

【技术保护点】

1.一种数据映射校验的系统，其特征在于：包括：

2.根据权利要求1所述的一种数据映射校验的系统，其特征在于，

3.根据权利要求1所述的一种数据映射校验的系统，其特征在于：

4.根据权利要求3所述的一种数据映射校验的系统，其特征在于：

5.一种数据映射校验的方法，其特征在于：包括如下步骤：

6.根据权利要求5所述的一种数据映射校验的方法，其特征在于：

7.根据权利要求5所述的一种数据映射校验的方法，其特征在于：

8.根据权利要求6所述的一种数据映射校验的方法，其特征在于：

9.根据权利要求5所述...

【技术特征摘要】

1.一种数据映射校验的系统，其特征在于：包括：

2.根据权利要求1所述的一种数据映射校验的系统，其特征在于，

3.根据权利要求1所述的一种数据映射校验的系统，其特征在于：

4.根据权利要求3所述的一种数据映射校验的系统，其特征在于：

5.一种数据映射校验的方法，其特征在于：包括如下步骤：

6.根据权利要求5所述的一种数据映射校验的方法，其特征在于：...

【专利技术属性】
技术研发人员：郑清正，
申请(专利权)人：江苏苏宁银行股份有限公司，
类型：发明
国别省市：