一种基于映射关系的数据自动化处理方法技术

本发明专利技术公开了一种基于映射关系的数据自动化处理方法，S1：导入基础标准数据，并根据基础标准数据建立标准映射关系；S2：在标准映射关系的基础上自定义映射规则；S3：自动检测标准映射关系版本情况，根据分类映射等级颗粒度，对步骤S1标准映射关系和步骤S2中的自定义映射规则进行集合运算和文本匹配，自动生成新版标准映射关系的映射规则，并显示差异映射规则；S4：导入目标处理数据，目标处理数据基于自定义映射规则进行处理，自定义映射规则调用步骤S3中新版标准映射关系以及差异映射关系；S5：执行脚本处理，输出处理结果。

A data automatic processing method based on mapping relation

【技术实现步骤摘要】
一种基于映射关系的数据自动化处理方法
本专利技术涉及信息技术相关领域，尤其涉及一种基于映射关系的数据自动化处理方法。
技术介绍
在大数据时代，数据被称之为“数字经济的新石油”，为了让数据产生价值，需要高效地获取、处理、挖掘和应用数据。因此数据处理成为大数据产业的重要组成部分。现阶段在数据处理时，映射关系分类众多，为了提高效率，一般处理规则不变情况下，会通过定时脚本自动处理，但是对于同一目标数据处理规则会随着基础标准的变化而改变，特别是涉及到基础标准之间有映射关系，层级较多，条目数量庞大，新配置映射规则成本太高
技术实现思路
针对上述现有技术的不足，本专利申请所要解决的技术问题是：如何提供一种效率高、输出结果准确的基于映射关系的数据自动化处理方法。为了实现上述目的，本专利技术采用了如下技术方案：一种基于映射关系的数据自动化处理方法，包括以下步骤：S1：导入基础标准数据，并根据基础标准数据建立标准映射关系；S2：在标准映射关系的基础上自定义映射规则；S3：自动检测标准映射关系版本情本文档来自技高网...

【技术保护点】
1.一种基于映射关系的数据自动化处理方法，其特征在于，包括以下步骤：/nS1：导入基础标准数据，并根据基础标准数据建立标准映射关系；/nS2：在标准映射关系的基础上自定义映射规则；/nS3：自动检测标准映射关系版本情况，根据分类映射等级颗粒度，对步骤S1标准映射关系和步骤S2中的自定义映射规则进行集合运算和文本匹配，自动生成新版标准映射关系的映射规则，并显示差异映射规则；/nS4：导入目标处理数据，目标处理数据基于自定义映射规则进行处理，自定义映射规则调用步骤S3中新版标准映射关系以及差异映射关系；/nS5：执行脚本处理，输出处理结果。/n

【技术特征摘要】
1.一种基于映射关系的数据自动化处理方法，其特征在于，包括以下步骤：
S1：导入基础标准数据，并根据基础标准数据建立标准映射关系；
S2：在标准映射关系的基础上自定义映射规则；
S3：自动检测标准映射关系版本情况，根据分类映射等级颗粒度，对步骤S1标准映射关系和步骤S2中的自定义映射规则进行集合运算和文本匹配，自动生成新版标准映射关系的映射规则，并显示差异映射规则；
S4：导入目标处理数据，目标处理数据基于自定义映射规则进行处理，自定义映射规则调用步骤S3中新版标准映射关系以及差异映射关系；
S5：执行脚本处理，输出处理结果。


2.根据权利要求1所述的基于映射关系的数据自动化处理方法，其特征在于，在步骤S1和步骤S4中，导入的基础标准数据以及目标处理数据均为结构化或半结构化的数据库表，其中均必须包含描述映射左集合的字段以及数据库主键这两个字段。


3.根据权利要求2所述的基于映射关系的数据自动化处理方法，其特征在于，步骤S4中，差异映射关系为标准映射关系与自定义映射规则之间的差异表现，其中体现在:映射增加、映射减少、分类表述变化和映射转移。


4.根据权利要...

【专利技术属性】
技术研发人员：刘朝，夏扬，杨莉美，谢晶晶，陈羽棋，欧燕林，
申请(专利权)人：重庆大数据研究院有限公司，
类型：发明
国别省市：重庆;50