【技术实现步骤摘要】
本专利技术涉及数据治理，特别涉及一种文旅数据标准映射治理方法。
技术介绍
1、根据信通院发布的《数据标准管理实践白皮书》定义：数据标准（data standards）是指保障数据的内外部使用和交换的一致性和准确性的规范性约束。在实际的工作生产中，我们一般会参照国家标准、地方标准、行业标准等来进行具体的活动，来确保我们生成过程符合监管要求、便于上下游数据协调，有利于数据公开市场化交易等。以建设数据中台为例，我们知道数据中台强调的是资源整合，在数据层面就是整合多源异构系统中分散在各个孤岛的数据，形成统一的数据服务能力，这是一项艰巨的任务，很难通过互相约定以及默认信任相关方来保障数据的价值发掘，形成真正的数据资产。基于此，即急切需要对行业实际数据进行数据标准编码映射，并形成有效的数据标准映射体系化办法以实现数据标准化、资产化、要素化要求。
2、当前市场上主要通过手工法和半自动化方法实现数据标准映射。手工法：在手动数据映射中，开发人员必须手动编码数据源和目标架构之间的链接。通常，代码是用计算机语言xslt编写的，它将xlm文档翻译成各种格式。最终，随着数据系统的扩展和变得越来越复杂，人类编码人员无法跟上数据映射的需求，数据团队将被迫采用智能自动化。由于目前可访问的数据量巨大，这种方法在当代商业环境中被认为是过时且无效的。然而，当数据库适度或不是很复杂时，它仍然是一种实用的一次性操作映射方法。半自动法：半自动数据映射需要对编码有一定的了解，这意味着团队将在传统的手动和自动信息和数据映射方法之间切换。数据映射软件在数据源之间建立
3、现有技术存在体系化不足、资源利用率低、标准对照结果统计及监控不足、对照效率低、行业对照不足等技术缺点。对文旅/文博行业如何专业化进行行业数据标准映射治理是目前十分迫切需要的。
技术实现思路
1、针对上述现有技术存在的不足，本专利技术提供了一种文旅数据标准映射治理方法，能够为文旅/文博标准化行业提供基准数仓和行业数据标准化映射字典体系。
2、具体技术方案如下：
3、一种文旅数据标准映射治理方法，包括：
4、s1.通过国家标准机构数据标准编码数据接口抓取国家标准编码数据，构建本地国家标准编码库；
5、s2.对文旅/文博的行业数据进行收集,并对收集的行业数据中字段进行分类分级管理，构建基准字段库；
6、s3.基于标准映射规则将基准字段仓库与本地国家标准编码库进行标准映射，形成标准映射数据库；
7、s4.对基准字段仓库中不能进行标准映射的数据字段进行反馈存储记录，形成非标准字段库；
8、s5.对非标准字段库依照行业日常标准的自行编码规范要求进行自编码，对自编码增添识别标志，并形成自编码库；
9、s6.将自编码库与本地国家标准编码库进行唯一性识别验证，在验证通过后将自编码库数据入库存储本地国家标准编码库中；重复步骤s5操作，直至非标准字段库清空；
10、s7.对步骤s5-s6进行日志信息监控，反馈报警信息及失败信息。
11、优选地，步骤s2中行业数据包括文旅/文博的行业相关的各类数据库系统数据、文本类数据、数据库日志数据和电子表格类数据。
12、优选地，所述唯一性识别验证为验证自编库和本地国家标准编码库中存储的标准数据语义字段是否存在唯一性
13、优选地，所述标准数据语义字段包括并列含义词语。
14、优选地，所述并列含义词语字段不超过6字符。
15、优选地，步骤s7中所述日志信息监控为步骤5-6执行中执行过程信息记录。
16、优选地，步骤s7中所述标准数据语义字段验证唯一性时，同一字段超过三次验证错误，反馈报警信息。
17、优选地，所述标准映射包括建设全映射数据仓库、制定数据映射集、设计映射规范和实现数据要素化。
18、优选地，所述文旅/文博行业字段分级包括核心维度表集成、行业核心资产类目集成、文旅行业字段分级分类、文博行业字段分级分类和行业核心运营字段集成；所述基准字段仓库包括建设基准字段仓库、建设实时数据湖、指定基准字段仓库格式、设计基准字段仓库规范和实现基准字段仓库规范化运作。
19、优选地，所述自编码库包括制定自编码规则、进行自编码实现、自编码标志、自编码仓库设计和实现自编码仓库规范化运作。
20、与现有技术相比，本专利技术的有益效果为：
21、本专利技术提供系统化、标准化数据标准映射管理办法，对数据标准映射代码实现标准化技术性管理，提供标准来源、字典管理、数据地图、映射血缘流向、映射任务管理、映射质量管控等体系化全局性数据标准映射辅助技术，帮助数据标准映射标准化执行，质量优良。
22、本专利技术为文旅/文博标准化行业基准数仓和行业数据标准化映射字典体系，同时各类规范化并行化算法体系是全自动标准映射的核心，标准化字典映射字典体系为可持续更新资产，自动化映射算法为持续化迭代优化代码综合体，这两者为本提案的所属核心专利技术及保护点。
23、本专利技术与手工方法相比，本专利技术全部基于全自动体系化技术手段，并且实现体系化自检自控技术监督作业，无需额外技术人员参与标准映射，高效方便，节省了技术人力投入，并提高了自动化精准化水平及整体标准映射精度。
24、本专利技术与半自动化传统方式相比，本专利技术基于规模化编程及大数据综合规范化处理实现技术，并且整体建设基于覆盖文旅/文博全行业自动化标准映射，同时提供了非标准编码自动自编码反馈机制，方便没有国家标准编码字段实现自动化映射，有效解决半自动需要人工介入的低效方法，提高了资源利用率，同时节省了技术人员投入。
本文档来自技高网...【技术保护点】
1.一种文旅数据标准映射治理方法，其特征在于，包括：
2.根据权利要求1所述的一种文旅数据标准映射治理方法，其特征在于：步骤S2中行业数据包括文旅/文博的行业相关的各类数据库系统数据、文本类数据、数据库日志数据和电子表格类数据。
3.根据权利要求1所述的一种文旅数据标准映射治理方法，其特征在于：所述唯一性识别验证为验证自编库和本地国家标准编码库中存储的标准数据语义字段是否存在唯一性。
4.根据权利要求3所述的一种文旅数据标准映射治理方法，其特征在于：所述标准数据语义字段包括并列含义词语。
5.根据权利要求4所述的一种文旅数据标准映射治理方法，其特征在于：所述并列含义词语字段不超过6字符。
6.根据权利要求1所述的一种文旅数据标准映射治理方法，其特征在于：步骤S7中所述日志信息监控为步骤5-6执行中执行过程信息记录。
7.根据权利要求1所述的一种文旅数据标准映射治理方法，其特征在于：步骤S7中所述标准数据语义字段验证唯一性时，同一字段超过三次验证错误，反馈报警信息。
8.根据权利要求1所述的一种文旅
9.根据权利要求1所述的一种文旅数据标准映射治理方法，其特征在于：所述文旅/文博行业字段分级包括核心维度表集成、行业核心资产类目集成、文旅行业字段分级分类、文博行业字段分级分类和行业核心运营字段集成；所述基准字段仓库包括建设基准字段仓库、建设实时数据湖、指定基准字段仓库格式、设计基准字段仓库规范和实现基准字段仓库规范化运作。
10.根据权利要求1所述的一种文旅数据标准映射治理方法，其特征在于：所述自编码库包括制定自编码规则、进行自编码实现、自编码标志、自编码仓库设计和实现自编码仓库规范化运作。
...【技术特征摘要】
1.一种文旅数据标准映射治理方法，其特征在于，包括：
2.根据权利要求1所述的一种文旅数据标准映射治理方法，其特征在于：步骤s2中行业数据包括文旅/文博的行业相关的各类数据库系统数据、文本类数据、数据库日志数据和电子表格类数据。
3.根据权利要求1所述的一种文旅数据标准映射治理方法，其特征在于：所述唯一性识别验证为验证自编库和本地国家标准编码库中存储的标准数据语义字段是否存在唯一性。
4.根据权利要求3所述的一种文旅数据标准映射治理方法，其特征在于：所述标准数据语义字段包括并列含义词语。
5.根据权利要求4所述的一种文旅数据标准映射治理方法，其特征在于：所述并列含义词语字段不超过6字符。
6.根据权利要求1所述的一种文旅数据标准映射治理方法，其特征在于：步骤s7中所述日志信息监控为步骤5-6执行中执行过程信息记录。
7.根据权利要求1所...
【专利技术属性】
技术研发人员：张兆国，孟剑，陆亦天，宋威，陶广发，刘立国，
申请(专利权)人：广西旅发科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。