一种政务数据采集流程的实现方法技术

本发明专利技术提供一种政务数据采集流程的实现方法，属于数据共享技术领域。针对数据安全和数据质量存在安全隐患而阻碍政府部门共享数据的问题，采用技术方案包括：定义目录信息，以对政府不同部门的数据进行分类管理；根据已经定义的目录信息梳理现有政府数据交换系统或ETL工具，构建数据交换采集系统；定义质量规则，对数据交换系统采集的数据进行校验，并出具质量检查报告；构建数据质量的评估考核模型，对通过校验的数据进行评估考核，并出具数据质量绩效报告；依托目录信息和质量规则，定义脱敏规则；进行数据库对接和服务对接。本方法可以实现数据的安全，并保证共享数据的质量，加强政府各部门之间的信息化建设，提高工作效率。

【技术实现步骤摘要】
一种政务数据采集流程的实现方法
本专利技术涉及数据采集共享
，具体地说是一种政务数据采集流程的实现方法。
技术介绍
在信息系统建设的过程中，建立统一的数据共享平台，实现各部门之间数据统一的共享流转已经成为趋势。但是，出于对数据安全和数据质量方面的考虑，往往阻碍政府部门共享数据的决心和力度。
技术实现思路
本专利技术的技术任务是解决现有技术的不足，切实保障政府数据共享过程中的安全性，消除数据提供部门对数据安全性和数据使用者对数据质量的顾虑，促进政府数据的共享开放,提供一种政务数据采集流程的实现方法。本专利技术解决其技术问题所采用的技术方案是：一种政务数据采集流程的实现方法，包括：定义目录信息；构建数据交换采集系统；定义质量规则，对数据交换系统采集的数据进行校验，并出具质量检查报告；构建数据质量的评估考核模型，对通过校验的数据进行评估考核，并出具数据质量绩效报告；依托目录信息和质量规则，定义脱敏规则；进行数据库对接和服务对接。所涉及定义目录信息的具体内容包括：根据政府部门的职能，定义相应的目录信息；属于同一个政府部门的目录信息具有不同的身份识别信息；属于不同政府部门的目录信息具有唯一的身份识别信息。进一步的，每一条目录信息包括至少一个元数据构成。构建数据交换采集系统的操作包括：根据已经定义的目录信息梳理现有政府数据交换系统或ETL工具，通过增量或全量的方式采集现有政府数据交换系统或ETL工具的数据，并将采集后的数据存储至数据交换采集系统。所涉及定义质量规则的操作过程包括：根据至少一条目录信息所包含的元数据定义相应的检查规则；将检查规则绑定于同一政府部门的其余目录信息，并对与检验规则相对应的元数据进行校验；将校验合格的元数据发送至评估考核模型，记录校验不合格的元数据并根据记录结果出具质量检查报告。所涉及检查规则包括数据完整性规则、数据唯一性规则、数据准确性规则、数据一致性规则和数据规范性规则。所涉及评估考核模型按照月度、季度、年度的时长进行数据的评估考核，包括：评估考核模块一，用于考核通过校验的数据所属的目录信息；评估考核模块二，用于考核通过校验的数据是否符合所属目录信息的质量规则；评估考核模块三，用于评估考核通过校验的数据更新速度是否及时。所涉及定义脱敏规则包括：根据质量规则，定义目录信息所包含元数据中不同字段的脱敏规则；对目录信息中用于唯一识别身份信息的字段进行绑定规则；根据脱敏规则，对目录信息所包含元数据进行脱敏，并将脱敏后的结果记录到脱敏数据库中。所涉及脱敏规则包含加密/解密，屏蔽，替换，散列，排序，位移。所涉及数据库对接就是将脱敏数据库中的数据借助ETL工具直接交换到数据交换采集系统；所涉及服务对接就是将数据交换采集系统的数据直接发布成API服务，通过API完成政府各部门与数据交换采集系统的数据对接。本专利技术的一种政务数据采集流程的实现方法与现有技术相比所产生的有益效果是：本专利技术的实现方法采用通过定义目录信息、构建数据交换采集系统两个步骤完成了数据采集阶段的安全性保护，通过定义质量规则、构建数据质量的评估考核模型、依托目录信息和质量规则定义脱敏规则三个步骤完成了数据的安全保护和数据质量的考核，消除了数据提供者的顾虑，从而实现更大范围的数据共享，对政府信息化的建设具有重大意义。附图说明附图1是本专利技术的方法流程图；附图2是本专利技术中步骤S30的流程图；附图3是本专利技术中评估考核模型的结构框图；附图4是本专利技术中步骤S50的流程图。附图中各个标号表示：1、评估考核模块一，2、评估考核模块二，3、评估考核模块三。具体实施方式下面结合附图1-4，对本专利技术的一种政务数据采集流程的实现方法作以下详细说明。如附图1所示，本专利技术提供一种政务数据采集流程的实现方法，其结构包括：S10：定义目录信息；S20：构建数据交换采集系统；S30：定义质量规则，对数据交换系统采集的数据进行校验，并出具质量检查报告；S40：构建数据质量的评估考核模型，对通过校验的数据进行评估考核，并出具数据质量绩效报告；S50：依托目录信息和质量规则，定义脱敏规则；S60：进行数据库对接和服务对接。在本实施例中，步骤S10定义目录信息的具体内容包括：根据政府部门的职能，定义相应的目录信息；属于同一个政府部门的目录信息具有不同的身份识别信息；属于不同政府部门的目录信息具有唯一的身份识别信息。步骤S10需要说明的是，每一条目录信息包括至少一个元数据构成。以政府的公安部门为例，居民在公安局的身份证信息包含姓名，性别，民族，身份证号码，出生日期，家庭住址等多个元数据，多个元数据组成了一条完整的信息，我们称之为目录信息，还可以具体定义为公安局目录信息。当然，我们还可以根据政府的其他部门，如医疗、交通、工商等，进行其他目录信息的定义。如果以个人进行说明的话，应该通过身份证信息采集与之相关所有政府部门的数据。而属于同一个政府部门的目录信息必须通过身份证信息这个元数据进行区别。在本实施例中，步骤S20构建数据交换采集系统的操作具体包括：根据已经定义的目录信息梳理现有政府数据交换系统或ETL工具，通过增量或全量的方式采集现有政府数据交换系统或ETL工具的数据，并将采集后的数据存储至数据交换采集系统。增量采集主要是依据数据库中表结构时间戳实现数据的增量采集；全量采集则是在每次采集都是一次性删除和插入。在本实施例中，参考附图2，步骤S30定义质量规则的操作过程包括：S31：根据至少一条目录信息所包含的元数据定义相应的检查规则，检查规则包括数据完整性规则、数据唯一性规则、数据准确性规则、数据一致性规则和数据规范性规则；S32：将检查规则绑定于同一政府部门的其余目录信息，并对与检验规则相对应的元数据进行校验；S33：将校验合格的元数据发送至评估考核模型，记录校验不合格的元数据并根据记录结果出具质量检查报告。步骤S30以居民身份证信息为例定义质量规则时，需要首先定义身份证号码的数据完整性规则，借助正则表达式定义对身份证号码15位和18位长度的检查规则([0-9]{18}|[0-9]{17}X|[0-9]{15})；然后，将上述身份证号码的完整性规则绑定至同一政府部门的目录信息中身份证信息这一元数据，进行身份证号码的规则检验；检验合格的，即所采集的信息符合质量规则，则传送至评估考核模型，检验不合格的，则对该元数据以及该元数据所属的目录信息进行记录，检验完成后，根据记录结果出具质量检查报告。需要补充的是，检查规则除使用正则表达式外，还可支持js，python等脚本语言的编写。在本实施例中，参考附图3，步骤S40的评估考核模型按照月度、季度、年度的时长进行数据的评估考核，包括：评估考核模块一1，用于考核通过校验的数据所属的目录信息；评估考核模块二2，用于考核通过校验的数据是否符合所属目录信息的质量规则；评估考核模块三3，用于评估考核通过校验的数据更新速度是否及时。在本实施例中，参考附图4，步骤S50的定义脱敏规则包括：S51：根据质量规则，定义目录信息所包含元数据中不同字段的脱敏规则；S52：对目录信息中用于唯一识别身份信息的字段进行绑定规则；S53：根据脱敏规则，对目录信息所包含元数据进行脱敏，并将脱敏后的结果记录到脱敏数据库中。所涉及脱敏规则包含加密/解密，屏蔽，替换，散列，排序本文档来自技高网...

【技术保护点】
1.一种政务数据采集流程的实现方法，其特征在于，包括：定义目录信息；构建数据交换采集系统；定义质量规则，对数据交换系统采集的数据进行校验，并出具质量检查报告；构建数据质量的评估考核模型，对通过校验的数据进行评估考核，并出具数据质量绩效报告；依托目录信息和质量规则，定义脱敏规则；进行数据库对接和服务对接。

【技术特征摘要】
1.一种政务数据采集流程的实现方法，其特征在于，包括：定义目录信息；构建数据交换采集系统；定义质量规则，对数据交换系统采集的数据进行校验，并出具质量检查报告；构建数据质量的评估考核模型，对通过校验的数据进行评估考核，并出具数据质量绩效报告；依托目录信息和质量规则，定义脱敏规则；进行数据库对接和服务对接。2.根据权利要求1所述的一种政务数据采集流程的实现方法，其特征在于,定义目录信息的具体内容包括：根据政府部门的职能，定义相应的目录信息；属于同一个政府部门的目录信息具有不同的身份识别信息；属于不同政府部门的目录信息具有唯一的身份识别信息。3.根据权利要求1所述的一种政务数据采集流程的实现方法，其特征在于,每一条目录信息包括至少一个元数据构成。4.根据权利要求1所述的一种政务数据采集流程的实现方法，其特征在于,构建数据交换采集系统的操作包括：根据已经定义的目录信息梳理现有政府数据交换系统或ETL工具，通过增量或全量的方式采集现有政府数据交换系统或ETL工具的数据，并将采集后的数据存储至数据交换采集系统。5.根据权利要求3所述的一种政务数据采集流程的实现方法，其特征在于,所述定义质量规则的操作过程包括：根据至少一条目录信息所包含的元数据定义相应的检查规则；将检查规则绑定于同一政府部门的其余目录信息，并对与检验规则相对应的元数据进行校验；将校验合格的元数据发送至评估考核模型，记录校验不合格...

【专利技术属性】
技术研发人员：潘震，
申请(专利权)人：山东汇贸电子口岸有限公司，
类型：发明
国别省市：山东,37