一种固定资产投资项目数据清洗方法及终端技术

本发明专利技术涉及一种固定资产投资项目数据清洗方法及终端，将原始数据通过数据装载的方式装载至第一数据库中得到装载数据，所述数据装载的方式包括基本装载、追加装载和合并装载，按照所述第一数据库格式对所述装载数据进行格式转化处理得到待清洗数据；根据预设规则对所述待清洗数据进行清洗过滤处理得到清洗数据，根据完整性规则、唯一性规则、一致性规则、合法性规则和权威性规则对所述清洗数据进行校验，若校验成功，则将所述清洗数据保存至第一数据库中。格式转化后避免格式杂乱，便于后续的数据清洗；另外，校验成功的清洗数据才能够保存至第一数据库中，保证存入第一数据库中的清洗数据满足要求，从而能够减少数据质量问题。

【技术实现步骤摘要】
一种固定资产投资项目数据清洗方法及终端
本专利技术涉及计算机数据清洗领域，尤其涉及一种固定资产投资项目数据清洗方法及终端。
技术介绍
自2016年6月我省投资项目在线审批监管平台正式上线试运行以来，截止到2020年7月，省监管平台一共赋码了18万个项目，汇集投资项目相关审批办件信息19万个、办件环节65万个。其中在数据交换过程中涉及的业务表有四十张，包括上报的业务表二十张与下发的业务表二十张。由于与全省9地市及87个区县的审批系统进行数据对接，上报的数据量庞大，且区县的审批系统在办事过程中的数据校验工作不完善，导致各地上报的数据存在大量的错误，而且越积越多，部分地区出现重复推送上万条错误数据的情况。我省平台在运行过程中逐步显现了项目管理流程缺失、各地审批系统上报到省监管平台的数据质量较低、省监管平台上报到中央平台的数据质量较差、数据缺乏有效实时监管与反馈机制不足等问题。目前，各类数据问题都由省监管平台技术运维人员通过人工方式处理，但由于省监管平台纳入管理的审批数据大幅增加，手工处理已无法满足校验需求。主要存在各地审批系统上报到省监管平台本文档来自技高网...

【技术保护点】
1.一种固定资产投资项目数据清洗方法，其特征在于，包括：/nS1、将原始数据通过数据装载的方式装载至第一数据库中得到装载数据，所述数据装载的方式包括基本装载、追加装载和合并装载，按照所述第一数据库格式对所述装载数据进行格式转化处理得到待清洗数据；/nS2、根据预设规则对所述待清洗数据进行清洗过滤处理得到清洗数据，根据完整性规则、唯一性规则、一致性规则、合法性规则和权威性规则对所述清洗数据进行校验，若校验成功，则将所述清洗数据保存至第一数据库中。/n

【技术特征摘要】
1.一种固定资产投资项目数据清洗方法，其特征在于，包括：
S1、将原始数据通过数据装载的方式装载至第一数据库中得到装载数据，所述数据装载的方式包括基本装载、追加装载和合并装载，按照所述第一数据库格式对所述装载数据进行格式转化处理得到待清洗数据；
S2、根据预设规则对所述待清洗数据进行清洗过滤处理得到清洗数据，根据完整性规则、唯一性规则、一致性规则、合法性规则和权威性规则对所述清洗数据进行校验，若校验成功，则将所述清洗数据保存至第一数据库中。


2.根据权利要求1所述的固定资产投资项目数据清洗方法，其特征在于，所述S2还包括：
若校验不成功，则分析所述清洗数据，判断所述清洗数据是否为可自动纠错数据；
若是，则对所述清洗数据进行自动纠错得到纠错数据，将所述纠错数据保存至第一数据库中；
若否，则根据所述清洗数据的区划归属地进行分类保存至第二数据库中，并同时保存所述清洗数据的错误描述和错误数据字段。


3.根据权利要求2所述的固定资产投资项目数据清洗方法，其特征在于，所述若否，则根据所述清洗数据的区划归属地进行分类并保存至第二数据库中，并同时保存所述清洗数据的错误描述和错误数据字段之后还包括：
获取根据所述清洗数据的错误描述和错误数据字段对所述清洗数据进行处理得到的处理数据，若所述处理数据已处理成功，则将所述处理数据保存至第一数据库中。


4.根据权利要求1所述的固定资产投资项目数据清洗方法，其特征在于，所述预设规则包括基础预设规则和新增预设规则；
统计并监控根据预设规则对所述待清洗数据进行清洗过滤处理得到清洗数据的数据质量和数据数量，分别获取在基础预设规则中添加新增预设规则前、后的预设时间段内对所述待清洗数据进行清洗过滤处理得到清洗数据的前数据质量、前数据数量以及后数据质量和后数据数量，将前数据质量和前数据数量分别与所述后数据质量和后数据数量进行对比得到对比结果，根据对比结果判断是否进行告警。


5.一种固定资产投资项目数据清洗终端，包...

【专利技术属性】
技术研发人员：张美跃，黄君，范章华，
申请(专利权)人：恒瑞通福建信息技术有限公司，
类型：发明
国别省市：福建;35