数据管理方法及系统、介质、设备技术方案

本发明专利技术提供一种数据管理方法及系统、介质、设备。方法包括：获取信源单位的报送数据，将所述报送数据存储至所述信源单位对应的业务数据库中；对存储至所述业务数据库中的报送数据进行重复检查，删除所述报送述中的重复数据；在删除重复数据后，将报送数据进行质量检查，记录检查过程中存在质量疑问的报送数据，并对所述存在质量疑问的报送数据进行修正处理；修正处理完成后，将报送数据存储至标准数据库中，并将所述业务数据库和所述标准数据库进行数据关联；其中，所述标准数据库用于对外提供数据分享服务。本发明专利技术可以对报送数据进行统一的精细化数据管理。统一的精细化数据管理。统一的精细化数据管理。

【技术实现步骤摘要】
数据管理方法及系统、介质、设备


[0001]本专利技术涉及数据管理
，特别是涉及一种数据管理方法及系统、介质、设备。

技术介绍

[0002]随着社会信用体系建设工作的深入推进，信用平台存储的数据种类、规模持续扩大，对外共享数据的需求也越来越多，数据应用的范围越来越广，对数据质量的要求也越来越高，迫切需要一套数据治理与管理体系来保证数据的质量。

技术实现思路

[0003]本专利技术实施例提供一种数据管理方法及系统、介质、设备，可以对报送数据进行统一的精细化数据管理。
[0004]根据第一方面，本专利技术实施例提供的企业文档管理方法，包括：
[0005]获取信源单位的报送数据，将所述报送数据存储至所述信源单位对应的业务数据库中；
[0006]对存储至所述业务数据库中的报送数据进行重复检查，删除所述报送述中的重复数据；
[0007]在删除重复数据后，将报送数据进行质量检查，记录检查过程中存在质量疑问的报送数据，并对所述存在质量疑问的报送数据进行修正处理；
[0008]在修正处理完成后，将报送数据存储至标准数据库中，并将所述业务数据库和所述标准数据库进行数据关联；其中，所述标准数据库用于对外提供数据分享服务。
[0009]根据第二方面，本专利技术实施例提供的企业文档管理系统，包括：
[0010]第一获取模块，用于获取信源单位的报送数据，将所述报送数据存储至所述信源单位对应的业务数据库中；
[0011]重复检查模块，用于对存储至所述业务数据库中的报送数据进行重复检查，删除所述报送述中的重复数据；
[0012]质量检查模块，用于在删除重复数据后，将报送数据进行质量检查，记录检查过程中存在质量疑问的报送数据，并对所述存在质量疑问的报送数据进行修正处理；
[0013]数据关联模块，用于在修正处理完成后，将报送数据存储至标准数据库中，并将所述业务数据库和所述标准数据库进行数据关联；其中，所述标准数据库用于对外提供数据分享服务。
[0014]根据第三方面，本专利技术实施例提供计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行实现第一方面提供的方法。
[0015]根据第四方面，本专利技术实施例提供的计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面提供的方法。
[0016]本专利技术实施例提供的数据管理方法及系统、介质、设备，各自或者组合具有以下有
益效果：
[0017](1)获取信源单位的报送数据，将所述报送数据存储至所述信源单位对应的业务数据库中；对存储至所述业务数据库中的报送数据进行重复检查，删除所述报送述中的重复数据；在删除重复数据后，将报送数据进行质量检查，记录检查过程中存在质量疑问的报送数据，并对所述存在质量疑问的报送数据进行修正处理；在修正处理完成后，将报送数据存储至标准数据库中，并将所述业务数据库和所述标准数据库进行数据关联，从而使得标准数据库可以对外提供数据分享服务。本专利技术实施例可以实现精细化的数据管理，保证数据管理流程的一致性和结果的高度准确性，从而使得标准数据库对外提供高质量的分享数据。
[0018](2)本专利技术实施例提供的方法可以实现校验规则统一，针对不同的数据资源梳理不同的校验规则，建立统一问题校验库，将问题校验环节的数据校验规则统一进行管理。
[0019](3)本专利技术实施例中业务数据库与标准数据库存在数据关联，因此可以实现数据溯源，动态跟踪数据变化过程，按时间轴查看数据变更历史记录。
附图说明
[0020]图1为本专利技术一实施例中数据管理方法的流程示意图；
[0021]图2为本专利技术一实施例中数据管理装置的结构框图。
具体实施方式
[0022]第一方面，本专利技术实施例提供一种数据管理方法，该方法由任一计算设备执行，参见图1，该方法包括如下步骤S110～S140：
[0023]S110、获取信源单位的报送数据，将所述报送数据存储至所述信源单位对应的业务数据库中；
[0024]其中，信源单位是指报送数据的来源，即提供信用相关的数据的单位。报送数据是指信源单位上报的信用相关的数据。
[0025]具体的，可以从信源单位的公开网络平台中爬取信用相关的数据，信源单位也可以主动将信用相关的数据上报，从而使得计算设备获取到信源单元的报送数据。
[0026]其中，将报送数据存储到业务数据库的过程可以理解为入库。为了实现入库，预先设置多个业务数据库，不同的业务数据库对应不同的信源单位。
[0027]在一个实施例中，预先配置一个统一问题校验库，所述统一问题校验库中可以包括不同信源单位针对入库而设置的入库校验规则、针对重复检查而设置的重复校验规则和针对质量检查而设置的质量校验规则。
[0028]可见，在统一问题校验库中包括多个信源单位对应的校验规则，校验规则包括入库校验规则、重复校验规则和质量校验规则。
[0029]基于此，所述将所述报送数据存储至所述信源单位对应的业务数据库中，具体可以包括：获取所述信源单位在统一问题校验库中的入库校验规则，并采用所述入库校验规则对所述报送数据进行入库校验；在入库校验通过后，将所述报送数据存储至所述信源单位对应的业务数据库中。
[0030]其中，入库校验规则，例如，利用时间段对报送数据的发布时间进行校验，即判断
信源单位上报的信用相关数据的发布时间是不是在本批次预定的时间段内，如果在本批次预定的时间段内，则是所需要的数据，且可以入库。如果不在本批次预定的时间段内，则不是所需要的数据，不可以入库。
[0031]S120、对存储至所述业务数据库中的报送数据进行重复检查，删除所述报送述中的重复数据；
[0032]也就是说，在入库之后，对业务数据库中的报送数据进行重复检查，查找出重复出现的数据，并删除重复出现的数据即重复数据，仅保留第一次出现的数据，避免重复数据造成数据冗余。
[0033]在一个实施例中，S120中对存储至所述业务数据库中的报送数据进行重复检查，可以具体包括：查找所述信源单位在所述统一问题校验库中的重复校验规则，并利用查找到的重复校验规则对所述报送数据进行重复检查。
[0034]S130、在删除重复数据后，将报送数据进行质量检查，记录检查过程中存在质量疑问的报送数据，并对所述存在质量疑问的报送数据进行修正处理；
[0035]也就是说，在删除重复数据后，对报送数据进行质量检查，包括检查一些关键的字段是否为空。例如，检查报送数据中的组织机构代码字段是否为空，如果为空，则说明存在质量疑问，针对存在质量疑问的报送数据需要进行修正处理。
[0036]在一个实施例中，为了避免检查过程出现问题，对所述存在质量疑问的报送数据进行修正处理之前，还包括：当存在质量疑问的报送数据的数量超于预设数量时，进行再次质量检查；将再次质量检查过程中再次出现质量疑问的报送数据作为存在质量异本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据管理方法，其特征在于，包括：获取信源单位的报送数据，将所述报送数据存储至所述信源单位对应的业务数据库中；对存储至所述业务数据库中的报送数据进行重复检查，删除所述报送述中的重复数据；在删除重复数据后，将报送数据进行质量检查，记录检查过程中存在质量疑问的报送数据，并对所述存在质量疑问的报送数据进行修正处理；在修正处理完成后，将报送数据存储至标准数据库中，并将所述业务数据库和所述标准数据库进行数据关联；其中，所述标准数据库用于对外提供数据分享服务。2.根据权利要求1所述的方法，其特征在于，还包括：将所述业务数据库中的报送数据和所述标准数据库中的报送数据进行对比，判断是否存在未同步至所述标准数据库中的报送数据；若存在未同步至所述标准数据库中的报送数据，则判断未同步至所述标准数据库中的报送数据是否为重复数据；若不是重复数据，则未同步至所述标准数据库中的报送数据同步至所述标准数据库中。3.根据权利要求1所述的方法，其特征在于，所述对所述存在质量疑问的报送数据进行修正处理之前，还包括：当存在质量疑问的报送数据的数量超于预设数量时，进行再次质量检查；将再次质量检查过程中再次出现质量疑问的报送数据作为存在质量异常的报送数据；对应的，所述对所述存在质量疑问的报送数据进行修正处理，包括：对所述存在质量异常的报送数据进行修正处理。4.根据权利要求1所述的方法，其特征在于，所述将所述报送数据存储至所述信源单位对应的业务数据库中，包括：获取所述信源单位在统一问题校验库中的入库校验规则，并采用所述入库校验规则对所述报送数据进行入库校验；在入库校验通过后，将所述报送数据存储至所述信源单位对应的业务数据库中；其中，所述统一问题校验库中包括不同信源单位针对入库而设置的入库校验规则、针对重复检查而设置的重复校验规则和针对质量检查而设置的质量校验规则；对应的，所述对存储至所述业务数据库中的报送数据进行重复检查，包括：查找所述信源单位在所述统一问题校验库中的重复校验规则，并利用查找到的重复校验规则对所述报送数据进行重复检查；对应的，所述将报送数...

【专利技术属性】
技术研发人员：张栋，彭光，
申请(专利权)人：浪潮软件股份有限公司，
类型：发明
国别省市：