【技术实现步骤摘要】
本专利技术涉及一种数据质量评估方法及系统，特别是一种原始数据不出域场景的数据质量评估方法及系统。
技术介绍
1、公共数据是各单位提供公共服务过程中产生的数据，占据社会总数据量的70％以上，具有基础性、权威性、可控性、公益性强等特征。
2、但是大量公共数据却没有得到充分利用，数据价值不能充分释放，其中一个原因是各数据持有部门对数据泄漏风险的担忧。为了在保障安全前提下，促进数据使用价值复用与充分利用，促进数据使用权交换和市场化流通，出现了“原始数据不出域、数据可用不可见”的数据共享方式，将公共数据以模型、核验等产品和服务等形式向社会提供，审慎对待原始数据的流转交易行为。
3、但是，这又导致数据主管部门无法对各部门数据的质量进行监督与评估，无法指导部门开展数据治理工作，也不利于数据要素的估值与定价。
技术实现思路
1、专利技术目的：本专利技术所要解决的技术问题是针对现有技术的不足，提供一种原始数据不出域场景的数据质量评估方法及系统。
2、为了解决上述技术问题，本专利技术公开了一种原始数据不出域场景的数据质量评估方法及系统，其中，所述系统包括：
3、多方安全计算协调节点、计算节点和区块链存储；
4、其中，多方安全计算协调节点，根据数据质量评估规则，协调各计算节点，发起多方计算任务，具体包括：将数据质量评估规则抽象成适配各计算节点数据的计算方法，并将上述计算方法下发至各计算节点，最终收取各计算节点根据上述计算方法进行联合计算后得到的
5、计算节点，关联有若干个数据源，根据多方安全计算协调节点下发的计算方法，对该计算节点关联的数据源中的数据进行计算，以及与其他计算节点根据多方安全计算协调节点下发的计算方法进行联合计算；
6、区块链存储，用于保存各计算节点计算的过程参数和结果数据。
7、进一步的，所述联合计算，即各计算节点，仅根据其他计算节点提供的密文和多方安全计算协调节点提供的计算方法，计算得到最终的计算结果。
8、本专利技术还提出了一种原始数据不出域场景的数据质量评估方法，采用上述系统，包括以下步骤：
9、步骤s1，预定义阶段，多方安全计算协调节点收集各计算节点所关联的数据源的元数据信息，构建数据质量评价指标体系；
10、步骤s2，质量设计阶段，多方安全计算协调节点根据数据质量评价指标体系及元数据信息，设计各计算节点的数据质量评估规则，并将质量评估规则分解成质量评估计算方法和计算任务，向各计算方法涉及的计算节点发起多方联合计算任务；
11、步骤s3，质量评估阶段，各计算节点根据收到的质量评估计算方法和计算任务，在本计算节点的域内进行计算并向多方安全计算协调节点返回计算结果；多方安全计算协调节点根据计算结果生成整体数据质量报告和问题明细；最终完成所述的原始数据不出域场景的数据质量评估。
12、进一步的，步骤s1中所述的元数据信息，至少包括：数据表及字段的名称、数据类型、数据格式、值域和参考数据。
13、进一步的，步骤s1中所述的数据质量评价指标体系，至少包括：数据的准确性、规范性、完整性、一致性和及时性。
14、进一步的，步骤s2中所述的质量设计阶段，具体包括如下步骤：
15、步骤s201，设计各计算节点的质量评估规则，所述规则至少包括：数据中的表或字段命名是否规范、数据是否符合格式要求、数据是否完整、数据是否满足唯一性要求和当前数据与相关数据是否一致；
16、步骤s202，将质量评估规则分解成质量评估计算方法，所述计算方法至少包括：通过正则表达式对数据是否符合格式要求进行验证、通过搜索空值对数据是否满足完整性要求进行判断、通过搜索重复数据对数据是否满足唯一性要求进行判断、通过交叉核验对当前数据与相关数据是否一致进行判断；
17、步骤s203，对各数据质量评估计算方法，逐一生成多方联合计算任务。
18、进一步的，步骤s3中所述的质量评估阶段，具体包括如下步骤：
19、步骤s301，各计算节点收到计算任务后，在本计算节点的域内对其关联的数据源中的相关数据，按照收到的计算方法执行计算，得到中间计算结果；
20、步骤s302，将本计算节点的中间计算结果发送给其他参与节点，接收其他参与节点发送的中间计算结果；
21、步骤s303，各计算节点根据收到的多方联合计算任务，使用中间计算结果进一步联合计算后得到最终结果；
22、步骤s304，多方计算协调节点汇总各计算节点的计算结果得到各部门的总体数据质量，生成数据质量报告和问题明细。
23、进一步的，步骤s2中所述的多方联合计算任务，通过多方安全计算协议实现数据保密，确保参与计算的任意一计算节点均无法得到其他参与节点的任何信息。
24、进一步的，步骤s2中所述的多方安全计算协议，至少包括以下协议之一：秘密分享协议、混淆电路协议和不经意传输协议。
25、进一步的，步骤s2及步骤s3中，多方安全计算协调节点及各计算节点在计算过程中的所有数据及过程均保存至区块链存储中，用于存证；所述的所有数据及过程，至少包括：计算方法、计算结果、原始数据密文或其哈希值和数据加密所用的密钥信息。
26、有益效果：
27、本专利技术所述的原始数据不出域场景的数据质量评估方法及系统可以实现在不获取各部门原始数据条件下，实现数据主管部门对各部门数据质量进行评估，并给出数据质量报告和问题明细。满足“原始数据不出域、数据可用不可见”这一要求的同时，实现数据质量评估，支撑实现对公共数据的数据治理和质量提升。
本文档来自技高网...【技术保护点】
1.一种原始数据不出域场景的数据质量评估系统，其特征在于，包括：
2.根据权利要求1所述的一种原始数据不出域场景的数据质量评估系统，其特征在于，所述联合计算，即各计算节点，仅根据其他计算节点提供的密文和多方安全计算协调节点提供的计算方法，计算得到最终的计算结果。
3.一种原始数据不出域场景的数据质量评估方法，其特征在于，采用权利要求1或2中任一所述的系统，包括以下步骤：
4.根据权利要求3所述的一种原始数据不出域场景的数据质量评估方法，其特征在于，步骤S1中所述的元数据信息，至少包括：数据表及字段的名称、数据类型、数据格式、值域和参考数据。
5.根据权利要求4所述的一种原始数据不出域场景的数据质量评估方法，其特征在于，步骤S1中所述的数据质量评价指标体系，至少包括：数据的准确性、规范性、完整性、一致性和及时性。
6.根据权利要求5所述的一种原始数据不出域场景的数据质量评估方法，其特征在于，步骤S2中所述的质量设计阶段，具体包括如下步骤：
7.根据权利要求6所述的一种原始数据不出域场景的数据质量评估方法，其特征
8.根据权利要求7所述的一种原始数据不出域场景的数据质量评估方法，其特征在于，步骤S2中所述的多方联合计算任务，通过多方安全计算协议实现数据保密，确保参与计算的任意一计算节点均无法得到其他参与节点的任何信息。
9.根据权利要求8所述的一种原始数据不出域场景的数据质量评估方法，其特征在于，步骤S2中所述的多方安全计算协议，至少包括以下协议之一：秘密分享协议、混淆电路协议和不经意传输协议。
10.根据权利要求9所述的一种原始数据不出域场景的数据质量评估方法，其特征在于，步骤S2及步骤S3中，多方安全计算协调节点及各计算节点在计算过程中的所有数据及过程均保存至区块链存储中，用于存证；所述的所有数据及过程，至少包括：计算方法、计算结果、原始数据密文或其哈希值和数据加密所用的密钥信息。
...【技术特征摘要】
1.一种原始数据不出域场景的数据质量评估系统，其特征在于，包括：
2.根据权利要求1所述的一种原始数据不出域场景的数据质量评估系统，其特征在于，所述联合计算，即各计算节点，仅根据其他计算节点提供的密文和多方安全计算协调节点提供的计算方法，计算得到最终的计算结果。
3.一种原始数据不出域场景的数据质量评估方法，其特征在于，采用权利要求1或2中任一所述的系统，包括以下步骤：
4.根据权利要求3所述的一种原始数据不出域场景的数据质量评估方法，其特征在于，步骤s1中所述的元数据信息，至少包括：数据表及字段的名称、数据类型、数据格式、值域和参考数据。
5.根据权利要求4所述的一种原始数据不出域场景的数据质量评估方法，其特征在于，步骤s1中所述的数据质量评价指标体系，至少包括：数据的准确性、规范性、完整性、一致性和及时性。
6.根据权利要求5所述的一种原始数据不出域场景的数据质量评估方法，其特征在于，步骤s2中所述的质量设计阶...
【专利技术属性】
技术研发人员：马昌军，
申请(专利权)人：南京莱斯网信技术研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。