基于历史数据的数据治理方法及系统技术方案

本发明专利技术涉及数据治理技术领域，具体提出了一种基于历史数据的数据治理方法及系统，该方法包括：获取待治理数据，根据待治理数据的标识字符串确定待治理数据的来源；根据待治理数据的来源确定待治理数据提供者的身份信息，根据身份信息确定待治理数据的安全等级；根据数据类别、身份信息和安全等级建立认证字符串，将认证字符串添加至标识字符串的末位，形成新的字符串，作为待治理识别字符串；提取历史数据中的识别字符串，并建立历史识别字符串数据集，将待治理识别字符串与历史识别字符串数据集进行比对，根据比对结果判断是否将待治理数据添加至数据库中。本发明专利技术不仅提高了数据的识别和比对效率，还极大地提高了数据的治理效率。率。率。

【技术实现步骤摘要】
基于历史数据的数据治理方法及系统


[0001]本专利技术涉及数据治理
，具体而言，涉及一种基于历史数据的数据治理方法及系统。

技术介绍

[0002]目前，数据治理（Data Governance）是组织中涉及数据使用的一整套管理行为。由企业数据治理部门发起并推行，关于如何制定和实施针对整个企业内部数据的商业应用和技术管理的一系列政策和流程。
[0003]供应链是指围绕核心企业，从配套零件开始，制成中间产品以及最终产品，最后由销售网络把产品送到消费者手中的，将供应商、制造商、分销商直到最终用户连成一个整体的功能网链结构。供应链管理的经营理念是从消费者的角度，通过企业间的协作，谋求供应链整体最佳化。成功的供应链管理能够协调并整合供应链中所有的活动，最终成为无缝连接的一体化过程。
[0004]在现有的供应链中，上下游企业之间存在大量数据的传输，而如何针对供应链中上下游企业传输的数据进行过滤，防止无效或者恶意数据被存储至服务器内，如何有效地对供应链中大量的数据进行治理，成为急需解决的问题。

技术实现思路

[0005]鉴于此，本专利技术提出了一种基于历史数据的数据治理方法及系统，旨在解决如何针对供应链中上下游企业传输的数据进行过滤，防止无效或者恶意数据被存储至服务器内，有效地对供应链中大量的数据进行治理的问题。
[0006]一个方面，本专利技术提出了一种基于历史数据的数据治理方法，包括：获取待治理数据，并确定所述待治理数据的标识字符串和数据类别，根据所述待治理数据的标识字符串确定所述待治理数据的来源；根据所述待治理数据的来源确定所述待治理数据提供者的身份信息，根据所述身份信息确定所述待治理数据的安全等级；根据所述数据类别、身份信息和安全等级建立认证字符串，将所述认证字符串添加至所述标识字符串的末位，形成新的字符串，作为待治理识别字符串；从数据库中获取历史数据，并提取所述历史数据中的识别字符串，作为历史识别字符串，并建立历史识别字符串数据集，将所述待治理识别字符串与所述历史识别字符串数据集进行比对，根据比对结果判断是否将所述待治理数据添加至所述数据库中。
[0007]进一步地，在将所述待治理识别字符串与所述历史识别字符串进行比对，根据比对结果判断是否将所述待治理数据添加至所述数据库中时，包括：获取所述待治理识别字符串中的第一数据类别S1、第一身份信息B1和第一安全等级Q1，根据所述历史识别字符串数据集建立历史数据类别数据集S0、历史身份信息数据集B0和历史安全等级数据集Q0，根据S1、B1和Q1分别与S0、B0和Q0之间的比对结果判断是否将
所述待治理数据添加至所述数据库中：当S0中存在S1、B0中存在B1以及Q0中存在Q1时，则将所述待治理数据添加至所述数据库中；当S0中存在S1、B0中不存在B1时：若Q1为最高安全等级，则将所述待治理数据添加至所述数据库中；若Q1大于等于Q0中的平均安全等级时，则将所述待治理数据暂存至备用数据库中；若Q1小于Q0中的平均安全等级时，则不对所述待治理数据进行存储；当S0中不存在S1时，则不对所述待治理数据进行存储。
[0008]进一步地，所述身份信息包括IP地址和署名，在根据所述身份信息确定所述待治理数据的安全等级时，包括：从所述待治理数据的来源中解析出所述待治理数据提供者的IP地址
△
I和署名
△
K；预先设定本公司终端IP地址集I0、上游企业终端IP地址集I1和下游企业终端IP地址集I2，预先设定预设署名集K0；预先设定第一预设权重d1、第二预设权重d2和第三预设权重d3，且d1＞d2＞d3；预先设定第一调节系数a1和第二调节系数a2，且1.2＞a1＞1＞a2＞0.8；根据所述IP地址
△
I与I0、I1和I2之间的关系，确定所述待治理数据提供者的权重：当
△
I位于I0中时，则选定所述第一预设权重d1作为所述待治理数据提供者的权重；当
△
I位于I1中时，则选定所述第二预设权重d2作为所述待治理数据提供者的权重；当
△
I位于I2中时，则选定所述第三预设权重d3作为所述待治理数据提供者的权重；在选定第i预设权重di作为所述待治理数据提供者的权重后，i=1，2，3，判断所述署名
△
K是否位于所述预设署名集K0中，并根据判断结果对所述待治理数据提供者的权重进行调节：若
△
K位于K0中，则选定所述第一调节系数a1对所述待治理数据提供者的权重进行调节，调节后的权重为di*a1；若
△
K不位于K0中，则选定所述第二调节系数a2对所述待治理数据提供者的权重进行调节，调节后的权重为di*a2；在选定第m调节系数am对所述待治理数据提供者的权重进行调节，m=1，2，并获取调节后的权重di*am后，根据下式计算所述待治理数据的安全等级
△
Q：
△
Q=L*di*am*j其中，L为常数，L的取值范围为80
‑
100，j为补偿系数，j的取值范围为0.8
‑
1.2。
[0009]进一步地，在确定所述补偿系数j时，包括：预先设定数据类别矩阵S，设定S（S01，S02，S03，S04），其中，S01为销售类数据，S02为财务类数据，S03为供货类数据，S04为产品类数据；
预先设定第一预设补偿系数j1、第二预设补偿系数j2、第三预设补偿系数j3和第四预设补偿系数j4，且1.2＞j1＞j2＞j3＞j4＞0.8；在确定所述待治理数据的数据类别后，根据所述待治理数据的数据类别确定所述补偿系数j：当所述待治理数据的数据类别为销售类数据S01时，则选定所述第一预设补偿系数j1作为所述补偿系数j；当所述待治理数据的数据类别为财务类数据S02时，则选定所述第二预设补偿系数j2作为所述补偿系数j；当所述待治理数据的数据类别为供货类数据S03时，则选定所述第三预设补偿系数j3作为所述补偿系数j；当所述待治理数据的数据类别为产品类数据S04时，则选定所述第四预设补偿系数j4作为所述补偿系数j；在选定第n预设补偿系数jn作为所述补偿系数j后，n=1，2，3，4，根据确定的所述补偿系数j计算所述安全等级
△
Q。
[0010]进一步地，当S0中存在S1、B0中不存在B1，且Q1大于等于Q0中的平均安全等级，并将所述待治理数据暂存至备用数据库中后，包括：在将所述待治理数据暂存至所述备用数据库中后，每间隔预设时长获取一次所述备用数据库中的待治理数据，并将所有的待治理数据进行比对，根据比对结果，确定是否将所述备用数据库中的待治理数据存储至所述数据库中；其中，获取历史安全等级数据集Q0（Q01,Q02,Q03,...，Q0n），其Q01为第一历史安全等级，Q02为第二历史安全等级，Q03为第三历史安全等级，Q0n为第n历史安全等级，Q0中的平均安全等级QA为（Q01+Q02+Q03,...，+Q0n）/n；预先设定第一预设间隔时长T1、第二预设间隔时长T2、第三预本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于历史数据的数据治理方法，其特征在于，包括：获取待治理数据，并确定所述待治理数据的标识字符串和数据类别，根据所述待治理数据的标识字符串确定所述待治理数据的来源；根据所述待治理数据的来源确定所述待治理数据提供者的身份信息，根据所述身份信息确定所述待治理数据的安全等级；根据所述数据类别、身份信息和安全等级建立认证字符串，将所述认证字符串添加至所述标识字符串的末位，形成新的字符串，作为待治理识别字符串；从数据库中获取历史数据，并提取所述历史数据中的识别字符串，作为历史识别字符串，并建立历史识别字符串数据集，将所述待治理识别字符串与所述历史识别字符串数据集进行比对，根据比对结果判断是否将所述待治理数据添加至所述数据库中。2.根据权利要求1所述的基于历史数据的数据治理方法，其特征在于，在将所述待治理识别字符串与所述历史识别字符串进行比对，根据比对结果判断是否将所述待治理数据添加至所述数据库中时，包括：获取所述待治理识别字符串中的第一数据类别S1、第一身份信息B1和第一安全等级Q1，根据所述历史识别字符串数据集建立历史数据类别数据集S0、历史身份信息数据集B0和历史安全等级数据集Q0，根据S1、B1和Q1分别与S0、B0和Q0之间的比对结果判断是否将所述待治理数据添加至所述数据库中：当S0中存在S1、B0中存在B1以及Q0中存在Q1时，则将所述待治理数据添加至所述数据库中；当S0中存在S1、B0中不存在B1时：若Q1为最高安全等级，则将所述待治理数据添加至所述数据库中；若Q1大于等于Q0中的平均安全等级时，则将所述待治理数据暂存至备用数据库中；若Q1小于Q0中的平均安全等级时，则不对所述待治理数据进行存储；当S0中不存在S1时，则不对所述待治理数据进行存储。3.根据权利要求2所述的基于历史数据的数据治理方法，其特征在于，所述身份信息包括IP地址和署名，在根据所述身份信息确定所述待治理数据的安全等级时，包括：从所述待治理数据的来源中解析出所述待治理数据提供者的IP地址
△
I和署名
△
K；预先设定本公司终端IP地址集I0、上游企业终端IP地址集I1和下游企业终端IP地址集I2，预先设定预设署名集K0；预先设定第一预设权重d1、第二预设权重d2和第三预设权重d3，且d1＞d2＞d3；预先设定第一调节系数a1和第二调节系数a2，且1.2＞a1＞1＞a2＞0.8；根据所述IP地址
△
I与I0、I1和I2之间的关系，确定所述待治理数据提供者的权重：当
△
I位于I0中时，则选定所述第一预设权重d1作为所述待治理数据提供者的权重；当
△
I位于I1中时，则选定所述第二预设权重d2作为所述待治理数据提供者的权重；当
△
I位于I2中时，则选定所述第三预设权重d3作为所述待治理数据提供者的权重；在选定第i预设权重di作为所述待治理数据提供者的权重后，i=1，2，3，判断所述署名
△
K是否位于所述预设署名集K0中，并根据判断结果对所述待治理数据提供者的权重进行调节：若
△
K位于K0中，则选定所述第一调节系数a1对所述待治理数据提供者的权重进行调
节，调节后的权重为di*a1；若
△
K不位于K0中，则选定所述第二调节系数a2对所述待治理数据提供者的权重进行调节，调节后的权重为di*a2；在选定第m调节系数am对所述待治理数据提供者的权重进行调节，m=1，2，并获取调节后的权重di*am后，根据下式计算所述待治理数据的安全等级
△
Q：
△
Q=L*di*am*j其中，L为常数，L的取值范围为80
‑
100，j为补偿系数，j的取值范围为0.8
‑
1.2。4.根据权利要求3所述的基于历史数据的数据治理方法，其特征在于，在确定所述补偿系数j时，包括：预先设定数据类别矩阵S，设定S（S01，S02，S03，S04），其中，S01为销售类数据，S02为财务类数据，S03为供货类数据，S04为产品类数据；预先设定第一预设补偿系数j1、第二预设补偿系数j2、第三预设补偿系数j3和第四预设补偿系数j4，且1.2＞j1＞j2＞j3＞j4＞0.8；在确定所述待治理数据的数据类别后，根据所述待治理数据的数据类别确定所述补偿系数j：当所述待治理数据的数据类别为销售类数据S01时，则选定所述第一预设补偿系数j1作为所述补偿系数j；当所述待治理数据的数据类别为财务类数据S02时，则选定所述第二预设补偿系数j2作为所述补偿系数j；当所述待治理数据的数据类别为供货类数据S03时，则选定所述第三预设补偿系数j3作为所述补偿系数j；当所述待治理数据的数据类别为产品类数据S04时，则选定所述第四预设补偿系数j4作为所述补偿系数j；在选定第n预设补偿系数jn作为所述补偿系数j后，n=1，2，3，4，根据确定的所述补偿系数j计算所述安全等级
△
Q。5.根据权利要求2所述的基于历史数据的数据治理方法，其特征在于，当S0中存在S1、B0中不存在B1，且Q1大于等于Q0中的平均安全等级，并将所述待治理数据暂存至备用数据库中后，包括：在将所述待治理数据暂存至所述备用数据库中后，每间隔预设时长获取一次所述备用数据库中的待治理数据，并将所有的待治理数据进行比对，根据比对结果，确定是否将所述备用数据库中的待治理数据存储至所述数据库中；其中，获取历史安全等级数据集Q0（Q01,Q02,Q03,...，Q0n），其Q01为第一历史安全等级，Q02为第二历史安全等级，Q03为第三历史安全等级，Q0n为第n历史安全等级，Q0中的平均安全等级QA为（Q01+Q02+Q03,...，+Q0n）/n；预先设定第一预设间隔时长T1、第二预设间隔时长T2、第三预设间隔时长T3和第四预设间隔时长T4，T1＜T2＜T3＜T4；预先设定第一预设安全等级差值c1、第二预设安全等级差值c2、第三预设安全等级差值c3和第四预设安全等级差值c4，且0＜c1＜c2＜c3＜c4；根据所述第一安全等级Q1与所述平均安全等级QA之间的差值确定相邻两次获取所述备用数据库中的待治理数据时的间隔时长：
当0≤Q1
‑
QA＜c1时，选定所述第一预设间隔时长T1作为相邻两次获取所述备用数据库中的待治理数据时的间隔时长；当c1≤Q1
‑
QA＜c2时，选定所述第二预设间隔时长T2作为相邻两次获取所述备用数据库中的待治理数据时的间隔时长；当c2≤Q1
‑
QA＜c3时，选定所述第三预设间隔时长T3作为相邻两次获取所述备用数据库中的待治理数据时的间隔时长；当c3≤Q1
‑
QA＜c4时，选定所述第四预设间隔时长T4作为相邻两次获取所述备用数据库中的待治理数据时的间隔时长；在将所述备用数据库中所有的待治理数据进行比对时，判断所述待治理数据的数据类型是否相同：若不相同，则不对所述备用数据库中的待治理数据的存储位置进行调整；若相同，则判断相同数据类型的待治理数据的身份信息是否相同：若相同，则将数据类型和身份信息均相同的待治理数据存储至所述数据库中；若不相同，则根据数据类型相同、身份信息不同的待治理数据的安全等级QB与QA之间的差值确定是否将数据类型相同、身份信息不同的待治理数据存储至所述数据库中：当QB
‑
QA≤0时，不调整数据类型相同、身份信息不同的待治理数据的存储位置；当QB
‑
QA＞0时，则将数据类型相同、身份信息不同的待治理数据存储至所述数据库中。6.一种基于历史数据的数据治理系统，其特征在于，包括：获取模块，用于获取待治理数据，...

【专利技术属性】
技术研发人员：段国强，苏建新，汪进，何亘，杨琨，王凯飞，杨立寨，王振宇，葛大伟，李健，刘奎阳，何立军，李辰辉，余纪良，
申请(专利权)人：北京云成金融信息服务有限公司，
类型：发明
国别省市：