一种基于大数据平台的数据安全集中管控方法及系统技术方案

本发明专利技术提供了一种基于大数据平台的数据安全集中管控方法及系统，其方法包括：基于大数据平台，获取不同目标单位的原始数据，并对关联关系原始数据进行融合存储以及分类存储，并基于融合存储结果构建第一鉴别模型以及分类存储结果构建第二鉴别模型集合；基于关联关系原始数据的合法来源信息、使用合规信息、安全传输信息、安全审计信息，构建第三鉴别模型；采集业务数据，并对业务数据进行预处理，分别基于鉴别模型对预处理结果进行鉴别，根据第二鉴别结果，筛选并标定异常数据和安全数据，并按照标准管控方式管控安全数据，按照集中管控方式管控异常数据。通过对应的方式，实现对其的有效管控，提高了对数据的安全保护。提高了对数据的安全保护。提高了对数据的安全保护。

【技术实现步骤摘要】
一种基于大数据平台的数据安全集中管控方法及系统


[0001]本专利技术涉及大数据
，特别涉及一种基于大数据平台的数据安全集中管控方法及系统。

技术介绍

[0002]大数据及人工智能时代，外部数据在服务信托金融业务数字化转型中的重要性愈加凸显。然而，在外部数据实际落地运用时会遇到各种各样的问题。比如，多部门各自引入，管理标准的不统一带来了数据安全得不到保障、使用成本高、数据难于整合共享等问题。
[0003]目前，各个政府机构、事业单位之间的业务数据是相互独立的，受理业务的机构也无法直接在别的机构的数据库中查看原始数据进行核对，只能凭借材料上的盖章等证明物来对材料的真实性进行判断，并且，随着网络技术的高速发展，目前的材料造假技术也越来越高级，即使对材料进行了造假或者篡改，受理机构的工作人员也难以进行甄别，且，由于不同部门的需要保护的数据不同，但是一般为了方便会直接使用相同系统对数据进行真伪鉴别以及对数据进行保护，但是，其针对性较低，进而使得辨别结果或者是安全保护达不到预期效果，因此，本专利技术提出一种基于大数据平台的数据安全集中管控方法及系统。

技术实现思路

[0004]本专利技术提供一种基于大数据平台的数据安全集中管控方法及系统，用以通过多种方式鉴别便于筛选异常数据和安全数据，并通过对应的方式，实现对其的有效管控，提高了对数据的安全保护。
[0005]本专利技术提供一种基于大数据平台的数据安全集中管控方法，包括：
[0006]基于大数据平台，获取不同目标单位的原始数据，并对所述原始数据进行融合存储以及分类存储，并基于融合存储结果构建第一鉴别模型以及分类存储结果构建第二鉴别模型集合；
[0007]基于所述原始数据的合法来源信息、使用合规信息、安全传输信息、安全审计信息，构建第三鉴别模型；
[0008]同步采集不同目标单位的业务数据，并对所述业务数据进行预处理，分别基于所述第一鉴别模型、第三鉴别模型，对预处理结果进行第一鉴别，从第二鉴别模型集合中调取相匹配的第二鉴别模型对对应的预处理结果进行第二鉴别；
[0009]根据第一鉴别结果以及第二鉴别结果，从所述业务数据中筛选并标定异常数据和安全数据，同时，按照标准管控方式管控所述安全数据，按照集中管控方式管控所述异常数据。
[0010]在一种可能实现的方式中，对所述原始数据进行融合存储，具体步骤包括：
[0011]确定待融合的原始数据，并构建特征关系标识模型；
[0012]将所述待融合的原始数据输入所述特征关系标识模型，对所述待融合的原始数据中每一数据进行特征关系标识；
[0013]所述特征关系标识用于标识数据中的特征关系，且每一特征关系中包含一个或多个数据特征值；
[0014]对所述数据特征值进行数据结构化处理，获取所述数据特征值对应的结构化数据组；
[0015]提取所述结构化数据组中的相关数据，并根据所述相关数据的属性值划分为多个相关数据对；
[0016]对所述相关数据对中的每个相关数据进行相似度计算，得到所述相关数据的相似度值；
[0017]同时，在所述相似度值大于预设相似度阈值时对所述相关数据进行融合操作，得到目标融合数据；
[0018]基于预设数据存储库，获取所述目标融合数据的数据存储信息，并根据所述数据存储信息调取相应的数据存储模式；
[0019]同时，根据所述数据存储信息获取所述数据存储模式的管理、筛选、配置权限；
[0020]基于所述数据存储模式中的管理权限，将所述目标融合数据进行数据管理得到目标管理数据；
[0021]基于所述数据存储模式中的筛选权限，对所述目标管理数据进行筛选，并剔除所述目标管理数据中的异常数据，得到目标数据；
[0022]基于所述数据存储模式中的配置权限，对所述目标数据进行配置，并将配置好的所述目标数据转换为约定格式后进行存储。
[0023]在一种可能实现的方式中，对所述原始数据进行分类存储包括：
[0024]基于分类数据库获取分类规则，并建立所述分类规则与所述原始数据之间的关联关系，并对所述关联关系进行优先级排序，同时，按照排序结果，调取前A个预先训练好的分类模型对所述原始数据进行分类；
[0025]建立存储节点，并基于所述存储节点创建A+1个存储层，并根据所述A个分类模型的模型属性，从所述A+1个存储层中筛选出一个暂存层，同时，根据剩余的A个存储层的权重值以及所述排序结果，对所述A个分类模型进行对应匹配；
[0026]其中，每个分类模型对应的存储层，按照所述分类模型的分类结果进行随机区域划分，来存储原始数据。
[0027]且每个分类模型对应的存储层都存储一次所述原始数据。
[0028]在一种可能实现的方式中，根据第一鉴别结果以及第二鉴别结果，从所述业务数据中筛选并标定异常数据和安全数据包括：
[0029]获取基于所述第一鉴别模型、第三鉴别模型，对预处理结果进行第一鉴别的第一鉴别结果，获取基于从第二鉴别模型集合中调取相匹配的第二鉴别模型对对应的预处理结果进行第二鉴别的第二鉴别结果；
[0030]将所述第一鉴别结果以及第二鉴别结果输入到异常判别模型中，判别所述第一鉴别结果以及第二鉴别结果中是否存在异常结果，若存在，从所述业务数据中筛选与所述异常结果相关的异常数据；
[0031]同时，还判别所述第一鉴别结果以及第二鉴别结果中是否存在待判断结果，若存在，获取与所述待判断结果相关的待判断数据；
[0032]对所述待判断数据进行迭代处理，并提取迭代结果不为零的第一数据以及迭代结果为零的第二数据，
[0033]同时，确定所述第一数据与所述异常判别模型的正相关参数以及梯度负相关参数，根据所述正相关参数以及梯度负相关参数，对所述第一数据进行修正处理，获得第三数据。
[0034]在一种可能实现的方式中，所述第三数据为异常数据，所述第一数据为安全数据。
[0035]在一种可能实现的方式中，按照标准管控方式管控所述安全数据，按照集中管控方式管控所述异常数据包括：
[0036]对同批次的所述安全数据进行数据等级标定，并根据标定结果，将对应的安全数据传输到预先设置好的不同的第一管控节点进行存储；
[0037]同时，对同批次的所述异常数据进行数据分类，并将每类数据分别传输到同个第二管控节点中的管控块进行存储。
[0038]在一种可能实现的方式中，对所述业务数据进行预处理的过程中包括：在对所述业务数据进行筛选，具体步骤包括：
[0039]获取业务数据，并对所述业务数据进行压缩处理，以获取所述业务数据对应的压缩数据；
[0040]将所述压缩数据进行分段处理，得到M个目标待筛选数据段；
[0041]对所述目标待筛选数据段进行当前筛选，得到目标数据，且根据如下公式计算当前筛选所述M个目标待筛选数据段的准确率：
[0042][0043]其中，η表示在当前筛选过程中，筛选所述目标待筛选数据段的准确率本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据平台的数据安全集中管控方法，其特征在于，包括：基于大数据平台，获取不同目标单位的原始数据，并对所述原始数据进行融合存储以及分类存储，并基于融合存储结果构建第一鉴别模型以及分类存储结果构建第二鉴别模型集合；基于所述原始数据的合法来源信息、使用合规信息、安全传输信息、安全审计信息，构建第三鉴别模型；同步采集不同目标单位的业务数据，并对所述业务数据进行预处理，分别基于所述第一鉴别模型、第三鉴别模型，对预处理结果进行第一鉴别，从第二鉴别模型集合中调取相匹配的第二鉴别模型对对应的预处理结果进行第二鉴别；根据第一鉴别结果以及第二鉴别结果，从所述业务数据中筛选并标定异常数据和安全数据，同时，按照标准管控方式管控所述安全数据，按照集中管控方式管控所述异常数据。2.如权利要求1所述的一种基于大数据平台的数据安全集中管控方法，其特征在于，对所述原始数据进行融合存储，具体步骤包括：确定待融合的原始数据，并构建特征关系标识模型；将所述待融合的原始数据输入所述特征关系标识模型，对所述待融合的原始数据中每一数据进行特征关系标识；所述特征关系标识用于标识数据中的特征关系，且每一特征关系中包含一个或多个数据特征值；对所述数据特征值进行数据结构化处理，获取所述数据特征值对应的结构化数据组；提取所述结构化数据组中的相关数据，并根据所述相关数据的属性值划分为多个相关数据对；对所述相关数据对中的每个相关数据进行相似度计算，得到所述相关数据的相似度值；同时，在所述相似度值大于预设相似度阈值时对所述相关数据进行融合操作，得到目标融合数据；基于预设数据存储库，获取所述目标融合数据的数据存储信息，并根据所述数据存储信息调取相应的数据存储模式；同时，根据所述数据存储信息获取所述数据存储模式的管理、筛选、配置权限；基于所述数据存储模式中的管理权限，将所述目标融合数据进行数据管理得到目标管理数据；基于所述数据存储模式中的筛选权限，对所述目标管理数据进行筛选，并剔除所述目标管理数据中的异常数据，得到目标数据；基于所述数据存储模式中的配置权限，对所述目标数据进行配置，并将配置好的所述目标数据转换为约定格式后进行存储。3.如权利要求1所述的一种基于大数据平台的数据安全集中管控方法，其特征在于，对所述原始数据进行分类存储包括：基于分类数据库获取分类规则，并建立所述分类规则与所述原始数据之间的关联关系，并对所述关联关系进行优先级排序，同时，按照排序结果，调取前A个预先训练好的分类模型对所述原始数据进行分类；
建立存储节点，并基于所述存储节点创建A+1个存储层，并根据所述A个分类模型的模型属性，从所述A+1个存储层中筛选出一个暂存层，同时，根据剩余的A个存储层的权重值以及所述排序结果，对所述A个分类模型进行对应匹配；其中，每个分类模型对应的存储层，按照所述分类模型的分类结果进行随机区域划分，来存储原始数据；且每个分类模型对应的存储层都存储一次所述原始数据。4.如权利要求1所述的一种基于大数据平台的数据安全集中管控方法，其特征在于，根据第一鉴别结果以及第二鉴别结果，从所述业务数据中筛选并标定异常数据和安全数据包括：获取基于所述第一鉴别模型、第三鉴别模型，对预处理结果进行第一鉴别的第一鉴别结果，获取基于从第二鉴别模型集合中调取相匹配的第二鉴别模型对对应的预处理结果进行第二鉴别的第二鉴别结果；将所述第一鉴别结果以及第二鉴别结果输入到异常判别模型中，判别所述第一鉴别结果以及第二鉴别结果中是否存在异常结果，若存在，从所述业务数据中筛选与所述异常结果相关的异常数据；同时，还判别所述第一鉴别结果以及第二鉴别结果中是否存在待判断结果，若存在，获取与所述待判断结果相关的待判断数据；对所述待判断数据进行迭代处理，并提取迭代结果不为零的第一数据以及迭代结果为零的第二数据，同时，确定所述第一数据与所述异常判别模型的正相关参数以及梯度负相关参数，根据所述正相关参数以及梯度负相关参数，对所述第一数据进行修正处理，获得第三数据。5.如权利要求4所述的一种基于大数据平台的数据安全集中管控方法，其特征在于，所述第三数据为异常数据，所述第一数据为安全数据。6.如权利要求1所述的一种基于大数据平台的数据安全集中管控方法，其特征在于，按照标准管控方式管控所述安全数据，按照集中管控方式管控所述异常数据包括：对同批次的所述安全数据进行数据等级标定...

【专利技术属性】
技术研发人员：王玉晓，邓飞，苏志斌，刘继勇，田江，王鹏，贾晓鸣，刘存玉，
申请(专利权)人：光大科技有限公司，
类型：发明
国别省市：