数据协同共享安全系统技术方案

本申请提供了一种数据协同共享安全系统。该数据协同共享安全系统，包括：上层应用、数据实验室、数据中台、底层平台依次进行通信连接，以进行信息交互；其中，数据实验室依托于kubernetes容器化管理平台，用于实现硬件资源容器编排管理，并通过大数据基础平台提供分布式计算、存储能力，以及丰富技术组件；数据实验室在各环节依托区块链存证能力，用于实现数据审核、应用的全方位监管；数据实验室提供了两种模式的价值挖掘方式；其中，两种模式包括中心化算法孵化模式和联邦学习模式。根据本申请实施例，能够提供一站式数据开发工具、一体化资源配置、全方位安全管控和可信计算安全加持。持。持。

【技术实现步骤摘要】
数据协同共享安全系统


[0001]本申请属于数据协同共享安全
，尤其涉及一种数据协同共享安全系统。

技术介绍

[0002]数据成为最新的第五大生产要素，为社会经济发展提供了新的引擎动力。国家近期出台了一系列的政策法规鼓励、支持、引导与规范数据市场。可见，数字经济时代下各行业亟待发掘利用现有数据价值。但是，面对如此广袤的数据蓝海市场，现有的数据挖掘平台存在以下问题有待完善：
[0003](1)严重的“信息孤岛”问题阻碍大数据协同共享
[0004]传统的数据共享交换平台难以在兼顾安全和隐私的条件下实现数据融通共享，目前数据融通交易还是处于“不敢”、“不能”、“不愿”现状，尤其是在实际数据融通过程中，安全管控手段缺乏、安全保护不足、隐私防护不足、数据融通合作基础设施不完善等问题的存在，导致数据融通的合作落地非常困难，形成了无数的“数据孤岛”。
[0005](2)数据安全保护与数据价值挖掘间矛盾难以调和
[0006]如何在保证数据隐私安全的同时，还可对数据进行最大价值挖掘，实现数据所有权与使用权分离，是持续存在于大数据价值挖掘融通交易过程中的一对矛盾体。而保证数据安全是所有数据挖掘使用的前提，所以数据安全保护与数据价值挖掘间矛盾亟待解决。
[0007](3)数据挖掘模式单一，局限性较高
[0008]随着数据要素的市场化价值化，市场上数据分析挖掘平台正在逐步发展。但是，平台整体上所采用的模式较为单一，一部分通过提供固定域的方式提供数据挖掘的场地和工具，完全不可出域的数据则无法在该模式下进行应用；还有一些平台专注于联邦学习的搭建，索然能满足数据不出域的要求，但是对于数据资源持有权限相对宽泛的数据增加了成本，效率相对势必有所降低。
[0009]有鉴于此，提出本申请。

技术实现思路

[0010]本申请实施例提供一种数据协同共享安全系统，能够提供一站式数据开发工具、一体化资源配置、全方位安全管控和可信计算安全加持。
[0011]本申请实施例提供一种数据协同共享安全系统，包括：
[0012]上层应用、数据实验室、数据中台、底层平台依次进行通信连接，以进行信息交互；
[0013]其中，数据实验室依托于kubernetes容器化管理平台，用于实现硬件资源容器编排管理，并通过大数据基础平台提供分布式计算、存储能力，以及丰富技术组件；
[0014]数据实验室在各环节依托区块链存证能力，用于实现数据审核、应用的全方位监管；
[0015]数据实验室提供了两种模式的价值挖掘方式；
[0016]其中，两种模式包括中心化算法孵化模式和联邦学习模式。
[0017]进一步地，中心化算法孵化模式，用于当数据所有方同意数据资源持有权释放至数据实验室时进行数据挖掘。
[0018]进一步地，中心化算法孵化模式，用于通过搭建网络隔离与物理空间隔离的环境结合全方位的数据安全工具充分保障数据安全，通过打造数据资源池与丰富的算力环境，为每位数据需求方提供独立安全的训练环境，数据需求者在数据开放实验室中进行数据分析、接口开发、或者模型训练后，将结果通过API方式进行拿走，原始数据无法获取，训练结束后该需求方的独立工作台包含申请数据、运行中间结果、算力等全部自动销毁。
[0019]进一步地，数据实验室是在非互联网环境，通过提供统一的数据资源、算力及固定的办公场所，为数据需求者与数据技术服务商提供数据分析和数据挖掘能力的工具平台，最终计算的结果以高价值的API的方式进行输出，实现了数据的受控开放、协同挖掘；
[0020]其中，非互联网环境包括政务外网或者局域网。
[0021]进一步地，联邦学习模式，用于当数据所有方与数据需求方的数据均不可出域，且需要进行联合建模时，通过数据实验室提供的联邦学习方式，完成数据在拥有方本地使用，完成加密联合建模，通过在数据拥有方部署本地计算节点，通过加密样本对齐、加密训练，数据拥有方不交换原始数据，仅在加密保护下交互中间计算结果，通过联合建模方式获取最终模型，以提高数据共享和业务协同能力，同时确保数据不出域、保障数据隐私权。
[0022]进一步地，数据实验室包括数据资源池模块，用于数据实验室通过数据资源池对于原始数据进行备份、标准化治理、清洗、转换，并映射到数据开放实验室后台，由审核人员控制资源池的数据目录，数据经脱敏后，将目录同步至实验室门户发布至资源池，达到数据可知的目的；运营后台权限控制与原始数据备份映射功能保障了不接触原始数据的前提下数据可知目的；用户在数据资源池中通过数据应用行业、来源进行精准筛选与使用权限申请。
[0023]进一步地，数据实验室包括算法开发模块，用于若数据需求者无需使用自身数据，或者自身数据可以出域存储至数据开放实验室，采用中心化算法孵化模式进行传统模型训练；数据开放实验室为每一位数据需求者提供独立干净的训练环境，为每一位用户提供独立dorker沙箱环境，在区域内数据需求者通过利用数据开放实验室提供的数据资源、算力资源、算法资源与平台能力进行模型训练，训练后的模型将部署至推理环境中，数据需求者通过API方式将结果拿走，而原始数据无法获取，训练结束后该需求方的独立工作台包含申请数据、运行中间结果、算力等全部自动销毁。
[0024]进一步地，数据实验室包括联邦学习模块，用于基于联邦学习技术面向数据提供者和数据使用者的多源数据应用生态系统，在保障数据不出域的情况下为双方或多方提供数据价值碰撞与联合建模的隐私计算环境，打造“可用不可见”的安全用数模式，以解决隐私数据无法出域而价值无法释放、数据开发过程中泄露和滥用问题，实现数据在流通域融合过程中的安全性、合规性和高效性。
[0025]进一步地，数据协同共享安全系统还包括数据资源管理平台，用于统一纳管结构化数据为上层的模型训练、模型推理、数据处理、数据共享应用提供数据源，另外针对外部不可出域数据，通过多方安全计算能力实现数据应用。
[0026]进一步地，上层应用包括数据资产化服务平台，用于打造完整安全的数据价值融通交易体系；针对硬件及运维侧，有运维管控及安全交换边界；在数据侧，包括数据库审计、
脱敏、终端防泄漏、网络防泄漏能力；面向服务侧，则通过API网关监测、4A统一安全管控保障API安全及权限安全；应用侧则依托应用安全管控对应用安全进行保障；另外，在其他工具基础上形成数据全生命周期安全保障，面向用户提供数据安全可视化及管控能力。
[0027]本申请实施例提供一种数据协同共享安全系统，包括：上层应用、数据实验室、数据中台、底层平台依次进行通信连接，以进行信息交互；其中，数据实验室依托于kubernetes容器化管理平台，用于实现硬件资源容器编排管理，并通过大数据基础平台提供分布式计算、存储能力，以及丰富技术组件；数据实验室在各环节依托区块链存证能力，用于实现数据审核、应用的全方位监管；数据实验室提供了两种模式的价值挖掘方式；其中，两种模式包括中心化算法孵化模式和联邦学习模式。
[0028本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据协同共享安全系统，其特征在于，包括：上层应用、数据实验室、数据中台、底层平台依次进行通信连接，以进行信息交互；其中，所述数据实验室依托于kubernetes容器化管理平台，用于实现硬件资源容器编排管理，并通过大数据基础平台提供分布式计算、存储能力，以及丰富技术组件；所述数据实验室在各环节依托区块链存证能力，用于实现数据审核、应用的全方位监管；所述数据实验室提供了两种模式的价值挖掘方式；其中，所述两种模式包括中心化算法孵化模式和联邦学习模式。2.根据权利要求1所述的数据协同共享安全系统，其特征在于，所述中心化算法孵化模式，用于当数据所有方同意数据资源持有权释放至数据实验室时进行数据挖掘。3.根据权利要求2所述的数据协同共享安全系统，其特征在于，所述中心化算法孵化模式，用于通过搭建网络隔离与物理空间隔离的环境结合全方位的数据安全工具充分保障数据安全，通过打造数据资源池与丰富的算力环境，为每位数据需求方提供独立安全的训练环境，数据需求者在数据开放实验室中进行数据分析、接口开发、或者模型训练后，将结果通过API方式进行拿走，原始数据无法获取，训练结束后该需求方的独立工作台包含申请数据、运行中间结果、算力等全部自动销毁。4.根据权利要求3所述的数据协同共享安全系统，其特征在于，所述数据实验室是在非互联网环境，通过提供统一的数据资源、算力及固定的办公场所，为数据需求者与数据技术服务商提供数据分析和数据挖掘能力的工具平台，最终计算的结果以高价值的API的方式进行输出，实现了数据的受控开放、协同挖掘；其中，所述非互联网环境包括政务外网或者局域网。5.根据权利要求1所述的数据协同共享安全系统，其特征在于，所述联邦学习模式，用于当数据所有方与数据需求方的数据均不可出域，且需要进行联合建模时，通过数据实验室提供的联邦学习方式，完成数据在拥有方本地使用，完成加密联合建模，通过在数据拥有方部署本地计算节点，通过加密样本对齐、加密训练，数据拥有方不交换原始数据，仅在加密保护下交互中间计算结果，通过联合建模方式获取最终模型，以提高数据共享和业务协同能力，同时确保数据不出域、保障数据隐私权。6.根据权利要求1所述的数据协同共享安全系统，其特征在于，所述数据实验室包括数据资源池模块，用于数据实验室通过数据资源池对于原始数据进行备份、标准化治理、清洗、转换...

【专利技术属性】
技术研发人员：刘阿慧，苟轶凡，姚丽娜，刘若雨，
申请(专利权)人：北京易华录信息技术股份有限公司，
类型：发明
国别省市：