一种数据管理方法、系统、设备及存储介质技术方案

本发明专利技术公开了一种数据管理方法、系统、设备及存储介质，该方法应用在数据一体机，包括：获取至少一个数据产品，数据产品由数据提供方根据数据产品协议生成并通过数据发布平台提供；根据各数据产品确定至少一个目标数据产品，生成数据订阅请求，并发送至对应的目标数据发布平台；接收目标数据发布平台在数据订阅请求验证通过后所反馈的目标数据产品；根据目标数据产品进行数据安全配置，并在完成配置后将实际运行数据存储到数据库；解决了数据管理过程中无法保证数据安全的问题，避免数据泄露，保证数据安全。通过数据一体机实现数据安全存储以及安全访问，方案易于实现、成本低，可以实现对数据的高效管理。以实现对数据的高效管理。以实现对数据的高效管理。

【技术实现步骤摘要】
一种数据管理方法、系统、设备及存储介质


[0001]本专利技术涉及数据管理
，尤其涉及一种数据管理方法、系统、设备及存储介质。

技术介绍

[0002]数据提供方向数据消费方提供数据的方式可以是数据提供方对数据处理后上传到第三方数据交易平台进行交易，由第三方开放给消费用户下载数据，由第三方数据交易平台限制数据消费的边界；或者，数据提供方提供数据共享平台，数据提供方通过云计算、大数据、数据中台等技术构建数据共享平台，为数据消费方提供逻辑隔离的数据共享API和账户，由数据消费方来获取数据。
[0003]但是，由第三方的数据存储方案保证数据安全，存在数据交易过程中数据实体泄露风险，并且无法解决数据提供方和数据交易方的数据安全策略的定制化需求。数据提供方建设数据共享平台的方案，依赖数据安全、访问安全、合规安全等集成技术对所有消费方生效，对于头部数据提供方的数据交易过程存在从0到1系统建设的复杂度高、成本高、难管理等问题，无法保障真正的落地。

技术实现思路

[0004]本专利技术提供了一种数据管理方法、系统、设备及存储介质，以解决数据交易过程中无法保证安全的问题。
[0005]根据本专利技术的一方面，提供了一种数据管理方法，应用于数据一体机，包括：
[0006]获取至少一个数据产品，所述数据产品由数据提供方根据数据产品协议生成并通过数据发布平台提供，所述数据产品包括：产品交付信息和安全策略信息，所述安全策略信息包括：接入安全策略和数据安全策略；
[0007]根据各所述数据产品确定至少一个目标数据产品，生成数据订阅请求，并发送至对应的目标数据发布平台；
[0008]接收所述目标数据发布平台在所述数据订阅请求验证通过后所反馈的目标数据产品；
[0009]根据所述目标数据产品进行数据安全配置，并在完成配置后将实际运行数据存储到数据库；
[0010]接收所对应的数据消费方的数据访问请求，根据所述数据访问请求查询数据库，并返回响应数据。
[0011]根据本专利技术的一方面，提供了一种数据管理方法，应用于数据发布平台，包括：
[0012]接收数据提供方根据数据产品协议生成并发布的至少一个数据产品，所述数据产品包括：产品交付信息和安全策略信息，所述安全策略信息包括：接入安全策略和数据安全策略；
[0013]向所对应的数据一体机反馈至少一个数据产品；
[0014]接收所述数据一体机根据至少一个目标数据产品生成并发送的数据订阅请求；
[0015]对所述数据订阅请求进行验证，并在验证通过后反馈目标数据产品至所述数据一体机。
[0016]根据本专利技术的另一方面，提供了一种数据管理系统，包括：至少一个数据发布平台、至少一个数据消费方，每个所述数据消费方所对应的至少一个数据一体机、以及至少一个数据提供方；
[0017]各所述数据提供方，用于根据数据产品协议生成数据产品，并向对应的数据发布平台发送各所述数据产品，以便各所述数据发布平台向对应的数据一体机反馈至少一个数据产品，所述数据产品包括：产品交付信息和安全策略信息，所述安全策略信息包括：接入安全策略和数据安全策略；
[0018]所述数据一体机，用于根据所选择的至少一个目标数据产品生成数据订阅请求，并发送至对应的目标数据发布平台；
[0019]各所述数据发布平台，在作为目标数据发布平台时，用于对所接收的所述数据订阅请求进行验证，并在验证通过后，将各所述目标数据产品发送至对应的数据一体机；
[0020]所述数据一体机，还用于根据所述目标数据产品进行数据安全配置，将实际运行数据存储到数据库，以及接收所对应的数据消费方的数据访问请求，根据所述数据访问请求查询数据库，并返回响应数据。
[0021]本专利技术实施例提供了一种数据管理方法，包括：获取至少一个数据产品，所述数据产品由数据提供方根据数据产品协议生成并通过数据发布平台提供，所述数据产品包括：产品交付信息和安全策略信息，所述安全策略信息包括：接入安全策略和数据安全策略；根据各所述数据产品确定至少一个目标数据产品，生成数据订阅请求，并发送至对应的目标数据发布平台；接收所述目标数据发布平台在所述数据订阅请求验证通过后所反馈的目标数据产品；根据所述目标数据产品进行数据安全配置，并在完成配置后将实际运行数据存储到数据库；接收所对应的数据消费方的数据访问请求，根据所述数据访问请求查询数据库，并返回响应数据，解决了数据管理过程中无法保证数据安全的问题，数据提供方通过数据产品协议定义数据产品，将数据产品发送至数据发布平台，由数据发布平台上架，通过数据产品定义接入安全策略和数据安全策略，满足交易过程中数据安全策略的定制化需求。通过数据一体机进行数据产品订阅，避免数据产品对所有数据消费方生效，数据一体机在订阅目标数据产品后根据目标数据产品进行相应的数据安全配置，并对实际运行数据进行存储，避免了数据泄露，保证了数据安全。通过数据一体机实现数据安全存储以及安全访问，方案易于实现、成本低，可以实现对数据的高效管理。
[0022]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0023]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0024]图1是根据本专利技术实施例一提供的一种数据管理方法的流程图；
[0025]图2是根据本专利技术实施例一提供的一种数据管理系统的结构示意图；
[0026]图3是根据本专利技术实施例二提供的一种数据管理方法的流程图；
[0027]图4是根据本专利技术实施例三提供的一种数据管理方法的流程图；
[0028]图5是根据本专利技术实施例四提供的一种数据管理系统的结构示意图；
[0029]图6是根据本专利技术实施例四提供的一种数据管理系统的示例图；
[0030]图7是根据本专利技术实施例四提供的一种数据管理的实现示例图；
[0031]图8是实现本专利技术实施例的数据管理方法的电子设备的结构示意图。
具体实施方式
[0032]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0033]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据管理方法，其特征在于，应用于数据一体机，包括：获取至少一个数据产品，所述数据产品由数据提供方根据数据产品协议生成并通过数据发布平台提供，所述数据产品包括：产品交付信息和安全策略信息，所述安全策略信息包括：接入安全策略和数据安全策略；根据各所述数据产品确定至少一个目标数据产品，生成数据订阅请求，并发送至对应的目标数据发布平台；接收所述目标数据发布平台在所述数据订阅请求验证通过后所反馈的目标数据产品；根据所述目标数据产品进行数据安全配置，并在完成配置后将实际运行数据存储到数据库；接收所对应的数据消费方的数据访问请求，根据所述数据访问请求查询数据库，并返回响应数据。2.根据权利要求1所述的方法，其特征在于，所述目标数据产品中的目标产品交付信息包括应用程序接口，所述根据所述目标数据产品进行数据安全配置，包括：根据所述目标数据产品确定数据消费配置信息和数据存储配置信息；根据所述数据消费配置信息对数据服务网关进行数据消费配置，根据所述数据存储配置信息对数据库进行数据存储配置；其中，所述数据消费配置至少包括以下一种：数据物理链路的搭建，数据库的安全策略、应用程序接口网关的分组配置、应用程序接口的创建发布与分组配置和数据一体机自检。3.根据权利要求2所述的方法，其特征在于，将实际运行数据存储到数据库，包括：根据所述目标数据产品生成数据同步请求，并发送给目标数据发布平台；接收所述目标数据发布平台根据所述数据同步请求反馈的实际运行数据；根据数据库的安全策略对所述实际运行数据进行处理并存储到数据库中。4.根据权利要求3所述的方法，其特征在于，所述目标数据发布平台与所述数据服务网关通过虚拟专用网络或私有云网络建立网络通道，以通过所述网络通道传输数据产品和/或实际运行数据。5.根据权利要求3所述的方法，其特征在于，所述根据数据库的安全策略对所述实际运行数据进行处理并存储到数据库中，包括：确定所述实际运行数据对应存储的数据表；根据数据库的安全策略确定数据表的存储策略，根据存储策略对所述实际运行数据中每列数据分别进行处理，将处理后的数据存储至数据库中；其中，所述存储策略包括对目标数据列进行脱敏处理和/或加密处理。6.根据权利要求2所述的方法，其特征在于，所述接收所对应的数据消费方的数据访问请求，根据所述数据访问请求查询数据库，并返回响应数据，包括：接收所对应的数据消费方调用应用程序接口所发送的数据访问请求，所述数据访问请求至少包括输入参数，所述应用程序接口与所对应的数据消费方的业务关联；对所述数据访问请求进行服务验证，并在验证通过后，根据输入参数以及所述数据消费配置进行数据查询，确定目标数据，所述服务验证包括以下至少一种：数据消费方的互联网协议地址验证、用户权限验证和应用名称验证；
根据所述数据消费配置对所述目标数据进行数据安全处理，确定响应数据。7.根据权利要求2所述的方法，其特征在于，还包括：根据所述数据库...

【专利技术属性】
技术研发人员：刘汪根，赵志强，张丰璐，
申请(专利权)人：星环信息科技上海股份有限公司，
类型：发明
国别省市：