【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种数据网格的联合计算治理实现方法。
技术介绍
1、数据网格是一种新兴的数据管理架构范式，是一种分散的社会技术方法，用于大规模管理和访问分析数据。数据网格背后的想法是使组织内的自治团队能够拥有自己的数据域，并开发和运营满足各自领域特定需求的数据产品。这种方法可以提高数据管理的灵活性和创新性，并更有效地利用计算资源。
2、数据网格遵循分布式系统架构，包括由领域构建和部署的多个具有独立生命周期的数据产品。为了使数据产品能够以高阶数据集、洞察力或机器智能的形式获得更高价值，这些独立的数据产品需要互操作关联进行聚合计算。因此，数据网格需要依托一个治理模型，该模型包含去中心化和领域自主权、全局标准化的互操作性、基于动态拓扑的平台自动执行决策。是由领域数据产品所有者和数据平台产品所有者联合领导的决策模型，具有自治和领域本地决策权，同时创建并遵守一组全局规则，包含适用于所有数据产品及其接口的规则，以确保健康和可互操作的生态系统。
3、数据网格一共有四个原则：基于领域的所有权、数据作为产品、自助数据平台与联合计算治理。其中，数据网格的联合计算治理原则解决了阻碍不同领域之间协作和创新的数据孤岛和碎片化挑战。通过实现跨领域的数据共享和分析，联合计算治理可以促进创造对组织有益的新洞察、新产品和新服务。其次，尊重数据所有者和领域的隐私和安全，并确保遵守各种法规和标准。通过允许每个领域控制自己的数据并执行自己的策略，联合计算治理可以防止未经授权的访问、滥用或泄露数据。第三，降低了数据传输和存储的成本
4、目前，针对数据网格架构的有效实施依然存在如下问题：(1)联合治理的联合组织以及其开展模式并不明确；(2)联合计算的边界和必要计算策略还没有指导性的统一架构；(3)联合计算治理与自助数据服务平台和数据产品之间的必要协同接口需要进一步明确。
技术实现思路
1、本专利技术提供了一种面向领域的去中心化数据架构实现方法，使得联合治理策略能够真正的在数据网格中稳定运行，将必要功能通过联合计算实现，提升计算网格的安全性与高效性。
2、为了实现本专利技术的目的，所采用的技术方案是：一种数据网格的联合计算治理实现方法，包括如下步骤：
3、s1：确定数据网格组织团队，要求团队在组织中是互相关联且有权参与联合策略的制定；
4、s2：指定领域内治理原则，使用数据契约作为数据产品治理原则的功能组件；
5、s3：指定领域间治理原则，基于领域内已经制定治理原则，在领域间则对数据契约中的指标进行过滤检查；
6、s4：基础设施开发，基础设施开发将领域的基础架构功能收集和提取到数据基础架构平台中，使数据域能够自行生成其数据产品；
7、s5、联合计算治理实施，数据网格的联合计算治理正式启动运行状态。
8、作为本专利技术的优化方案，在步骤s1中，具体包括：
9、s1-1：明确数据网格架构中各组件团队角色，各组件团队角色具体包括领域团队角色和服务平台团队角色，领域团队负责领域数据的管理和数据产品的开发，服务平台团队负责自助数据服务平台的开发与维护；
10、s1-2：明确联合治理中心团队成员，包括各领域团队代表、自助数据服务平台代表、主题专家代表和组织管理者代表；
11、s1-3：明确联合治理中心的协作模式，协作模式具体包括各领域间代表选举、按期举行联合治理决策会议和会议全程记录公开计。
12、作为本专利技术的优化方案，在步骤s2中，数据契约对数据产品上下游交互的接口级别进行定义，还包含数据产品本身的元数据信息，是定义数据提供者与其消费者之间交换数据的结构、格式、语义、质量和使用条款的文档，具体包括数据产品名称、版本号、唯一身份id、服务状态、所属领域、产品负责人、描述、标签、数据源、数据模式、slas、数据质量和服务说明。
13、作为本专利技术的优化方案，在步骤s2中，领域内治理原则是联合计算治理在数据产品的生产和交互的遵守项，领域内治理原则基本要素包括数据说明，数据字段说明，数据产品质量，数据血缘，数据权限等级，订阅接口，数据所有者，数据地址和slas。
14、作为本专利技术的优化方案，在步骤s3中，数据契约中的指标包括数据血缘、数据质量和数据唯一id，数据产品之间的数据传输加密也应由领域间治理原则制定，具体包括安全策略、合规策略、质量传递策略和实体标准策略。
15、作为本专利技术的优化方案，数据产品间传输默认采用加密与签名结合的方式进行校验，具体步骤为：
16、1)订阅方生成加密密钥对，调用订阅接口，传入订阅方公钥；
17、2)被订阅方接收到订阅方公钥，对提供数据进行加密；
18、3)被订阅方生成加密密钥对，使用私钥对提供数据进行数字签名，具体包括使用哈希函数对提供数据生成摘要，对生成的摘要进行加密作为数字签名；
19、4)被订阅方将加密后数据、数字签名、哈希函数名、被订阅方公钥一同通过订阅接口传输给订阅方；
20、5)订阅方接收到数据后对数据和数字签名进行解密，解密后数据利用哈希函数得到摘要对比是否被篡改；
21、6)双方的公钥为自动生成并按时更新，领域有权设置更新频率或临时自主更新，在调用订阅接口时，联合计算策略自动完成上述公钥的传输和数据加密操作。
22、作为本专利技术的优化方案，在步骤s4中，自助数据服务平台包括静态和动态数据加密，数据产品版本控制，数据产品注册、发现，数据产品监控、日志、报警，数据产品指标展示，数据产品身份管理，数据产品评价指标，数据产品访问和使用记录，数据产品订阅和数据产品权限控制。
23、本专利技术具有积极的效果：本专利技术从数据网格的联合治理框架出发，对其他三原则分别进行独立和全局联合角度的剖析，给出完整的治理策略和自动计算实现方案，具有如下优势：
24、(1)明确提出构建联合治理团队，并给出联合治理团队的参与角色和协作模式，是联合计算治理策略能够实行的第一步；
25、(2)针对不同领域数据产品的实际运行，确定领域内和领域间的联合治理方案，并分别对领域内和领域间的治理原则进行构建，明确治理边界；
26、(3)抽取领域内和领域间的治理的通用治理功能，进一步明确自助数据服务平台的目标，协调全局治理接口，将一切必要治理策略进行计算实现；
27、(4)构建了一个健康、稳定的联合治理框架保证数据网格的长期、有序运行，切实解决了阻碍不同部门和领域之间协作和创新的数据孤岛和碎片化挑战；尊重数据所有者和主体的隐私和安全，并确保遵守各种法规和标准；降低了数据传输和存储的成本和风险；
28、(5)提出的联合计算治理实现方法具有可扩展性，治理流程能够跨大型复杂系统实现自动化。...
【技术保护点】
1.一种数据网格的联合计算治理实现方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的一种数据网格的联合计算治理实现方法，其特征在于：在步骤S1中，具体包括：
3.根据权利要求2所述的一种数据网格的联合计算治理实现方法，其特征在于：在步骤S2中，数据契约对数据产品上下游交互的接口级别进行定义，还包含数据产品本身的元数据信息，是定义数据提供者与其消费者之间交换数据的结构、格式、语义、质量和使用条款的文档，具体包括数据产品名称、版本号、唯一身份ID、服务状态、所属领域、产品负责人、描述、标签、数据源、数据模式、SLAs、数据质量和服务说明。
4.根据权利要求3所述的一种数据网格的联合计算治理实现方法，其特征在于：在步骤S2中，领域内治理原则是联合计算治理在数据产品的生产和交互的遵守项，领域内治理原则基本要素包括数据说明，数据字段说明，数据产品质量，数据血缘，数据权限等级，订阅接口，数据所有者，数据地址和SLAs。
5.根据权利要求4所述的一种数据网格的联合计算治理实现方法，其特征在于：在步骤S3中，数据契约中的指标包括数据血缘、数
6.根据权利要求5所述的一种数据网格的联合计算治理实现方法，其特征在于：数据产品间传输默认采用加密与签名结合的方式进行校验，具体步骤为：
7.根据权利要求6所述的一种数据网格的联合计算治理实现方法，其特征在于：在步骤S4中，自助数据服务平台包括静态和动态数据加密，数据产品版本控制，数据产品注册、发现，数据产品监控、日志、报警，数据产品指标展示，数据产品身份管理，数据产品评价指标，数据产品访问和使用记录，数据产品订阅和数据产品权限控制。
...【技术特征摘要】
1.一种数据网格的联合计算治理实现方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的一种数据网格的联合计算治理实现方法，其特征在于：在步骤s1中，具体包括：
3.根据权利要求2所述的一种数据网格的联合计算治理实现方法，其特征在于：在步骤s2中，数据契约对数据产品上下游交互的接口级别进行定义，还包含数据产品本身的元数据信息，是定义数据提供者与其消费者之间交换数据的结构、格式、语义、质量和使用条款的文档，具体包括数据产品名称、版本号、唯一身份id、服务状态、所属领域、产品负责人、描述、标签、数据源、数据模式、slas、数据质量和服务说明。
4.根据权利要求3所述的一种数据网格的联合计算治理实现方法，其特征在于：在步骤s2中，领域内治理原则是联合计算治理在数据产品的生产和交互的遵守项，领域内治理原则基本要素包括数据说明，数据字段说明，数据产品质量...
【专利技术属性】
技术研发人员：于峰，戴弘林，张玉磊，梅雪明，王晟，
申请(专利权)人：江苏量界数据科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。