一种基于数据网格的数据产品查询聚合方法技术

技术编号:41833090 阅读:24 留言:0更新日期:2024-06-27 18:17
本发明专利技术公开了一种基于数据网格的数据产品查询聚合方法,其特征在于,包括以下步骤:步骤1:数据产品树结构创建,包括元数据设计与树结构管理;步骤2:分解查询,基于树结构与元数据将数据产品查询分解为结构化查询与非机构化查询,并进行查询的并行执行;步骤3:查询聚合,多方查询以及对应子查询的结果进行汇聚,并按照匹配相似度从高到底排列返回。本发明专利技术针对数据产品的元数据进行精细设计,提出元数据的结构化属性与非结构化属性,并将数据产品的血缘关联关系构建为树结构进行管理;对数据网格的元数据设计以及数据产品关联管理提出了新颖的创新方案,尤其针对数据产品的查询极大缩小了查询范围,提升了查询效率,直观且具有扩展性。

【技术实现步骤摘要】

本专利技术涉及大数据,尤其是一种基于数据网格的数据产品查询聚合方法


技术介绍

1、数据网格是一种分布式计算和数据管理的架构,基于数据的领域所有权和数据作为产品原则使得数据网格具有无限拓展的动态拓扑关系。在数据网格中,每个领域管理自身的业务数据并构建具有领域洞察的数据产品,数据产品是数据网格中的最小架构量子,封装了对应的分析数据以及运行数据产品需要的基础设施。

2、随着数据网格规模的不断扩大,分布在不同领域的数据产品的查询将会面临性能困境。针对数据网格的数据产品查询具有如下问题:(1)数据产品的查询基于数据产品的管理,需要一种直观的数据产品关联管理方法;(2)针对数据网格中产品的查询缺少一种基于具体拓扑关系的高效实现。

3、因此,有必要提供一种基于数据网格的数据产品查询聚合方法来解决上述技术问题。


技术实现思路

1、本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例,在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专本文档来自技高网...

【技术保护点】

1.一种基于数据网格的数据产品查询聚合方法,其特征在于,包括以下步骤:

2.根据权利要求1所述基于数据网格的数据产品查询聚合方法,其特征在于,所述步骤1数据产品树结构创建对元数据的设计提出新的优化方案,并进行数据产品的树结构构建作为元数据的一个属性,包括步骤1-1元数据设计与步骤1-2树结构管理。

3.根据权利要求2所述基于数据网格的数据产品查询聚合方法,其特征在于,所述步骤1-1元数据设计将数据产品元数据分为两个层面:结构化层面与非结构化层面,所述结构层面包括的元数据即为可以量化、可直接筛选查询的信息,该层面包含的信息有:

4.根据权利要求3所述基于...

【技术特征摘要】

1.一种基于数据网格的数据产品查询聚合方法,其特征在于,包括以下步骤:

2.根据权利要求1所述基于数据网格的数据产品查询聚合方法,其特征在于,所述步骤1数据产品树结构创建对元数据的设计提出新的优化方案,并进行数据产品的树结构构建作为元数据的一个属性,包括步骤1-1元数据设计与步骤1-2树结构管理。

3.根据权利要求2所述基于数据网格的数据产品查询聚合方法,其特征在于,所述步骤1-1元数据设计将数据产品元数据分为两个层面:结构化层面与非结构化层面,所述结构层面包括的元数据即为可以量化、可直接筛选查询的信息,该层面包含的信息有:

4.根据权利要求3所述基于数据网格的数据产品查询聚合方法,其特...

【专利技术属性】
技术研发人员:于峰丁皓徐航张秦啸威
申请(专利权)人:江苏量界数据科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1