一种数据物化方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:46041943 阅读:9 留言:0更新日期:2025-08-11 15:33
本公开提供了一种数据物化方法、装置、计算机设备和存储介质,其中,该方法包括:根据流式数据源的数据主题和数据元信息,创建贴源虚拟表,并为贴源虚拟表创建业务虚拟表;贴源虚拟表用于索引流式数据源中的流数据;业务虚拟表包括针对贴源虚拟表中的数据元信息的数据清洗规则;根据数据清洗规则以及贴源虚拟表中的索引关系,对流式数据源中符合数据清洗规则的流数据进行实时清洗,得到目标数据表;获取与目标数据表相关的物化指标信息和物化时间粒度;物化指标信息至少包括指标度量、指标维度和指标增量列;按照物化指标信息和物化时间粒度,对目标数据表中的明细数据进行增量物化处理,得到物化数据表。

【技术实现步骤摘要】

本公开涉及信息,具体而言,涉及一种数据物化方法、装置、计算机设备和存储介质


技术介绍

1、在实时数据处理场景下,为了更好的满足用户的查询需求,通常采用提前对实时数据进行物化处理的方式。传统的物化处理方式要么采用全量物化机制(即在接收到用户的物化请求时,对当前所有的实时数据进行物化处理),要么采用往往分布式数据流引擎flink+外接系统的架构。

2、但是,全量物化的方式会导致出现存储冗余和计算资源过载的问题,而flink+外接系统的架构存在架构复杂度高、运维难度高且用户使用难度高的问题。因此,当前的各种物化方式的弊端十分明显,亟需优化。


技术实现思路

1、本公开实施例至少提供一种数据物化方法、装置、计算机设备和存储介质,以避免存储冗余和计算资源过载的问题,降低数据物化的难度和复杂性,提高数据查询效率。

2、第一方面,本公开实施例提供了一种数据物化方法,包括:

3、根据流式数据源的数据主题和数据元信息,创建贴源虚拟表,并为所述贴源虚拟表创建业务虚拟表;所述贴源虚拟表用于索引所本文档来自技高网...

【技术保护点】

1.一种数据物化方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在得到所述物化数据表之后,还包括:

3.根据权利要求2所述的方法,其特征在于,根据所述查询指标信息和查询时间范围,从所述物化窗口数据和所述目标数据表,确定与所述数据查询请求相匹配的查询结果,包括:

4.根据权利要求1所述的方法,其特征在于,所述根据流式数据源的数据主题和数据元信息,创建与所述数据主题相匹配的贴源虚拟表,并为所述贴源虚拟表创建业务虚拟表,包括:

5.根据权利要求1所述的方法,其特征在于,所述根据所述数据清洗规则以及所述贴源虚拟表中的索引关系,对...

【技术特征摘要】

1.一种数据物化方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在得到所述物化数据表之后,还包括:

3.根据权利要求2所述的方法,其特征在于,根据所述查询指标信息和查询时间范围,从所述物化窗口数据和所述目标数据表,确定与所述数据查询请求相匹配的查询结果,包括:

4.根据权利要求1所述的方法,其特征在于,所述根据流式数据源的数据主题和数据元信息,创建与所述数据主题相匹配的贴源虚拟表,并为所述贴源虚拟表创建业务虚拟表,包括:

5.根据权利要求1所述的方法,其特征在于,所述根据所述数据清洗规则以及所述贴源虚拟表中的索引关系,对所述流式数据源中符合所述数据清洗规则的流数据进行实时清洗,得到目标数据表,包括:

6.根据权利要求1所述的方法,其特征在...

【专利技术属性】
技术研发人员:何昌华胡瑜杨凯罗庭张玉松
申请(专利权)人:北京数巅科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1