【技术实现步骤摘要】
自动建模方法及装置、电子设备及可读存储介质
本专利技术涉及数据库
,具体而言,涉及一种自动建模方法及装置、电子设备及可读存储介质。
技术介绍
在互联网时代,数据仓库面临的现实情况是:数据存储量和数据计算量都井喷式的爆发,给数据仓库中数据的采集、存储和计算都带来了极大的挑战,加大了数据模型、数据研发、数据质量和运维保障工作的难度。为了建设高效的数据模型和体系,使数据易用,同时需要避免重复建设和数据不一致性,保证数据的规范性。相关技术中提出并实施了一系列数据仓库管理的规范及系统:包括全局数据仓库规划、数据规范定义、数据建模研发、数据连接萃取、数据运维监控、数据资产管理工具等。这些极大程度缓解了上述的大多数问题。通常而言,数据仓库中80%的查询需求都是相对固定的,例如每天的PV(PageView,页面浏览量)、UV(Uniquevisitor,独立访客)、订单数、成交金额是多少,这些查询需求的需求指标固定,只是在查询的维度上有所不同,那么可以将业务方常用的维度进行分析和再组合,开发固定的查询模型和报表,放到报 ...
【技术保护点】
1.一种自动建模方法,其特征在于,包括:/n每隔第一预设周期获取目标数据库中的各个子查询分别对应的动态数据记录;/n在所述动态数据记录满足预设条件的情况下,确定对应的子查询为目标子查询;/n根据所述目标子查询构建逻辑模型;/n根据所述逻辑模型建立对应的物理模型,并在所述目标数据库中利用所述物理模型替换所述目标子查询。/n
【技术特征摘要】
1.一种自动建模方法,其特征在于,包括:
每隔第一预设周期获取目标数据库中的各个子查询分别对应的动态数据记录;
在所述动态数据记录满足预设条件的情况下,确定对应的子查询为目标子查询;
根据所述目标子查询构建逻辑模型;
根据所述逻辑模型建立对应的物理模型,并在所述目标数据库中利用所述物理模型替换所述目标子查询。
2.根据权利要求1所述的方法,其特征在于,在每隔第一预设周期获取目标数据库中的各个子查询分别对应的动态数据记录之前,还包括:
接收客户端发送的数据查询请求;
在所述目标数据库中对所述数据查询请求进行查询,以向所述客户端返回所述数据查询请求对应的查询结果;
获取所述数据查询请求对应的至少一个子查询;
获取所述至少一个子查询对应的至少一组动态数据;
将所述至少一组动态数据分别存储至对应的动态数据历史记录,其中,所述动态数据包括所述子查询的计算资源消耗。
3.根据权利要求2所述的方法,其特征在于,在所述目标数据库中对所述数据查询请求进行查询,以向所述客户端返回所述数据查询请求对应的查询结果,包括:
根据所述数据查询请求确定多个数据表、以及多个数据表之间的关联关系;
根据所述关联关系确定与所述数据查询请求对应的聚合维度、计算指标。
4.根据权利要求3所述的方法,其特征在于,获取所述数据查询请求对应的所述多个子查询,包括:
根据所述多个数据表对所述数据查询请求进行分解,以得到多个查询单元;
根据所述关联关系对所述多个查询单元进行组合,得到所述多个子查询,其中,所述子查询包括对应的查询单元、对应的关联关系、所述聚合维度的聚合维度子集以及对应的计算指标。
5.根据权利要求2所述的方法,其特征在于,所述动态数据历史记录包括所述子查询对应的频次、平均查询时间以及平均计算...
【专利技术属性】
技术研发人员:吴占春,魏永刚,王威超,
申请(专利权)人:北京三快在线科技有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。