一种数据查询方法、装置和存储介质制造方法及图纸

本申请涉及一种数据查询方法、装置和存储介质，该方法包括：获取逻辑宽表的第一查询SQL；所述第一查询SQL用于对所述逻辑宽表进行数据查询；所述逻辑宽表根据多个具有相同维度属性的物理表映射生成；根据所述第一查询SQL和所述逻辑宽表的元数据，生成所述物理表的查询SQL集合；所述查询SQL集合用于对所述第一查询SQL关联的多个物理表进行数据查询；所述元数据根据所述逻辑宽表和所述物理表的映射关系生成；执行所述查询SQL集合，进行数据查询。通过本申请，解决了现有技术中采用物理宽表进行数据查询，导致数据查询的性能差的问题。导致数据查询的性能差的问题。导致数据查询的性能差的问题。

【技术实现步骤摘要】
一种数据查询方法、装置和存储介质


[0001]本申请涉及计算机
，特别是涉及一种数据查询方法、装置和存储介质。

技术介绍

[0002]在对线上提供数据分析的服务时，为了保证查询的便捷性和高性能，在数据集市层会对于分析主题的内容将多个业务域的数据合并到一张物理表中形成物理宽表。完成物理宽表的建设后需要将物理宽表同步到OLAP(联机分析处理，Online Analytical Processing)引擎中，加速查询提供在线服务。
[0003]然而，物理宽表的构建性能较差，物理宽表需要将多个业务域的数据进行融合，再同步到OLAP层，过程中存在木桶效应，物理宽表合并任务的开始依赖于上游最晚产出的表。物理宽表的灵活性差，物理宽表对于表scheme的表更需要进行数据重刷，开发维护难度大。物理宽表的稳定性较差，因为物理宽表需要融合各个业务域的数据，过程中有一个业务域的数据出现问题，整个物理宽表就需要重新构建，OLAP层也同样需要重建，数据恢复时间长，问题影响面广。
[0004]针对现有技术中采用物理宽表进行数据查询，导致数据查询的性能差本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据查询方法，其特征在于，所述方法包括：获取逻辑宽表的第一查询SQL；所述第一查询SQL用于对所述逻辑宽表进行数据查询；所述逻辑宽表根据多个具有相同维度属性的物理表映射生成；根据所述第一查询SQL和所述逻辑宽表的元数据，生成所述物理表的查询SQL集合；所述查询SQL集合用于对所述第一查询SQL关联的多个物理表进行数据查询；所述元数据根据所述逻辑宽表和所述物理表的映射关系生成；执行所述查询SQL集合，进行数据查询。2.根据权利要求1所述的数据查询方法，其特征在于，所述第一查询SQL为分页查询，所述根据所述第一查询SQL和所述逻辑宽表的元数据，生成所述物理表的查询SQL集合，包括：根据所述第一查询SQL和所述元数据，确定所述第一查询SQL的排序字段关联的第一物理表；根据所述第一查询SQL和所述元数据，生成所述第一物理表对应的第二查询SQL；所述第二查询SQL用于对所述第一物理表进行数据查询；执行所述第二查询SQL，得到第一查询结果；根据所述第一查询结果和所述元数据，生成所述查询SQL集合。3.根据权利要求2所述的数据查询方法，其特征在于，所述根据所述第一查询结果和所述元数据，生成所述查询SQL集合，包括：根据所述第一查询SQL，确定与所述第一查询SQL关联的待进行数据查询的第二物理表；根据所述第一查询结果、所述第一查询SQL和所述元数据，生成所述第二物理表对应的第三查询SQL；所述第三查询SQL用于对所述第二物理表进行数据查询；根据所述第三查询SQL，生成所述查询SQL集合。4.根据权利要求3所述的数据查询方法，其特征在于，所述根据所述第一查询结果、所述第一查询SQL和所述元数据，生成所述第二物理表对应的第三查询SQL，包括：删除所述第一查询SQL的排序字段，在所述第一查询SQL的条件字段添加所述第一查询结果，生成所述第二物理表对应的第三查询SQL。5.根据权利要求3所述的数据查询方法，其特征在于，所述执行所述第二查询SQL，得到第一查询结果，包括：判断执行所述第二查询SQL的第二查询结果的数量是否小于分页查询的结果的数量；若是，根据维度...

【专利技术属性】
技术研发人员：谢家龙，陈峰，李光庭，
申请(专利权)人：杭州有赞科技有限公司，
类型：发明
国别省市：