本发明专利技术实施例涉及一种数据查询方法、装置、电子设备及存储介质，所述方法包括：获取查询请求，解析所述查询请求中的查询元数据，将所述查询元数据与元数据集进行匹配；根据所述查询元数据与所述元数据集的匹配结果，确定目标查询计划；执行所述目标查询计划，以查询与所述查询请求对应的数据。由此，可以实现大大降低了数据湖数据获取的延迟，进一步提高数据湖分析的性能，实现实时数据湖分析。实现实时数据湖分析。实现实时数据湖分析。
【技术实现步骤摘要】
数据查询方法、装置、电子设备及存储介质
[0001]本专利技术实施例涉及计算机
，尤其涉及一种数据查询方法、装置、电子设备及存储介质。
技术介绍
[0002]随着数字化浪潮的兴起，越来越多企业或者组织需要构建数据湖用于海量数据的存储，然而如何在数据湖上实现高效的数据分析则成为一个困扰工业界的难题。
[0003]由于数据湖通常采用廉价的对象存储或者分布式文件系统构建，并且数据湖分析属于典型的存储计算分离，所以数据湖IO(Input/Output，输入/输出)的延迟一般都比较高，尤其是在数据获取阶段延迟很高，因此无法实现实时数据湖分析。
技术实现思路
[0004]鉴于此，为解决现有技术中的数据湖IO的延迟一般都比较高，尤其是在数据获取阶段延迟很高，因此无法实现实时数据湖分析的技术问题，本专利技术实施例提供一种数据查询方法、装置、电子设备及存储介质。
[0005]第一方面，本专利技术实施例提供一种数据查询方法，所述方法包括：
[0006]获取查询请求，解析所述查询请求中的查询元数据，将所述查询元数据与元数据集进行匹配；
[0007]根据所述查询元数据与所述元数据集的匹配结果，确定目标查询计划；
[0008]执行所述目标查询计划，以查询与所述查询请求对应的数据。
[0009]在一个可能的实施方式中，所述根据所述查询元数据与所述元数据集的匹配结果，确定目标查询计划，包括：
[0010]如果所述匹配结果为全部所述查询元数据与所述元数据集中的第一元数据匹配，则查找所述第一元数据对应的物化视图；
[0011]确定所述目标查询计划为从所述物化视图中查询与所述查询请求对应的数据；
[0012]所述执行所述目标查询计划，以查询与所述查询请求对应的数据，包括：
[0013]从所述物化视图中查询与所述查询请求对应的数据。
[0014]在一个可能的实施方式中，所述根据所述查询元数据与所述元数据集的匹配结果，确定目标查询计划，包括：
[0015]如果所述匹配结果为所述查询元数据中的部分查询元数据与所述元数据集中的第二元数据匹配，则查找所述第二元数据对应的物化视图；
[0016]对所述查询请求进行处理，得到第一查询请求以及第二查询请求；
[0017]确定所述目标查询计划为从所述物化视图中查询与所述第一查询请求对应的第一数据，以及从缓存中查询与第二查询请求对应的第二数据；
[0018]所述执行所述目标查询计划，以查询与所述查询请求对应的数据，包括：
[0019]从所述物化视图中查询与所述第一查询请求对应的第一数据；
[0020]将所述第二查询请求转变为析取范式，从所述缓存中查找与所述析取范式对应的目标缓存块；
[0021]从所述目标缓存块中查询与所述第二查询请求对应的第二数据；
[0022]确定所述第一数据和所述第二数据的并集为与所述查询请求对应的数据。
[0023]在一个可能的实施方式中，所述根据所述查询元数据与所述元数据集的匹配结果，确定目标查询计划，包括：
[0024]如果所述匹配结果为全部所述查询元数据与所述元数据集中的任一元数据均不匹配，则确定所述目标查询计划为从缓存中查询与查询请求对应的数据；
[0025]所述执行所述目标查询计划，以查询与所述查询请求对应的数据，包括：
[0026]将所述查询请求转变为析取范式，从缓存中查找与所述析取范式对应的目标缓存块；
[0027]从所述目标缓存块中查询与所述查询请求对应的数据。
[0028]在一个可能的实施方式中，在所述物化视图的数量为多个的情况下，所述确定所述目标查询计划为从所述物化视图中查询与所述查询请求对应的数据，包括：
[0029]根据各物化视图的统计信息，计算各物化视图的查询变换代价；
[0030]根据所述查询变换代价，从各物化视图中确定目标物化视图；
[0031]确定所述目标查询计划为从所述目标物化视图中查询与所述查询请求对应的数据；
[0032]所述从所述物化视图中查询与所述查询请求对应的数据，包括：
[0033]从所述目标物化视图中查询与所述查询请求对应的数据。
[0034]在一个可能的实施方式中，在所述物化视图的数量为多个的情况下，所述确定所述目标查询计划为从所述物化视图中查询与所述第一查询请求对应的第一数据，包括：
[0035]根据各物化视图的统计信息，计算各物化视图的查询变换代价；
[0036]根据所述查询变换代价，从各物化视图中确定目标物化视图；
[0037]所述确定所述目标查询计划为从所述目标物化视图中查询与所述第一查询请求对应的第一数据；
[0038]所述从所述物化视图中查询与所述第一查询请求对应的第一数据，包括：
[0039]从所述目标物化视图中查询与所述第一查询请求对应的第一数据。
[0040]在一个可能的实施方式中，所述统计信息至少包括下述之一：每个列的最大值、最小值，行平均值和行数，列值的直方图；
[0041]所述根据各物化视图的统计信息，计算各物化视图的查询变换代价，包括：
[0042]获取所述统计信息的加权和；
[0043]确定所述加权和为各物化视图的查询变换代价。
[0044]在一个可能的实施方式中，所述方法还包括：
[0045]接收物化视图生成请求，所述物化视图生成请求携带原始数据标识；
[0046]从所述物化视图生成请求中解析出所述原始数据标识，获取所述原始数据标识对应的原始数据；
[0047]根据所述原始数据，构建物化视图，并将物化视图对应的原始数据标识作为元数据存储在所述元数据集中；
[0048]获取所述物化视图对应的原始数据增量；
[0049]根据所述增量对所述物化视图进行更新。
[0050]在一个可能的实施方式中，所述方法还包括：
[0051]获取各个缓存块的历史访问次数以及各个缓存块中存储数据的获取代价；
[0052]根据历史访问次数以及存储数据的获取代价，确定被淘汰的缓存块，并从各个缓存块淘汰所述被淘汰的缓存块。
[0053]第二方面，本专利技术实施例提供一种数据查询装置，所述装置包括：
[0054]匹配模块，用于获取查询请求，解析所述查询请求中的查询元数据，将所述查询元数据与元数据集进行匹配；
[0055]确定模块，用于根据所述查询元数据与元数据集的匹配结果，确定目标查询计划；
[0056]执行模块，用于执行所述目标查询计划，以查询与所述查询请求对应的数据。
[0057]在一个可能的实施方式中，所述确定模块，包括：
[0058]第一查找单元，用于如果所述匹配结果为全部所述查询元数据与所述元数据集中的第一元数据匹配，则查找所述第一元数据对应的物化视图；
[0059]第一确定单元，用于确定所述目标查询计划为从所述物化视图中查询与所本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据查询方法，其特征在于，所述方法包括：获取查询请求，解析所述查询请求中的查询元数据，将所述查询元数据与元数据集进行匹配；根据所述查询元数据与所述元数据集的匹配结果，确定目标查询计划；执行所述目标查询计划，以查询与所述查询请求对应的数据。2.根据权利要求1所述的方法，其特征在于，所述根据所述查询元数据与所述元数据集的匹配结果，确定目标查询计划，包括：如果所述匹配结果为全部所述查询元数据与所述元数据集中的第一元数据匹配，则查找所述第一元数据对应的物化视图；确定所述目标查询计划为从所述物化视图中查询与所述查询请求对应的数据；所述执行所述目标查询计划，以查询与所述查询请求对应的数据，包括：从所述物化视图中查询与所述查询请求对应的数据。3.根据权利要求1所述的方法，其特征在于，所述根据所述查询元数据与所述元数据集的匹配结果，确定目标查询计划，包括：如果所述匹配结果为所述查询元数据中的部分查询元数据与所述元数据集中的第二元数据匹配，则查找所述第二元数据对应的物化视图；对所述查询请求进行处理，得到第一查询请求以及第二查询请求；确定所述目标查询计划为从所述物化视图中查询与所述第一查询请求对应的第一数据，以及从缓存中查询与所述第二查询请求对应的第二数据；所述执行所述目标查询计划，以查询与所述查询请求对应的数据，包括：从所述物化视图中查询与所述第一查询请求对应的第一数据；将所述第二查询请求转变为析取范式，从所述缓存中查找与所述析取范式对应的目标缓存块；从所述目标缓存块中查询与所述第二查询请求对应的第二数据；确定所述第一数据和所述第二数据的并集为与所述查询请求对应的数据。4.根据权利要求1所述的方法，其特征在于，所述根据所述查询元数据与所述元数据集的匹配结果，确定目标查询计划，包括：如果所述匹配结果为全部所述查询元数据与所述元数据集中的任一元数据均不匹配，则确定所述目标查询计划为从缓存中查询与查询请求对应的数据；所述执行所述目标查询计划，以查询与所述查询请求对应的数据，包括：将所述查询请求转变为析取范式，从缓存中查找与所述析取范式对应的目标缓存块；从所述目标缓存块中查询与所述查询请求对应的数据。5.根据权利要求2所述的方法，其特征在于，在所述物化视图的数量为多个的情况下，所述确定所述目标查询计划为从所述物化视图中查询与所述查询请求对应的数据，包括：根据各物化视图的统计信息，计算各物化视图的查询变换代价；根据所述查询变换代价，从各物化视图中确定目标物化视图；确定所述目标查询计划为从所述目标物化视图...
【专利技术属性】
技术研发人员：郑志铨，
申请(专利权)人：北京镜舟科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。