本申请提供了一种数据查询方法，包括：在数据写入到目标分区的过程中，生成目标元数据；其中，所述目标元数据包括分区属性信息，所述分区属性信息表示所述目标分区支持实时查询和当前写入状态；接收查询请求，并确定所述查询请求的类型；及在所述查询请求为实时查询请求的情形下，从所述目标分区中获取相应的查询结果。在目标分区还未完整写入的情形下，若接收到实时查询请求，则会以所述目标分区当前已有的数据为基础，执行查询操作。当数据持续写入则查询可获取到最新内容。即，本所申请的技术方案可以基于目标分区当前已有的数据做实时查询，适用于不需要完整数据但实时要求高的业务，时效性高。时效性高。时效性高。
【技术实现步骤摘要】
数据查询方法和装置
[0001]本申请涉及数据库领域，尤其涉及一种数据查询方法、装置、计算机设备及计算机可读存储介质。
技术介绍
[0002]随着计算机和大数据技术的发展，针对数据的存储和使用成为了需要关注的技术重点。在很多应用场景下，越实时的数据越有价值。例如，在直播、推荐、审查等场景需要近实时的数据来进行数据分析。然而，传统的数仓/数据湖有以下问题：
[0003]传统数仓都是基于小时/天级分区，数据完整才可查。然，一些用户不需要完整数据，只需要最近的数据做趋势分析。传统数仓/数据湖难于满足这类数据时效性需求。
技术实现思路
[0004]本申请的目的是提供一种数据查询方法、装置、计算机设备及计算机可读存储介质，以解决上述问题。
[0005]本申请实施例的一个方面提供了一种数据查询方法，所述方法包括：
[0006]在数据写入到目标分区的过程中，生成目标元数据；其中，所述目标元数据包括分区属性信息，所述分区属性信息表示所述目标分区支持实时查询和当前写入状态；
[0007]接收查询请求，并确定所述查询请求的类型；及
[0008]在所述查询请求为实时查询请求的情形下，从所述目标分区中获取相应的查询结果。
[0009]可选地，所述方法还包括：
[0010]在所述查询请求为离线查询请求的情形下，根据所述分区属性信息确定当前写入状态；其中，所述当前写入状态包括所述目标分区已经完成写入或没有完成写入；
[0011]在所述当前写入状态为所述没有完成写入的情形下，决绝响应于所述离线查询请求。
[0012]可选地，所述方法还包括：
[0013]在所述当前写入状态为所述已经完成写入的情形下，从所述目标分区中获取相应的查询结果。
[0014]可选地，所述确定所述查询请求的类型，包括：
[0015]在所述查询请求中的查询语句包括目标标识的情况下，确定所述查询请求为所述实时查询请求；
[0016]在所述查询请求中的查询语句不包括目标标识的情况下，确定所述查询请求为离线查询请求。
[0017]可选地，所述在数据写入到目标分区的过程中，生成目标元数据，包括：
[0018]根据所述目标分区的数据处理进度，确定所述当前写入状态；
[0019]根据所述当前写入状态、所述目标分区的分区路径和分区名称，生成所述目标元
数据。
[0020]本申请实施例的又一个方面提供了一种数据查询装置，所述装置包括：
[0021]生成模块，用于在数据写入到目标分区的过程中，生成目标元数据；其中，所述目标元数据包括分区属性信息，所述分区属性信息表示所述目标分区支持实时查询和当前写入状态；
[0022]确定模块，用于接收查询请求，并确定所述查询请求的类型；及
[0023]获取模块，用于在所述查询请求为实时查询请求的情形下，从所述目标分区中获取相应的查询结果。
[0024]本申请实施例的又一个方面提供了一种数据查询方法，所述方法包括：
[0025]在数据写入到HUDI表的过程中，提供目标watermark，所述目标watermark表示处理进度；
[0026]提供Instant信息，其中，所述Instant信息用于记录所述数据在写入过程中的操作信息；
[0027]根据所述目标watermark和所述Instant信息，生成目标Instant信息；及
[0028]将所述Instant信息提交给数据库中，并设置为预设时间轴上的节点以供查询。
[0029]可选地，所述在数据写入到HUDI表的过程中，提供目标watermark，包括：
[0030]通过多个数据写入组件，将所述数据写入到所述HUDI表中；
[0031]通过所述多个流式数据写入组件提供多个watermark；其中，所述多个流式数据写入组件中的任一个流式数据写入组件的快照状态被触发时，则提供一个watermark；及
[0032]确定所述目标watermark，其中，所述目标watermark为所述多个watermark的最小值。
[0033]可选地，所述根据所述目标watermark和所述Instant信息，生成目标Instant信息，还包括：
[0034]根据所述目标watermark、所述Instant信息以及检查点信息，生成所述目标Instant信息。
[0035]可选地，所述方法还包括：
[0036]响应于进度查询请求，从所述时间抽上查询所述目标Instant信息；
[0037]从所述目标Instant信息中提取所述目标watermark，并基于所述目标watermark返回响应信息。
[0038]本申请实施例的又一个方面提供了一种数据查询装置，所述装置包括：
[0039]第一提供模块，在数据写入到HUDI表的过程中，提供目标watermark，所述目标watermark表示处理进度；
[0040]第二提供模块，提供Instant信息，其中，所述Instant信息用于记录所述数据在写入过程中的操作信息；
[0041]生成模块，根据所述目标watermark和所述Instant信息，生成目标Instant信息；及
[0042]提交模块，将所述Instant信息提交给数据库中，并设置为预设时间轴上的节点以供查询。
[0043]本申请实施例的又一个方面提供了一种计算机设备，所述计算机设备包括存储
器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时用于实现如上所述数据查询方法的步骤。
[0044]本申请实施例的又一个方面提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如上所述的数据查询方法的步骤。
[0045]本申请实施例提供的数据查询方法、装置、计算机设备及计算机可读存储介质，包括以下技术优势：
[0046]在目标分区还未完整写入的情形下，若接收到实时查询请求，则会以所述目标分区当前已有的数据为基础，执行查询操作。当数据持续写入则查询可获取到最新内容。可知，本所申请的技术方案，可以基于目标分区当前已有的数据做实时查询，适用于不需要完整数据但实时要求高的业务(如趋势分析)，时效性高。
附图说明
[0047]图1示意性示出了根据本申请实施例的环境示意图；
[0048]图2示意性示出了根据本申请实施例一的数据查询方法的流程图；
[0049]图3示意性示出了图2中步骤S200的子流程图；
[0050]图4示意性示出了根据本申请实施例一的数据查询方法的新增步骤；
[0051]图5示意性示出了根据本申请实施例二的数据查询方法的流程图；
[0052]图6示意性示出了根据本申请实施例二的数据查询方法在示例性应用中的操作流程本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据查询方法，其特征在于，所述方法包括：在数据写入到目标分区的过程中，生成目标元数据；其中，所述目标元数据包括分区属性信息，所述分区属性信息表示所述目标分区支持实时查询和当前写入状态；接收查询请求，并确定所述查询请求的类型；及在所述查询请求为实时查询请求的情形下，从所述目标分区中获取相应的查询结果。2.根据权利要求1所述的方法，其特征在于，还包括：在所述查询请求为离线查询请求的情形下，根据所述分区属性信息确定当前写入状态；其中，所述当前写入状态包括所述目标分区已经完成写入或没有完成写入；在所述当前写入状态为所述没有完成写入的情形下，决绝响应于所述离线查询请求。3.根据权利要求2所述的方法，其特征在于，还包括：在所述当前写入状态为所述已经完成写入的情形下，从所述目标分区中获取相应的查询结果。4.根据权利要求1所述的方法，其特征在于，所述确定所述查询请求的类型，包括：在所述查询请求中的查询语句包括目标标识的情况下，确定所述查询请求为所述实时查询请求；在所述查询请求中的查询语句不包括目标标识的情况下，确定所述查询请求为离线查询请求。5.根据权利要求1至4任意一项所述的方法，其特征在于，所述在数据写入到目标分区的过程中，生成目标元数据，包括：根据所述目标分区的数据处理进度，确定所述当前写入状态；根据所述当前写入状态、所述目标分区的分区路径和分区名称，生成所述目标元数据。6.一种数据查询装置，其特征在于，所述装置包括：生成模块，用于在数据写入到目标分区的过程中，生成目标元数据；其中，所述目标元数据包括分区属性信息，所述分区属性信息表示所述目标分区支持实时查询和当前写入状态；确定模块，用于接收查询请求，并确定所述查询请求的类型；及获取模块，用于在所述查询请求为实时查询请求的情形下，从所述目标分区中获取相应的查询结果。7.一种数据查询方法，其特征在于，所述方法包括：在数据写入到HUDI表的过程中，提供目标watermark，所述目标watermark表示处理进度；提供Instant信息，其中，所述Instant信息用于记录所述数据在写入过程中的操作信息；根据所述目标watermark和所述Instant信息，生成目标Instant信息；及将所述Ins...
【专利技术属性】
技术研发人员：周晖栋，蒋晓峰，洪朝阳，郑志升，
申请(专利权)人：上海哔哩哔哩科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。