数据查询方法、装置、系统、设备及存储介质制造方法及图纸

本说明书实施例提供了一种数据查询方法、装置、系统、设备及存储介质。针对用户要从OSS上查询的数据为待查询文件中存储地址不连续的多段数据的场景，可以利用数据推送功能，将客户端的多个查询请求变更为“一个查询请求+多个推送请求”。客户端在发送查询请求时，可以同时携带这多段数据的标识信息，该多段数据中的其中一段数据作为当前查询请求的待请求数据，其余的各段数据作为推送数据。对象存储服务器在接收到查询请求后，可以获取待请求数据，作为该查询请求的响应结果返回给客户端，然后依次获取其余的各段数据，作为推送数据推送给客户端。从而可以通过一个查询请求，获取到所有的待查询数据，减小QPS，提高访问效率。提高访问效率。提高访问效率。

【技术实现步骤摘要】
数据查询方法、装置、系统、设备及存储介质


[0001]本说明书实施例涉及数据存储
，尤其涉及一种数据查询方法、装置、系统、设备及存储介质。

技术介绍

[0002]通常文件都是按照一定的格式存储的，在查询OSS(Object Storage Service：对象存储服务)上的文件时，存在一些场景，符合用户输入的查询条件的数据是多段存储地址不连续的数据。这种场景下，需要分多次从OSS设备(对象存储设备)上读取这多段数据，导致访问OSS文件的效率较低。比如，以parquet格式的文件为例，由于这类文件中连续列的数据往往存储地址也连续，不连续列的数据存储地址也不连续。在OSS上访问这类文件时，其访问数据的大体流程是：客户端会基于用户输入的查询条件确定待查询的列有哪些，然后将连续的列形成一个查询请求，并发送给对象存储服务端，以使对象存储服务端获取待查询数据。如果待查询数据是多个不连续的列，则需要多次访问文件。比如，如果一个文件有(1
‑
100)100个列，用户需查询1，3，5等奇数列，就需要发送50个查询请求，访问50次文件。...

【技术保护点】

【技术特征摘要】
1.一种数据查询方法，适用于客户端，所述客户端与对象存储服务端可基于具有数据推送功能的通信协议进行通信，所述方法包括：基于查询条件从待查询文件中确定待查询数据，并将所述待查询数据划分成数据段，其中，同一数据段中的数据的存储地址连续；生成查询请求，其中，在划分得到的数据段为至少两个数据段的情况下，所述查询请求中携带有所述至少两个数据段的标识信息，以及所述待查询文件所属对象的对象标识，其中，所述至少两个数据段中包括待请求数据段；向所述对象存储服务端发送所述查询请求，以使所述对象存储服务端基于所述标识信息以及所述对象标识获取所述至少两个数据段中的数据，将所述待请求数据段的数据，作为所述查询请求的响应结果返回给所述客户端；将所述至少两个数据段中的除所述待请求数据段的各其他数据段中的数据，作为推送数据依次推送给所述客户端。2.根据权利要求1所述的方法，所述通信协议为HTTP2.0协议。3.根据权利要求1所述的方法，所述待请求数据段基于所述至少两个数据段的标识信息在所述查询请求的排列顺序确定；或所述查询请求中还携带有用于指示所述待请求数据段的指示信息，所述待请求数据段基于所述指示信息确定。4.根据权利要求1所述的方法，所述待查询文件为按照列式格式存储的文件。5.根据权利要求4所述的方法，所述待查询文件为Parquet格式的文件，所述至少两个数据段中的每个数据段包括所述待查询文件中的一个或多个列块。6.一种数据查询方法，适用于对象存储服务端，所述对象存储服务端与客户端可基于具有数据推送功能的通信协议进行通信，所述方法包括：接收客户端发送的查询请求，所述查询请求中携带有至少两个数据段的标识信息，以及待查询文件所属对象的对象标识；其中，所述至少两个数据段通过对所述待查询文件中的待查询数据进行划分得到，同一数据段中的数据的存储地址连续，所述至少两个数据段中包括待请求数据段；针对所述待请求数据段，基于所述标识信息以及所述对象标识获取所述待请求数据段中的数据，作为所述查询请求的响应结果返回给所述客户端；针对所述至少两个数据段...

【专利技术属性】
技术研发人员：周翱，梁明旭，何振华，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：