一种数据处理方法及装置制造方法及图纸

技术编号:42779891 阅读:23 留言:0更新日期:2024-09-21 00:40
本申请提供一种数据处理方法及装置,涉及大数据技术领域,用于提高查询数据的效率。该方法包括:接收查询请求,并根据元数据信息,确定与查询请求对应的至少一个索引,根据这至少一个索引,从数据库查询数据,而无需遍历数据库中的所有数据,减小了查询数据过程中的遍历范围,提高了查询数据的效率。

【技术实现步骤摘要】

本申请实施例涉及大数据,尤其涉及一种数据处理方法及装置


技术介绍

1、为满足用户日益剧增的数据存储需求,逐渐出现了云存储服务。在云存储服务下,用户可通过终端设备将数据写入服务商搭建的存储系统。其中,存储系统可以采用数据库的形式存储数据。在用户需使用数据时,可通过终端设备向存储系统发送查询请求。存储系统接收查询请求之后,从数据库中读取用户所需数据。

2、目前,存储系统需根据查询请求,遍历数据库中的数据,从而获得符合查询请求的数据。遍历数据库所耗费的时间较长,导致数据查询效率低。


技术实现思路

1、本申请实施例提供一种数据处理方法及装置,用于提高查询数据的效率。

2、第一方面,本申请实施例提供一种数据处理方法,该方法可由数据处理装置执行。该数据处理装置可以是通过一个或多个计算设备实现,或者该数据处理装置可以是计算设备中的软件或硬件模块实现,本申请实施例对数据处理装置的实现形式不做限定。所述方法包括:数据处理装置接收查询请求,所述查询请求指示待查询的数据所属的至少一个字段;根据元数据信息,本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,应用于数据处理装置,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述数据库包括第一表格和第二表格,所述第一表格和所述第二表格用于存储所述多个索引,以及所述多个索引中的每个索引关联的所述多个字段对应的至少一组数据,所述第一表格的数据量小于所述第二表格的数据量;从数据库中,查询与所述至少一个索引关联的N组数据,包括:

3.根据权利要求2所述的方法,其特征在于,所述数据处理装置包括第一线程和第二线程,所述第一线程用于从所述第一表格中查询与所述至少一个索引中的每个索引关联的一组数据;从所述第二表格中,查询与所述K组数据中的每...

【技术特征摘要】

1.一种数据处理方法,其特征在于,应用于数据处理装置,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述数据库包括第一表格和第二表格,所述第一表格和所述第二表格用于存储所述多个索引,以及所述多个索引中的每个索引关联的所述多个字段对应的至少一组数据,所述第一表格的数据量小于所述第二表格的数据量;从数据库中,查询与所述至少一个索引关联的n组数据,包括:

3.根据权利要求2所述的方法,其特征在于,所述数据处理装置包括第一线程和第二线程,所述第一线程用于从所述第一表格中查询与所述至少一个索引中的每个索引关联的一组数据;从所述第二表格中,查询与所述k组数据中的每组数据相同的一组数据,包括:

4.根据权利要求1-3任一项所述的方法,其特征在于,在根据元数据信息,确定与所述查询请求对应的至少一个索引之前,所述方法还包括:

5.根据权利要求1-4任一项所述的方法,其特征在于,所述查询请求包括多级查询请求,所述多级查询请求中的每级查询请求指示所述至少一个字段中的部分字段;所述元数据信息指示多级索引中的每级索引与所述多个字段中的部分字段对应的数据之间的关系,所述多级查询请求中的每级查询请求与所述多级索引中的一级索引对应;

6.根据权利要求5所述的方法,其特征在于,所述每级查询请求还指示所述至少一个字段中的部分字段对应的数据的取值范围;确定所述多级查询请求中的每级查询请求对应的一级索引的取值范围,包括:

7.一种数据处理装置,其特征在于,包括:

8.根据权利要求7所述的装置,其特征在于,所述数据库包括第一表格和第二表格,所述第一表格和所述第二表格用于存储所述多个索引,以及所述多个索引中的每个索引关联的所述多个字段对应的至少一组数据,所述第一表格的数据量小于...

【专利技术属性】
技术研发人员:王飞活武文博
申请(专利权)人:华为云计算技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1