一种查询数据的方法和装置制造方法及图纸

提供一种查询数据的方法和装置，涉及大数据领域。该方法包括：获取查询条件，该查询条件用于查询第一数据库中的第一数据；基于该查询条件从预先构建的目标索引表中查询第一数据在第一数据库中的存储位置，目标索引表中包括至少一个查询条件与第一数据库中的至少一条数据的存储位置的对应关系，至少一个查询条件中的每个查询条件对应于第一数据库中的一条或多条数据；基于第一数据的存储位置读取第一数据。通过预先构建的包括查询条件和数据的存储位置的对应关系的索引表，在触发查询数据后，可以根据获取到的查询条件在索引表中找到与该查询条件对应的数据的存储位置，从而可以根据该存储位置快速地读取到用户所查询的数据，降低查询数据的时延。降低查询数据的时延。降低查询数据的时延。

【技术实现步骤摘要】
一种查询数据的方法和装置


[0001]本申请涉及大数据领域，尤其涉及一种查询数据的方法和装置。

技术介绍

[0002]随着信息技术的高速发展，作业数据呈指数级增长，目前一般利用大数据平台对这些作业数据进行处理。由于作业提交和作业调度都需要大量的开销，直接从基于大数据平台的数据库或数据仓库中查询数据的时延较大，一般都是分钟级别的查询。
[0003]如何降低查询数据的时延成为一项亟待解决的问题。

技术实现思路

[0004]本申请提供了一种查询数据的方法和装置，以期降低查询数据的时延。
[0005]第一方面，本申请提供一种查询数据的方法，该方法包括：获取查询条件，所述查询条件用于查询第一数据库中的第一数据；基于所述查询条件从预先构建的目标索引表中查询所述第一数据在所述第一数据库中的存储位置，所述目标索引表中包括至少一个查询条件与所述第一数据库中的至少一条数据的存储位置的对应关系，所述至少一个查询条件中的每个查询条件对应于所述第一数据库中的一条或多条数据；基于所述第一数据的存储位置读取所述第一数据。<br/>[0006]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种查询数据的方法，其特征在于，所述方法包括：获取查询条件，所述查询条件用于查询第一数据库中的第一数据；基于所述查询条件从预先构建的目标索引表中查询所述第一数据在所述第一数据库中的存储位置，所述目标索引表中包括至少一个查询条件与所述第一数据库中的至少一条数据的存储位置的对应关系，所述至少一个查询条件中的每个查询条件对应于所述第一数据库中的一条或多条数据；基于所述第一数据的存储位置读取所述第一数据。2.如权利要求1所述的方法，其特征在于，所述基于所述查询条件从预先构建的目标索引表中查询所述第一数据在所述第一数据库中的存储位置，包括：从预先构建的至少一个索引表中确定所述目标索引表，所述目标索引表是包括所述查询条件的索引表，所述至少一个索引表中的每个索引表包括至少一个查询条件与所述第一数据库中的至少一条数据的存储位置的对应关系；基于所述查询条件从所述目标索引表中查询所述第一数据的存储位置。3.如权利要求2所述的方法，其特征在于，所述方法还包括：构建所述至少一个索引表。4.如权利要求3所述的方法，其特征在于，所述构建所述至少一个索引表，包括：获取所述第一数据库的原始信息；基于所述原始信息确定所述至少一个索引表中每个索引表的表名和每个索引表包括的至少一个查询条件；基于每个索引表的表名、每个索引表包括的至少一个查询条件以及每个查询条件对应的数据在所述第一数据库中的存储位置，构建所述至少一个索引表。5.如权利要求4所述的方法，其特征在于，所述至少一个索引表构建在第二数据库中，所述第二数据库是具有联机分析处理能力的数据库。6.如权利要求4或5所述的方法，其特征在于，所述方法还包括：在确定所述第一数据库中的数据发生变化的情况下，对发生变化的数据所关联的一个或多个索引表进行更新。7.如权利要求6所述的方法，其特征在于，所述第一数据为批式数据，所述批式数据是在大数据平台上进行批量处理的数据，所述第一数据库为hive，所述原始信息包括所述第一数据库包括的至少一个数据表中每个数据表的表名和每个数据表包括的至少一个字段，每个数据表的表名用于确定一个索引表的表名，每个数据表中的至少一个字段...

【专利技术属性】
技术研发人员：刘雪晶，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：