System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及数据处理,尤其涉及一种数据查询方法、装置、设备及可读存储介质。
技术介绍
1、分页查询是一种按照指定的条件和规则,将查询结果划分为多个页面显示的方法。它常用于处理大量数据的情况下,通过限制每页显示的记录数以及指定当前页码,来实现数据的分段加载和展示。
2、在基于弹性搜索查询elasticsearch(简称“es”)的分页查询中,通常由es集群的协调节点接收分页查询请求,将该分页查询请求发送给各个索引分片,由各个索引分片在分片本地执行查询操作,并返回部分排序后的查询结果给协调节点;该协调节点在收到各个索引分片返回的有序查询结果后,将不同分片的查询结果进行合并和重新排序,并由该协调节点从重新排序的汇总结果集中返回分页的查询结果。
3、然而,在采用上述方式实现分页查询时,针对每一次分页查询请求,都需要完整执行上述数据查询步骤,每次要对所有索引分片先执行该分片的按照请求查询,而且各个索引分片返回给协调节点的分片查询结果的数据量会随着分页页码的增大而不断增大,从而容易导致严重的系统性能问题,面对索引分片存储的数据资源较大的情况其查询效率低下,易出现查询耗时过久或查询崩溃的情况。
技术实现思路
1、有鉴于此,为解决上述技术问题,本申请提供一种数据查询方法、装置、设备及可读存储介质。
2、具体地,本申请是通过如下技术方案实现的:
3、根据本申请实施例的第一方面,提供一种数据查询方法,所述方法包括:
4、接收分页查询请求,所述分
5、根据所述分页显示数据条数和分页页码,确定待查询数据在所述分页页码指示的分页上的数据序号范围;
6、确定所述请求指示的各个索引分片中满足分页查询请求携带的查询条件的第一数据的数量;
7、按照所述索引分片的设定排列顺序,根据各个索引分片的所述第一数据的数量的按序累计和和所述数据序号范围,确定出所述待查询数据所在的目标索引分片;
8、根据与所述目标索引分片相邻的前一个索引分片对应的按序累计和,从所述目标索引分片的数据中获取所述待查询数据。
9、根据本申请实施例的第二方面,提供一种数据查询装置,所述装置包括:
10、请求接收模块,用于接收分页查询请求,所述分页查询请求的参数包括分页显示数据条数和分页页码;
11、序号范围确定模块,用于根据所述分页显示数据条数和分页页码,确定待查询数据在所述分页页码指示的分页上的数据序号范围;
12、第一数据数量确定模块,用于确定分页查询请求指示的各个索引分片中满足分页查询请求携带的查询条件的第一数据的数量;
13、目标索引分片确定模块,用于按照所述索引分片的设定排列顺序,根据各个索引分片的所述第一数据的数量的按序累计和和所述数据序号范围,确定出所述待查询数据所在的目标索引分片;
14、待查询数据获取模块,用于根据与所述目标索引分片相邻的前一个索引分片对应的按序累计和,从所述目标索引分片的数据中获取所述待查询数据。
15、根据本申请实施例的第三方面,提供一种电子设备,所述电子设备包括:存储器和处理器;所述存储器,用于存储计算机程序;所述处理器,用于通过调用所述计算机程序,执行上述数据查询方法。
16、根据本申请实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述数据查询方法。
17、本申请实施例提供的技术方案可以包括以下有益效果:
18、在本申请提供的技术方案中,通过分页查询请求确定出待查询数据的数据序号范围,并根据指定数据资源对应的各个索引分片中满足该请求包含的查询条件的数据数量,定位出该待查询数据所在的目标索引分片,从而基于该目标索引分片进行指定分页数据查询操作,减少了分页查询涉及的索引分片的数量,降低了数据传输的资源消耗,提高了查询效率。
19、应当理解的是,以上的一般描述和后文的细节描述仅是示例性的和解释性的,并不能限制本申请。此外,本申请中的任一实施例并不需要达到上述的全部效果。
本文档来自技高网...【技术保护点】
1.一种数据查询方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述根据各个索引分片的所述第一数据的数量的按序累计和与所述数据序号范围,确定出所述待查询数据所在的目标索引分片,包括:
3.根据权利要求1所述的方法,其特征在于,所述确定待查询数据在所述分页页码指示的分页上的数据序号范围,包括:
4.根据权利要求3所述的方法,其特征在于,所述根据各个索引分片的所述第一数据的数量的按序累计和与所述数据序号范围,确定出所述待查询数据所在的目标索引分片,包括:
5.根据权利要求1所述的方法,其特征在于,所述从所述目标索引分片的数据中获取所述待查询数据,包括:
6.根据权利要求1-5任一项所述的方法,其特征在于,所述索引分片的设定排列顺序对应的排序规则与所述索引分片内的数据排序规则一致。
7.一种数据查询装置,其特征在于,所述装置包括:
8.根据权利要求7所述的装置,其特征在于,所述目标索引分片确定模块具体用于:
9.一种电子设备,其特征在于,包括:处理器、存储器;
...【技术特征摘要】
1.一种数据查询方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述根据各个索引分片的所述第一数据的数量的按序累计和与所述数据序号范围,确定出所述待查询数据所在的目标索引分片,包括:
3.根据权利要求1所述的方法,其特征在于,所述确定待查询数据在所述分页页码指示的分页上的数据序号范围,包括:
4.根据权利要求3所述的方法,其特征在于,所述根据各个索引分片的所述第一数据的数量的按序累计和与所述数据序号范围,确定出所述待查询数据所在的目标索引分片,包括:
5.根据权利要求1所述的方法,其特...
【专利技术属性】
技术研发人员:高璐,邬俊杰,康政,杨喆,高吾言,茹兴康,黄志铭,刘磊,
申请(专利权)人:南水北调中线信息科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。