数据查询的方法、装置、电子设备及存储介质制造方法及图纸

技术编号:39250986 阅读:18 留言:0更新日期:2023-10-30 12:02
本申请涉及存储技术领域,具体提供了一种数据查询的方法、装置、电子设备及存储介质。一种数据查询的方法,包括基于数据查询指令,确定初始预取规则;初始预取规则为是否采用禁用缓存策略以及是否采用禁止预取策略;确定当前缓存数据量与禁用缓存阈值之间的第一比较结果以及内存锁定数据量与禁用内存阈值之间的第二比较结果;根据初始预取规则、第一比较结果以及第二比较结果,确定目标预取规则;按照目标预取规则,执行数据查询操作。这样,根据查询指令、当前缓存数据量以及内存锁定数据量多个维度,动态调整数据查询的目标预取规则,从而可以合理控制预取占用的设备内存,以及减少缓存污染的问题。缓存污染的问题。缓存污染的问题。

【技术实现步骤摘要】
数据查询的方法、装置、电子设备及存储介质


[0001]本申请涉及存储
,具体涉及一种数据查询的方法、装置、电子设备及存储介质。

技术介绍

[0002]在一些应用数据查询的场景中,通常需要读取以及处理数据库中的大量数据。现有技术下,为提高数据读取以及处理的效率,通常将查询范围内各数据块中的数据预取加载到设备内存,以便后续步骤中可以快速读取。
[0003]其中,预取是一种提前加载的过程,具体是指在执行查询的过程中,根据数据索引和查询范围,确定需要扫描的数据块,并将这些数据块预先加载到设备内存中。
[0004]但是,在大查询(即大数据量的查询)时,预取数据可能会占用过多用户内存,导致用户的其它查询等操作没有可用的用户内存,以及将预取数据加载到缓存时,可能会淘汰缓存中的热数据,从而导致缓存污染。

技术实现思路

[0005]本申请实施例的目的在于提供一种数据查询的方法、装置、电子设备以及存储介质,用以在数据查询时,可以合理控制预取占用的设备内存,以及减少缓存污染的问题。
[0006]一方面,本申请实施方式提供本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据查询的方法,所述方法包括:基于数据查询指令,确定初始预取规则;所述初始预取规则为是否采用禁用缓存策略以及是否采用禁止预取策略;所述禁用缓存策略是指禁止将查询预取的数据写入缓存;所述禁止预取策略是指禁止将查询预取的数据写入设备内存;所述设备内存被划分为缓存和用户内存;确定当前缓存数据量与禁用缓存阈值之间的第一比较结果以及内存锁定数据量与所述禁用内存阈值之间的第二比较结果;所述内存锁定数据量包括用户内存数据量以及缓存锁定数据量;根据所述初始预取规则、所述第一比较结果以及所述第二比较结果,确定目标预取规则;按照所述目标预取规则,执行数据查询操作。2.如权利要求1所述的方法,所述基于数据查询指令,确定初始预取规则,包括:确定接收到所述数据查询指令时,确定待查询数据量;若确定所述待查询数据量高于查询阈值,则确定所述初始预取规则为采用禁止缓存策略;否则,确定所述初始预取规则为采用无限制策略;所述无限制策略为不采用禁用缓存策略且不采用禁止预取策略。3.如权利要求2所述的方法,所述确定当前缓存数据量与禁用缓存阈值之间的第一比较结果以及内存锁定数据量与所述禁用内存阈值之间的第二比较结果,包括:若确定所述当前缓存数据量高于所述禁用缓存阈值,则确定所述第一比较结果为第一状态,否则,为第二状态;若确定所述内存锁定数据量高于所述禁用内存阈值,则确定所述第二比较结果为第三状态,否则,为第四状态。4.如权利要求3所述的方法,所述根据所述初始预取规则、所述第一比较结果以及所述第二比较结果,确定目标预取规则,包括:若确定所处初始预取规则为采用无限制策略,所述第一比较结果为第二状态且所述第二比较结果为第四状态,则将所述初始预取规则确定为所述目标预取规则;若确定所述第一比较结果为第一状态且所述第二比较结果为第四状态,则确定所述目标预取规则为采用禁用缓存策略;若确定所述第二比较结果为第三状态,则确定所述目标预取规则为采用禁止预取策略。5.如权利要求1

4任一项所述的方法,所述方法还包括:若确定符合阈值更新条件,则获取当前未锁定缓存以及当前空闲用户内存;所述当前未锁定缓存为未被锁定的缓存;所述当前空闲用户内存为当前空闲的用户内存;根据当前未锁定缓存以及当前空闲用户内存,分别更新所述禁用缓存阈值以及所述禁用内存阈值。6.一种数据查询的装置,所述装置包括:查询单元,用于基于数据查询指令,确定初始预取规则;所述...

【专利技术属性】
技术研发人员:赵瑞哲
申请(专利权)人:北京奥星贝斯科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1