System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据处理方法、装置及电子设备制造方法及图纸_技高网

数据处理方法、装置及电子设备制造方法及图纸

技术编号:40311928 阅读:7 留言:0更新日期:2024-02-07 20:54
本申请公开了一种数据处理方法、装置及电子设备,涉及数据库技术领域。方法包括:将内存空间划分为热区和温区;基于标签信息,将数据进行区分得到温区数据和热区数据;标签信息中包含用于表示当前数据所在区域的指示字段;获取内存空间的当前使用内存量;基于当前使用内存量,对热区数据进行淘汰和/或对温区数据进行驱逐。本申请将内存空间进行划分层级,在两空间采用不同的淘汰算法,根据内存量实现对热区数据转温处理以及对温区数据的驱逐,并通过修改标签信息实现温热区的数据转化。从而有效解决了一些场景下的局限性问题,如周期性循环数据访问导致的冷数据进入非淘汰区和由于突发性的数据访问或其他原因导致的热数据被淘汰的问题。

【技术实现步骤摘要】

本申请涉及数据库,具体涉及一种数据处理方法、装置及电子设备


技术介绍

1、目前的传统缓存淘汰算法包括三种,分别为lru(least recently used,近期最少使用算法)、lfu(least frequently used,使用频率最少算法)和random(随机选择算法)。这三种淘汰算法只考虑单一因素、在一些特殊情况下,容易存在误判,具有局限性。例如:lru算法中对于周期性访问的数据就会使得部分冷数据进入非淘汰区;或对于一些冷数据突发性访问,导致热数据被淘汰。因此,现有的传统缓存淘汰算法由于只考虑单一因素,存在一些场景下的局限性问题。


技术实现思路

1、有鉴于此,本申请提供了一种数据处理方法、装置及电子设备,主要目的在于缓解现有的传统缓存淘汰算法由于只考虑单一因素,存在一些场景下的局限性问题。

2、第一方面,本申请提供了一种数据处理方法,包括:

3、将内存空间划分为热区和温区;

4、基于标签信息,将数据进行区分得到温区数据和热区数据;所述标签信息中包含用于表示当前数据所在区域的指示字段;

5、获取所述内存空间的当前使用内存量;

6、基于所述当前使用内存量,对所述热区数据进行淘汰和/或对所述温区数据进行驱逐。

7、可选地,所述基于所述当前使用内存量,对所述热区数据进行淘汰和/或对所述温区数据进行驱逐,包括:将所述当前使用内存量与第一内存阈值进行比较;在所述当前使用内存量大于第一内存阈值的情况下,对热区数据的指示字段进行修改,将热区数据淘汰到温区;在所述当前使用内存量大于第二内存阈值的情况下,对所述温区数据进行驱逐;其中,所述第二内存阈值大于所述第一内存阈值。

8、可选地,数据处理方法还包括:在接收到新增数据的情况下,将所述新增数据存储至温区;在存在被查询或更新的温区数据的情况下,将所述被查询或更新的温区数据添加到热区。

9、可选地,所述在接收到新增数据的情况下,将所述新增数据存储至温区,包括:对所述新增数据创建标签信息;将所述标签信息中的所述指示字段进行修改,将所述新增数据存储至温区。

10、可选地,所述在存在被查询或更新的温区数据的情况下,将所述被查询或更新的温区数据添加到热区,包括:对所述被查询或更新的温区数据的指示字段进行修改,将所述被查询或更新的温区数据添加到热区。

11、可选地,对所述热区数据进行淘汰和/或对所述温区数据进行驱逐,包括:基于lru算法对所述热区数据进行淘汰,且基于lstm算法模型对所述温区数据进行驱逐。

12、可选地,基于lstm算法模型对所述温区数据进行驱逐,包括:利用lstm算法,计算所述温区数据中每一键值对数据的下次访问时间间隔;按所有键值对数据的下次访问时间间隔的大小进行排序,对所述下次访问时间间隔最大的对应的键值对数据进行驱逐。

13、第二方面,本申请提供了一种数据处理装置,包括:

14、划分单元,被配置为将内存空间划分为热区和温区;

15、处理单元,被配置为基于标签信息,将数据进行区分得到温区数据和热区数据;所述标签信息中包含用于表示当前数据所在区域的指示字段;

16、获取单元,被配置为获取所述内存空间的当前使用内存量;

17、驱逐单元,被配置为基于所述当前使用内存量,对所述热区数据进行淘汰和/或所述温区数据进行驱逐。

18、第三方面,本申请提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面所述的数据处理方法。

19、第四方面,本申请提供了一种电子设备,包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现第一方面所述的数据处理方法。

20、借由上述技术方案,本申请提供的一种数据处理方法、装置及电子设备,首先将内存空间划分为热区和温区,并基于标签信息,将数据进行区分得到温区数据和热区数据。其中,标签信息中包含用于表示当前数据所在区域的指示字段。进而获取内存空间的当前使用内存量,基于当前使用内存量,对热区数据进行淘汰和/或对温区数据进行驱逐。本申请将内存空间进行划分层级,在两空间采用不同的淘汰算法,根据内存量实现对热区数据转温处理以及对温区数据的驱逐,并通过修改标签信息实现温热区的数据转化。从而有效解决了一些场景下的局限性问题,具体而言,例如周期性循环数据访问导致的冷数据进入非淘汰区和由于突发性的数据访问或其他未知原因导致的热数据被淘汰的问题。

21、上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。

本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述当前使用内存量,对所述热区数据进行淘汰和/或对所述温区数据进行驱逐,包括:

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述在接收到新增数据的情况下,将所述新增数据存储至温区,包括:

5.根据权利要求3所述的方法,其特征在于,所述在存在被查询或更新的温区数据的情况下,将所述被查询或更新的温区数据添加到热区,包括:

6.根据权利要求1至5中任一项所述的方法,其特征在于,对所述热区数据进行淘汰和/或对所述温区数据进行驱逐,包括:

7.根据权利要求6所述的方法,其特征在于,所述基于LSTM算法模型对所述温区数据进行驱逐,包括:

8.一种数据处理装置,其特征在于,包括:

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。

10.一种电子设备,包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法。

...

【技术特征摘要】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述当前使用内存量,对所述热区数据进行淘汰和/或对所述温区数据进行驱逐,包括:

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述在接收到新增数据的情况下,将所述新增数据存储至温区,包括:

5.根据权利要求3所述的方法,其特征在于,所述在存在被查询或更新的温区数据的情况下,将所述被查询或更新的温区数据添加到热区,包括:

6.根据权利要求1至5中任一项所述的...

【专利技术属性】
技术研发人员:蒋忠强王宝晗时家幸
申请(专利权)人:中移苏州软件技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1