散列缓存生成方法、装置、电子设备及存储介质制造方法及图纸

技术编号:31828985 阅读:22 留言:0更新日期:2022-01-12 13:03
本发明专利技术涉及数据处理领域,揭露一种散列缓存生成方法,包括:获取缓存队列中的数据字段,并配置所述数据字段的时间滑窗;接收到所述数据字段的数据访问时,利用所述时间滑窗计算所述数据字段的访问量及访问频率;根据所述访问量及所述访问频率,识别所述数据字段中的热点字段;计算所述热点字段的窗口扩展值,并获取所述热点字段中的业务资源,根据所述窗口扩展值和所述业务资源,配置所述热点字段的资源访问表,以生成所述热点字段的散列缓存。此外,本发明专利技术还涉及区块链技术,所述热点字段可存储区块链中。本发明专利技术可以生成热点字段的散列缓存,避免服务器资源浪费的现象。避免服务器资源浪费的现象。避免服务器资源浪费的现象。

【技术实现步骤摘要】
散列缓存生成方法、装置、电子设备及存储介质


[0001]本专利技术涉及数据处理领域,尤其涉及一种散列缓存生成方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]在面对数据库数据访问能力制约的情况下,很多系统都提供了如Redis,memcache等缓存技术来实现数据的内存缓存,从而提高数据的访问并发能力。目前缓存技术通常是以键值对(key

value)模式进行数据存储和数据访问,单个key缓存虽然其远比关系型数据库极大提高了访问并发能力,但是在大型的互联网应用中,在很多场景下,单个key的缓存策略无法满足大并发请求的访问,尤其是针对动态类型的缓存数据,由于事先无法预估其访问的并发量,在编码阶段无法确定缓存策略,如果只是简单的设置单个key数据进行缓存,一旦超出了单台服务器单个key的访问并发能力,系统访问不但会变慢,而且会影响到其他key的访问,另外,若是在编码阶段对所有缓存都做二级缓存,会极大浪费本地缓存空间或缓存服务器内存空间,从而会带来一定的资源浪费。

技术实现思路

[0003]本专利技术提供一种散列缓存生成方法、装置、电子设备及计算机可读存储介质,其主要目的在于生成热点字段的散列缓存,避免服务器资源浪费的现象。
[0004]为实现上述目的,本专利技术提供的一种散列缓存生成方法,包括:
[0005]获取缓存队列中的数据字段,并配置所述数据字段的时间滑窗;
[0006]接收到所述数据字段的数据访问时,利用所述时间滑窗计算所述数据字段的访问量及访问频率;
[0007]根据所述访问量及所述访问频率,识别所述数据字段中的热点字段;
[0008]计算所述热点字段的窗口扩展值,并获取所述热点字段中的业务资源,根据所述窗口扩展值和所述业务资源,配置所述热点字段的资源访问表,以生成所述热点字段的散列缓存。
[0009]可选地,所述配置所述数据字段的时间滑窗,包括:
[0010]设置所述数据字段的窗口数量和访问阈值;
[0011]根据所述窗口数量和所述访问阈值,初始化所述数据字段的访问窗口,得到所述数据字段的时间滑窗。
[0012]可选地,所述利用所述时间滑窗计算所述数据字段的访问量及访问频率,包括:
[0013]获取所述时间滑窗的时效周期及窗口数量,统计在所述时效周期内所述数据字段的访问量;
[0014]根据所述窗口数量和所述访问量,计算所述数据字段的访问频率。
[0015]可选地,所述根据所述访问量及所述访问频率,识别所述数据字段中的热点字段,包括:
[0016]获取所述数据字段的访问阈值,判断所述访问量是否大于所述访问阈值;
[0017]若所述访问量不大于所述访问阈值,则将所述数据字段不作为热点字段;
[0018]若所述访问量大于所述访问阈值,则判断所述访问频率是否满足预设条件;
[0019]若所述访问频率不满足所述预设条件,则将所述数据字段不作为热点字段;
[0020]若所述访问频率满足所述预设条件,则将所述数据字段作为热点字段。
[0021]可选地,所述计算所述热点字段的窗口扩展值,包括:
[0022]获取所述热点字段的访问量和访问阈值,根据所述访问量和所述访问阈值,利用预设的窗口函数计算所述热点字段的窗口扩展值。
[0023]可选地,所述根据所述窗口扩展值和所述业务资源,配置所述热点字段的资源访问表,以生成所述热点字段的散列缓存,包括:
[0024]采用哈希算法将所述窗口扩展值转换为所述热点字段的散列字段;
[0025]采用键值对的形式将所述业务资源加载至所述散列字段中,得到目标散列字段;
[0026]配置所述目标散列字段的访问策略,以生成所述热点字段的散列缓存。
[0027]可选地,所述配置所述目标散列字段的访问策略,还包括:
[0028]获取所述目标散列字段的数据访问量和散列字段数量;
[0029]根据所述数据访问量和所述散列字段数量,采用所述负载均衡的方式计算所述目标散列字段的散列数据量,得到所述目标散列字段的访问策略。
[0030]为了解决上述问题,本专利技术还提供一种散列缓存生成装置,所述装置包括:
[0031]时间滑窗配置模块,用于获取缓存队列中的数据字段,并配置所述数据字段的时间滑窗;
[0032]数据字段计算模块,用于接收到所述数据字段的数据访问时,利用所述时间滑窗计算所述数据字段的访问量及访问频率;
[0033]热点字段识别模块,用于根据所述访问量及所述访问频率,识别所述数据字段中的热点字段;
[0034]散列缓存生成模块,用于计算所述热点字段的窗口扩展值,并获取所述热点字段中的业务资源,根据所述窗口扩展值和所述业务资源,配置所述热点字段的资源访问表,以生成所述热点字段的散列缓存。
[0035]为了解决上述问题,本专利技术还提供一种电子设备,所述电子设备包括:
[0036]至少一个处理器;以及,
[0037]与所述至少一个处理器通信连接的存储器;其中,
[0038]所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以实现上述所述的散列缓存生成方法。
[0039]为了解决上述问题,本专利技术还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个计算机程序,所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的散列缓存生成方法。
[0040]可以看出,相较于
技术介绍
中直接通过字段二级缓存解决单个字段缓存量所带来的服务器资源浪费现象,本专利技术实施例首先通过配置的时间滑窗计算缓存队列中数据字段的访问量及访问频率,以自动识别数据字段中的热点字段,可以筛选出缓存队列中数据量访问大且频繁的字段,从而可以确定缓存队列中字段的缓存策略,保障缓存队列中每个字
段的访问并发能力;其次,本专利技术实施例通过计算热点字段的窗口扩展值,并结合所述热点字段中的业务资源,配置所述热点字段的资源访问表,以生成所述热点字段的散列缓存,可以避免在字段代码阶段固定设置的二级缓存策略导致服务器内存极大资源浪费的现象,使得系统可以满足按需分配缓存的功能。因此,本专利技术实施例提出的一种散列缓存生成方法、装置、电子设备及计算机可读存储介质可以生成热点字段的散列缓存,避免服务器资源浪费的现象。
附图说明
[0041]图1为本专利技术一实施例提供的散列缓存生成方法的流程示意图;
[0042]图2为本专利技术一实施例提供的散列缓存生成装置的模块示意图;
[0043]图3为本专利技术一实施例提供的实现散列缓存生成方法的电子设备的内部结构示意图;
[0044]本专利技术目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
[0045]应当理解,此处所描述的具体实施例仅仅用以解释本专利技术,并不用于限定本专利技术。
[0046]本申请实施例提供一本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种散列缓存生成方法,其特征在于,所述方法包括:获取缓存队列中的数据字段,并配置所述数据字段的时间滑窗;接收到所述数据字段的数据访问时,利用所述时间滑窗计算所述数据字段的访问量及访问频率;根据所述访问量及所述访问频率,识别所述数据字段中的热点字段;计算所述热点字段的窗口扩展值,并获取所述热点字段中的业务资源,根据所述窗口扩展值和所述业务资源,配置所述热点字段的资源访问表,以生成所述热点字段的散列缓存。2.如权利要求1所述的散列缓存生成方法,其特征在于,所述配置所述数据字段的时间滑窗,包括:设置所述数据字段的窗口数量和访问阈值;根据所述窗口数量和所述访问阈值,初始化所述数据字段的访问窗口,得到所述数据字段的时间滑窗。3.如权利要求1所述的散列缓存生成方法,其特征在于,所述利用所述时间滑窗计算所述数据字段的访问量及访问频率,包括:获取所述时间滑窗的时效周期及窗口数量,统计在所述时效周期内所述数据字段的访问量;根据所述窗口数量和所述访问量,计算所述数据字段的访问频率。4.如权利要求1所述的散列缓存生成方法,其特征在于,所述根据所述访问量及所述访问频率,识别所述数据字段中的热点字段,包括:获取所述数据字段的访问阈值,判断所述访问量是否大于所述访问阈值;若所述访问量不大于所述访问阈值,则将所述数据字段不作为热点字段;若所述访问量大于所述访问阈值,则判断所述访问频率是否满足预设条件;若所述访问频率不满足所述预设条件,则将所述数据字段不作为热点字段;若所述访问频率满足所述预设条件,则将所述数据字段作为热点字段。5.如权利要求1所述的散列缓存生成方法,其特征在于,所述计算所述热点字段的窗口扩展值,包括:获取所述热点字段的访问量和访问阈值,根据所述访问量和所述访问阈值,利用预设的窗口函数计算所述热点字段的窗口扩展值。6.如权利要求1至5中任意一...

【专利技术属性】
技术研发人员:李怀志
申请(专利权)人:平安国际智慧城市科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1