一种持久化分布式数据缓存的方法及装置制造方法及图纸

技术编号:40930334 阅读:14 留言:0更新日期:2024-04-18 14:51
本申请涉及一种持久化分布式缓存的方法及装置,属于数据缓存技术领域,该方法包括:获取外部数据,并将所述外部数据传输至控制节点;所述控制节点根据服务节点状态,分配所述外部数据到服务节点,其中,所述服务节点由多个数据页组成;所述数据页根据计时器预设时间将所述外部数据写入磁盘。本申请所述的方法和装置,可以直接使用内存中的磁盘缓冲区操作,并通过控制节点和服务节点的主从结构,使用远程直接内存访问技术执行跨节点的访问,解决上层分布式缓存算法不完善导致单个数据缓冲区可能出现较大负担的问题,并根据发放的租约判断服务节点的状态,保护数据安全与可靠性。

【技术实现步骤摘要】

本专利技术属于数据存储,尤其涉及一种持久化分布式数据缓存的方法及装置


技术介绍

1、当下社会已经进入信息化时代,基于大数据与云计算的智能社会每天都会产生大量数据,为承载这些生成的大量数据,以及用户对数据访问实时性的要求,分布式缓存技术得到了广泛的应用。

2、现有技术中,在分布式缓存过程中,需要数据缓冲区承接数据来缓解磁盘压力,当前的缓冲区提交策略主要分为立即提交策略,延时提交策略与异步提交策略,立即提交策略在数据进入缓冲区后不作等待,立即请求磁盘进行写入操作,其实现简单且易于实现;延时提交策略设置一个提交间隔,在该间隔内落入缓存的数据会在间隔结束后写入磁盘,其可以有效缓解磁盘读写压力并且以易于控制;异步提交策略基于操作系统的异步操作,在接受数据之后发生系统调用,操作系统根据自身状态自主选择提交时间。

3、然而,现有相互独立的数据缓冲区对上层分布式缓存系统算法的平衡性依赖较高,现有的提交策略也无法满足分布式平台数据量大,可靠性要求高的条件。


技术实现思路

1、鉴于以上现有技术的不足,本本文档来自技高网...

【技术保护点】

1.一种持久化分布式数据缓存的方法,其特征在于,包括:

2.根据权利要求1所述的一种持久化分布式数据缓存的方法,其特征在于,所述控制节点用于确定外部数据的缓存服务节点,并存储元数据,其中,所述元数据指对数据进行描述的数据,用于描述数据属性的信息,包括:指示存储、历史数据、资源查找、文件记录。

3.根据权利要求2所述的一种持久化分布式数据缓存的方法,其特征在于,所述控制节点根据服务节点状态,与服务节点内部的数据页建立映射关系,确定租约机制,通过远程直接内存访问实现跨节点调配。

4.根据权利要求1所述的一种持久化分布式数据缓存的方法,其特征在于,所述数据页...

【技术特征摘要】

1.一种持久化分布式数据缓存的方法,其特征在于,包括:

2.根据权利要求1所述的一种持久化分布式数据缓存的方法,其特征在于,所述控制节点用于确定外部数据的缓存服务节点,并存储元数据,其中,所述元数据指对数据进行描述的数据,用于描述数据属性的信息,包括:指示存储、历史数据、资源查找、文件记录。

3.根据权利要求2所述的一种持久化分布式数据缓存的方法,其特征在于,所述控制节点根据服务节点状态,与服务节点内部的数据页建立映射关系,确定租约机制,通过远程直接内存访问实现跨节点调配。

4.根据权利要求1所述的一种持久化分布式数据缓存的方法,其特征在于,所述数据页内设置计时器,所述计时器预设时间根据外部数据的重要程度或单位时间长度确定。

5.根据权利要求1所述的一种持久...

【专利技术属性】
技术研发人员:孙一达张琪松
申请(专利权)人:天翼云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1