锁服务处理方法、装置和数据处理系统制造方法及图纸

技术编号:35174869 阅读:16 留言:0更新日期:2022-10-12 17:41
本发明专利技术提供一种锁服务处理方法、装置和数据处理系统,涉及数据存储技术领域,其中锁服务处理方法包括:设置第一元数据区;将锁信息存储于所述第一元数据区中,以将所述第一元数据区作为所述存储系统向所述至少一个其他节点共享锁信息的数据通信缓冲区,其中所述锁信息为所述存储系统中各存储区对应的锁信息。通过在数据后端的存储系统中提供锁信息共享通道,使得各个节点可获知锁信息后高效协同工作,避免各个节点对存储系统进行繁琐的加锁、解锁等操作,提高数据处理效率,降低数据处理延时。延时。延时。

【技术实现步骤摘要】
锁服务处理方法、装置和数据处理系统


[0001]本专利技术涉及数据存储
,特别涉及一种锁服务处理方法、装置和数据处理系统。

技术介绍

[0002]随着智能时代的来临,数据已呈现爆炸式增长态势,而且应用中对海量数据处理的实时性要求日益明显。
[0003]目前,虽然存储介质的性能有了近百倍提升,比如采用SSD(solid state disk,固态硬盘)技术后极大提高了数据读写性能(如高速、低延时),但是为了保证数据一致性,数据处理系统中各个节点(如网络结构上的每个数据处理单元可称为一个节点,如服务器节点、网关节点、存储单元节点等)在访问数据时,需要基于锁服务(lock service)机制进行协同。
[0004]因此,现有锁服务处理制约了各节点网络协同性能,使得各个节点在数据协同中成了数据中心性能提升的瓶颈。
[0005]基于此,为满足数据中心建设中各个节点对海量数据的实时性能提升需要,亟需一种数据协同中低延时的锁服务处理方案。

技术实现思路

[0006]有鉴于此,本说明书实施例提供一种锁服务处理方法、装置和存储系统,更有效地协调存储系统各个节点访问存储系统的数据,提高各节点数据访问性能,避免繁琐的加锁、解锁操作,提高数据处理效率,降低数据处理延时。
[0007]本说明书实施例提供以下技术方案:本说明书实施例提供一种锁服务处理方法,应用于存储系统,所述存储系统与至少一个其他节点存在通信连接,所述锁服务处理方法包括:设置第一元数据区;将锁信息存储于所述第一元数据区中,以将所述第一元数据区作为所述存储系统向所述至少一个其他节点共享锁信息的数据通信缓冲区,其中所述锁信息为所述存储系统中各存储区对应的锁信息。
[0008]本说明书实施例还提供一种锁服务处理方法,应用于第一网关节点,所述第一网关节点与至少一个其他节点存在通信连接,所述至少一个其他节点包括用于数据存储的至少一个存储系统,所述锁服务处理方法包括:通过所述通信连接获取锁信息,其中所述锁信息存储于第一元数据区,所述第一元数据区设置于所述存储系统中,所述第一元数据区用于存储所述存储系统中各存储区对应的锁信息,以作为所述存储系统向所述第一网关节点和/或所述至少一个其他节点共享所述锁信息的数据通信缓冲区。
[0009]本说明书实施例还提供一种锁服务处理装置,应用于存储系统,所述存储系统与
至少一个其他节点存在通信连接,所述锁服务处理装置包括:锁信息共享模块,设置第一元数据区,以作为所述存储系统向所述至少一个其他节点共享锁信息的数据通信缓冲区,其中所述锁信息为所述存储系统中各存储区对应的锁信息;锁信息存储模块,将所述锁信息存储于所述第一元数据区中。
[0010]本说明书实施例还提供一种锁服务处理装置,应用于第一网关节点,所述第一网关节点与至少一个其他节点存在通信连接,所述至少一个其他节点包括用于数据存储的至少一个存储系统,所述锁服务处理装置包括:获取模块,通过所述通信连接获取锁信息,其中所述锁信息存储于第一元数据区,所述第一元数据区设置于所述存储系统中,所述第一元数据区用于存储所述存储系统中各存储区对应的锁信息,以作为所述存储系统向所述第一网关节点和/或所述至少一个其他节点共享所述锁信息的数据通信缓冲区。
[0011]本说明书实施例还提供一种数据处理系统,包括服务器节点和存储节点,所述服务器节点与所述存储节点通信连接,所述存储节点被配置为执行前述任意一项所述的应用于存储系统的锁服务处理方法,以向所述服务器节点提供锁信息。
[0012]与现有技术相比,本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括:通过在数据后端的存储系统中共享锁服务通道的共享方式,可以在数据处理中,无需去额外设置一个集中式管理模块,也不需要网关之间互相通信询问锁状态,以及锁信息的发送接收直接由存储系统通过共享方式提供,其他节点获取锁信息操作免锁,又不占用网关节点之间通信链路,各节点之间基于共享锁信息进行协同数据处理,提高各节点数据访问性能,避免各个节点对存储系统进行繁琐的加锁、解锁等操作,提高数据处理效率,降低数据处理延时,避免各个节点对数据中心建设带来的约束,使得锁服务方案可成为通用的锁服务方案,有利于加快不同应用场景下的数据中心建设。
[0013]还有,存储系统使用SSD存储数据,掉电数据不会消失,克服了集中式锁服务里面主从模块一旦毁坏系统无法运作的缺点,保证锁信息的持久化。
附图说明
[0014]为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
[0015]图1是现有数据处理系统的结构示意图;图2是现有方案锁服务方案中数据访问冲突过程的示意图;图3是现有方案的中心化锁服务方案的结构示意图;图4是现有方案的非中心化锁服务方案的结构示意图;图5是本说明书实施例提供的一种锁服务处理方案的结构示意图;图6是本说明书实施例提供的一种锁服务处理方法的流程图;图7是本说明书实施例提供的一种锁服务处理方法中队列队头、队尾指针原子操作的示意图;
图8是本说明书实施例提供的一种锁服务处理方法中进行KV持久化存储的示意图;图9是本说明书实施例提供的一种锁服务处理装置的结构示意图;图10是本说明书实施例提供的一种锁服务处理方法中锁服务方案的结构示意图;图11是本说明书实施例提供的一种锁服务处理方法的流程图;图12是本说明书实施例提供的一种锁服务处理装置的结构示意图;图13是本说明书实施例提供的一种数据处理系统的结构示意图。
具体实施方式
[0016]下面结合附图对本申请实施例进行详细描述。
[0017]以下通过特定的具体实例说明本申请的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。本申请还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本申请的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
[0018]要说明的是,下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见,本文中所描述的方面可体现于广泛多种形式中,且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本申请,所属领域的技术人员应了解,本文中所描述的一个方面可与任何其它方面独立地实施,且可以各种方式组合这些方面中的两者或两者以上。举例来说,可使用本文中所阐述的任何数目和方面来实施设备及/或实践方法。另外,可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
[0本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种锁服务处理方法,其特征在于,应用于存储系统,所述存储系统与至少一个其他节点存在通信连接,所述锁服务处理方法包括:设置第一元数据区;将锁信息存储于所述第一元数据区中,以将所述第一元数据区作为所述存储系统向所述至少一个其他节点共享锁信息的数据通信缓冲区,其中所述锁信息为所述存储系统中各存储区对应的锁信息。2.根据权利要求1所述的锁服务处理方法,其特征在于,所述锁服务处理方法还包括:在所述第一元数据区中设置第一数据传输队列;将所述锁信息存储于所述第一元数据区,包括:将所述锁信息存储于所述第一数据传输队列。3.根据权利要求2所述的锁服务处理方法,其特征在于,所述第一数据传输队列设置有指向队列内部地址的队尾指针和队头指针;所述锁服务处理方法还包括:当接收到所述其他节点申请加锁请求时,由作为发送者的所述其他节点执行:将加锁消息加入所述第一数据传输队列和修改所述队尾指针;当向所述其他节点发送所述锁消息时,由作为接收者的所述其他节点执行:轮询读取所述队尾指针和在获取新的锁消息出队处理后修改所述队头指针。4.根据权利要求2所述的锁服务处理方法,其特征在于,将所述锁信息存储于所述第一数据传输队列,包括:采用顺序循环写模式将所述锁信息存储于所述第一数据传输队列。5.根据权利要求2所述的锁服务处理方法,其特征在于,将所述锁信息存储于所述第一数据传输队列,包括:将所述锁信息在队列中的每个元素存储于所述第一元数据区中不同存储页。6.根据权利要求1所述的锁服务处理方法,其特征在于,所述锁服务处理方法还包括:通过NVMe的SSD键值对共享接口,对所述锁信息进行持久化存储,其中键值对中保存有加锁请求内容和状态。7.根据权利要求6所述的锁服务处理方法,其特征在于,锁客户节点对需要加锁的资源ID,通过一致性哈希算法在集群中选择一个锁服务节点,并向所述锁服务节点所在的键值对中尝试写入加锁请求内容。8.根据权利要求7所述的锁服务处理方法,其特征在于,在所述锁客户节点尝试写入加锁请求内容时,所述锁服务节点读取加锁请求和版本号,并进行互斥判断,当判断出当前允许加锁时,则修改请求就绪状态和版本号后写入键值对中。9.根据权利要求7所述的锁服务处理方法,其特征在于,锁客户节点通过所述资源ID轮询加锁是否就绪。10.根据权利要求1所述的锁服务处理方法,其特征在于,将所述锁信息存储于所述第一元数据区,包括:采用原子操作将所述锁信息存储于所述第一元数据区。11.根据权利要求1所述的锁服务处理方法,其特征在于,将所述锁信息存储于所述第一元数据区,包括:将所述锁信息和当前事务ID存储于所述第一元数据区。12.根据权利要求1所述的锁服务处理方法,其特征在于,所述存储系统包括NVMe

oF全闪存系统;
所述存储系统与至少一个其他节点存在通信连接,包括:所述NVMe

oF全闪存系统与至少一个其他节点存在以太网通信连接。13.根据权利要求12所述的锁服务处理方法,其特征在于,所述NVMe

oF全闪存系统包括以太网闪存柜。14.根据权利要求13所述的锁服务处理方法,其特征在于,所述以太网闪存柜用于在所述NVMe

oF全闪存系统中作为盘间数据冗余的存储单元;和/或,所述以太网闪存柜用于在所述NVMe
...

【专利技术属性】
技术研发人员:薛迎春陈凉威蔡攀龙
申请(专利权)人:上海川源信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1