一种分布式文件系统实现数据一致性的方法及装置制造方法及图纸

本发明专利技术公开了一种分布式文件系统实现数据一致性的方法，应用于客户端，能响应对目标数据的操作请求，获取目标数据的一致性模式，获取目标数据的锁，再将目标数据拷贝到非易失性内存，并根据上层应用对目标数据的编辑操作生成操作日志，以便于根据操作日志更新分布式文件系统中目标数据。可见，该方法利用非易失性内存作为客户端的缓存，不需要等待数据写回数据存储设备，降低了数据访问延时，还能实现按照字节对数据进行读写，设置粒度为字节级的锁，允许客户端修改单个或多个字节的数据，提升了数据一致性的执行效率。此外，本发明专利技术还提供了一种分布式文件系统实现数据一致性的装置、客户端及分布式文件系统，其作用与上述方法相对应。

A Method and Device for Data Consistency in Distributed File System

The invention discloses a method for realizing data consistency in distributed file system, which is applied to client, can respond to the operation request of target data, obtain the consistency mode of target data, acquire the lock of target data, copy the target data to non-volatile memory, and generate operation log according to the editing operation of target data of upper application, so as to facilitate operation according to operation. Logs update target data in distributed file systems. It can be seen that this method uses non-volatile memory as the client's cache, does not need to wait for data to be written back to the data storage device, reduces the data access delay, but also realizes data reading and writing according to bytes, sets the size of the byte-level lock, allows the client to modify the data of one or more bytes, and improves the execution efficiency of data consistency. In addition, the invention also provides a device, a client and a distributed file system for realizing data consistency in a distributed file system, whose functions correspond to the above methods.

【技术实现步骤摘要】
一种分布式文件系统实现数据一致性的方法及装置
本专利技术涉及存储领域，特别涉及一种分布式文件系统实现数据一致性的方法、装置、客户端及分布式文件系统。
技术介绍
分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统一般由数据存储设备、元数据服务器、以及客户端组成。目前，一方面，随着处理器和存储器之间性能差距越来越大，特别是处理器和外存之间的巨大差距使得I/O瓶颈问题日益突出，例如当前客户端一般将动态随机存取存储器作为缓存，由于该存储器具有易失性的特点，因此需要在上层应用结束前将修改的数据写入数据存储设备，才能保证数据的一致性，这使得数据访问延时较高，甚至存在丢失数据的可能。另一方面，当客户端访问数据存储设备上的文件时，由于动态随机存取存储器是按块对数据进行访问，因此即便客户端需要修改的只是文件中的单个字节，也需要获取整个数据块，降低了数据修改、更新的速度。另外，这种情况下，当多个客户端都请求修改某个文件，但是修改的是该文件中不同的字节，也需要逐个处理各个客户端的修改请求，导致分布式文件系统实现数据一致性的效率非常低。可见，本文档来自技高网...

【技术保护点】
1.一种分布式文件系统实现数据一致性的方法，应用于客户端，其特征在于，所述方法包括：响应于对分布式文件系统中的目标数据的操作请求，获取所述目标数据的一致性模式；获取并占有所述目标数据的锁，其中，所述锁与所述目标数据的一致性模式相对应，所述锁的锁粒度为文件级或字节级；将所述分布式文件系统中的目标数据拷贝到非易失性内存，并根据上层应用对所述目标数据的编辑操作，在所述非易失性内存中生成操作日志，以便于所述分布式文件系统根据所述操作日志对所述分布式文件系统中的目标数据进行更新。

【技术特征摘要】
1.一种分布式文件系统实现数据一致性的方法，应用于客户端，其特征在于，所述方法包括：响应于对分布式文件系统中的目标数据的操作请求，获取所述目标数据的一致性模式；获取并占有所述目标数据的锁，其中，所述锁与所述目标数据的一致性模式相对应，所述锁的锁粒度为文件级或字节级；将所述分布式文件系统中的目标数据拷贝到非易失性内存，并根据上层应用对所述目标数据的编辑操作，在所述非易失性内存中生成操作日志，以便于所述分布式文件系统根据所述操作日志对所述分布式文件系统中的目标数据进行更新。2.如权利要求1所述的方法，其特征在于，所述获取并占有所述目标数据的锁，其中，所述锁与所述目标数据的一致性模式相对应，包括：当所述目标数据的一致性模式为强一致性模式，获取并占有所述目标数据的互斥锁；当所述目标数据的一致性模式为弱一致性模式，获取并占有所述目标数据的非互斥锁。3.如权利要求2所述的方法，其特征在于，在所述当所述目标数据的一致性模式为强一致性模式，获取并占有所述目标数据的互斥锁之后，还包括：若所述目标数据的一致性模式由强一致性模式变更为弱一致性模式，销毁已占有的互斥锁，重新获取并占有所述目标数据的非互斥锁。4.如权利要求2所述的方法，其特征在于，所述分布式文件系统包括元数据服务器和数据存储设备；所述将所述分布式文件系统中的目标数据拷贝到非易失性内存，包括：从所述元数据服务器获取所述目标数据的元数据；根据所述元数据确定所述目标数据在所述数据存储设备中的地址信息，并将所述目标数据从所述数据存储设备拷贝到所述非易失性内存。5.如权利要求1所述的方法，其特征在于，所述...

【专利技术属性】
技术研发人员：苏楠，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41