一种数据处理方法和装置制造方法及图纸

本发明专利技术公开了一种数据处理方法和装置，涉及大数据领域的数据处理技术领域。该方法的一具体实施方式包括：通过通信层接收NFS客户端传输的数据处理请求发送至协议层；通过协议层解析，得到请求类型和请求参数，请求类型为写请求，将请求参数以日志形式写入日志层的日志盘中，得到日志记录；在写入成功后通过通信层返回NFS客户端响应成功信息；以及异步通过日志层的日志处理模块，从日志盘中读取日志记录并发送至接口层；通过接口层根据请求参数，在后端存储系统中确定存储位置，调用驱动层中与存储位置对应的驱动方式，以将请求参数中的待写入数据写入所述存储位置中。该实施方式具有高读写性能和低延迟的特点，能够显著提升NFS网关的写入性能。

【技术实现步骤摘要】

本专利技术涉及大数据领域的数据处理，尤其涉及一种数据处理方法和装置。

技术介绍

1、随着大数据和云计算的快速发展，分布式文件系统在企业级存储解决方案中扮演着越来越重要的角色。nfs(全称network file system)作为一种成熟且广泛应用的分布式文件系统协议，被广泛用于各种应用场景。然而，传统nfs服务器在高并发、大数据量的场景下，往往面临性能瓶颈和数据一致性问题。

2、为了提高nfs服务器的性能和可靠性，nfs网关作为用户空间的nfs服务器，提供了灵活的架构和丰富的功能支持。然而，在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：在高并发写入场景下，nfs网关依然可能面临写入延迟和数据一致性的问题。

技术实现思路

1、有鉴于此，本专利技术实施例提供一种数据处理方法和装置，至少能够解决现有技术在高并发写入场景下面临写入延迟和数据一致性的现象。

2、为实现上述目的，根据本专利技术实施例的一个方面，提供了一种数据处理方法，应用于分布式文件系统协议nfs服务器，nf本文档来自技高网...

【技术保护点】

1.一种数据处理方法，其特征在于，应用于分布式文件系统协议NFS服务器，NFS服务器包括通信层、协议层、日志层、接口层和驱动层，包括：

2.根据权利要求1所述的方法，其特征在于，所述数据处理请求还包括NFS协议版本信息，根据所述NFS协议版本信息确定相应处理服务。

3.根据权利要求1所述的方法，其特征在于，所述请求参数包括文件名、偏移量、长度、所述待写入数据、文件属性，所述根据日志记录中的请求参数，在后端存储系统中确定存储位置，调用驱动层中与所述存储位置对应的驱动方式，以将请求参数中的待写入数据写入所述存储位置中，包括：

4.根据权利要求1所述的方法，...

【技术特征摘要】

1.一种数据处理方法，其特征在于，应用于分布式文件系统协议nfs服务器，nfs服务器包括通信层、协议层、日志层、接口层和驱动层，包括：

2.根据权利要求1所述的方法，其特征在于，所述数据处理请求还包括nfs协议版本信息，根据所述nfs协议版本信息确定相应处理服务。

3.根据权利要求1所述的方法，其特征在于，所述请求参数包括文件名、偏移量、长度、所述待写入数据、文件属性，所述根据日志记录中的请求参数，在后端存储系统中确定存储位置，调用驱动层中与所述存储位置对应的驱动方式，以将请求参数中的待写入数据写入所述存储位置中，包括：

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

...

【专利技术属性】
技术研发人员：周博，田婷婷，孙家昌，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：