【技术实现步骤摘要】
本申请涉及分布式存储，尤其涉及一种数据处理方法、装置、设备及存储介质。
技术介绍
1、在人工智能技术中，模型训练通常在计算节点中进行，而计算节点通过其连接的存储节点来完成运算数据的读取和存储，随着高性能计算的发展，现目前对后端分布式存储也提出了更高的要求。
2、现目前，主要通过lustre并行文件系统的客户端持久缓存pcc方案来满足高性能计算场景中的高速数据读写需求。pcc方案中，计算节点作为并行文件系统客户端，使用高性能磁盘。存储节点作为并行文件系统的服务端，可使用低速磁盘。客户端异步将服务端中的数据缓存到读写缓冲层，进而客户端在进行高性能计算时可以从读写缓冲层中快速读取数据。但在pcc方案中，为了保证数据一致，同一份数据只能缓存在一个客户端的读写缓冲层中，如果有多个客户端从服务端缓存了同一份数据，那么这份数据会从先缓存这份数据的客户端中失效。这无法在多客户端场景中实现高速数据读写，影响高性能计算的效率。
3、综上，现有技术的lustre并行文件系统，无法在多客户端场景中实现高速数据读写。
技术实现思路
1、本申请提供一种数据处理方法、装置、设备及存储介质，用以解决现有技术中lustre并行文件系统无法在多客户端场景中实现高速数据读写的技术问题。
2、第一方面，本申请提供一种数据处理方法，应用于元数据服务设备，所述元数据服务设备位于预设网络架构中，所述预设网络架构还包括存储服务设备和多个客户端设备，所述方法包括：
3、接收目标客户端
4、根据所述目标数据标识确定多个客户端设备中是否存在对目标数据执行写入操作的写访问客户端设备；
5、若存在所述写访问客户端设备，则向目标客户端设备发送目标数据写入限制响应；
6、若不存在所述写访问客户端设备，则根据所述目标数据标识确定多个客户端设备中是否存在对目标数据执行读取操作的读访问客户端设备；
7、若不存在所述读访问客户端设备，则向目标客户端设备发送目标数据写入允许响应；所述目标数据写入允许响应用于指示目标客户端设备将目标数据写入所述存储服务设备；
8、若存在所述读访问客户端设备，则向所述读访问客户端设备发送目标数据失效指令，并向目标客户端设备发送目标数据写入允许响应；所述目标数据失效指令用于指示所述读访问客户端设备对目标数据执行失效处理。
9、可选地，如上所述的方法，所述根据所述目标数据标识确定多个客户端设备中是否存在对目标数据执行写入操作的写访问客户端设备，包括：
10、根据所述目标数据标识获取目标数据对应的写访问设备列表；
11、若所述写访问设备列表为空，则确定不存在所述写访问客户端设备；
12、若所述写访问设备列表不为空，则确定存在所述写访问客户端设备。
13、可选地，如上所述的方法，所述向目标客户端设备发送目标数据写入允许响应之后，还包括：
14、将目标客户端设备的标识添加至所述写访问设备列表中。
15、可选地，如上所述的方法，所述向目标客户端设备发送目标数据写入允许响应之后，还包括：
16、接收目标客户端设备发送目标数据写入完毕响应；
17、响应于所述目标数据写入完毕响应，将目标客户端设备的标识从所述写访问设备列表中删除。
18、可选地，如上所述的方法，所述根据所述目标数据标识确定多个客户端设备中是否存在对目标数据执行读取操作的读访问客户端设备，包括：
19、根据所述目标数据标识获取目标数据对应的读访问设备列表；
20、若所述读访问设备列表为空，则确定不存在所述读访问客户端设备；
21、若所述读访问设备列表不为空，则确定存在所述读访问客户端设备。
22、可选地，如上所述的方法，所述向所述读访问客户端设备发送目标数据失效指令之后，还包括：
23、将所述读访问客户端设备的标识从所述读访问设备列表中删除。
24、可选地，如上所述的方法，所述方法还包括：
25、接收目标客户端设备发送的目标数据读取请求；所述目标数据读取请求包括目标数据标识和目标客户端设备的缓存启停标识；所述缓存启停标识为缓存启用或缓存停用；
26、根据所述目标数据标识确定多个客户端设备中是否存在对目标数据执行写入操作的写访问客户端设备；
27、若存在所述写访问客户端设备，则向目标客户端设备发送目标数据读取限制响应；
28、若不存在所述写访问客户端设备且所述缓存启停标识为缓存启用，则向目标客户端设备发送目标数据第一读取允许响应，所述目标数据第一读取允许响应包括缓存读取标识，以使目标客户端设备，从存储服务设备中读取目标数据并存储至其读写缓存中；
29、若不存在所述写访问客户端设备且所述缓存启停标识为缓存停用，则向目标客户端设备发送目标数据第二读取允许响应，所述目标数据第二读取允许响应包括直接读取标识，以使目标客户端设备，从存储服务设备中读取目标数据并存储至其处理器中。
30、可选地，如上所述的方法，所述向目标客户端设备发送目标数据第一读取允许响应之后，还包括：
31、将目标客户端设备的标识添加至所述读访问设备列表中。
32、可选地，如上所述的方法，所述方法还包括：
33、接收目标客户端设备发送的目标数据删除请求；所述目标数据删除请求包括目标数据标识；
34、根据所述目标数据标识确定多个客户端设备中是否存在对目标数据执行读取操作的读访问客户端设备；
35、若不存在所述读访问客户端设备，则向存储服务设备发送目标数据删除指令，以使存储服务设备删除目标数据；
36、若存在所述读访问客户端设备，则向所述读访问客户端设备发送目标数据失效指令，以使所述读访问客户端设备对目标数据执行失效处理；
37、接收所述读访问客户端设备发送的目标数据删除响应；
38、响应于所述目标数据删除响应，向存储服务设备发送目标数据删除指令，以使存储服务设备删除目标数据；
39、接收存储服务设备发送的目标数据删除响应；
40、响应于所述目标数据删除响应，向目标客户端设备发送目标数据删除成功响应。
41、第二方面，本申请提供一种数据处理方法，应用于客户端设备，所述客户端设备位于预设网络架构中，所述预设网络架构中还包括元数据服务设备和存储服务设备，所述数据读取方法包括：
42、确定目标数据是否在读写缓存中存在；
43、若确定目标数据在读写缓存中存在，则确定目标数据是否失效；
44、若确定目标数据未失效，则从读写缓存中读取目标数据至处理器中；
45、若确定目标数据在读写缓存中不存在，或确定目标数据失效，则本文档来自技高网...
【技术保护点】
1.一种数据处理方法，其特征在于，应用于元数据服务设备，所述元数据服务设备位于预设网络架构中，所述预设网络架构还包括存储服务设备和多个客户端设备，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标数据标识确定多个客户端设备中是否存在对目标数据执行写入操作的写访问客户端设备，包括：
3.根据权利要求2所述的方法，其特征在于，所述向目标客户端设备发送目标数据写入允许响应之后，还包括：
4.根据权利要求2所述的方法，其特征在于，所述向目标客户端设备发送目标数据写入允许响应之后，还包括：
5.根据权利要求1所述的方法，其特征在于，所述根据所述目标数据标识确定多个客户端设备中是否存在对目标数据执行读取操作的读访问客户端设备，包括：
6.根据权利要求5所述的方法，其特征在于，所述向所述读访问客户端设备发送目标数据失效指令之后，还包括：
7.根据权利要求5所述的方法，其特征在于，所述方法还包括：
8.根据权利要求7所述的方法，其特征在于，所述向目标客户端设备发送目标数据第一读取允许响应之
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
10.一种数据处理方法，其特征在于，应用于客户端设备，所述客户端设备位于预设网络架构中，所述预设网络架构中还包括元数据服务设备和存储服务设备，所述方法包括：
11.一种数据处理装置，其特征在于，应用于元数据服务设备，所述元数据服务设备位于预设网络架构中，所述预设网络架构还包括存储服务设备和多个客户端设备，所述装置包括：
12.一种元数据服务设备，其特征在于，包括：存储器、处理器和收发器；
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至10任一项所述的方法。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于元数据服务设备，所述元数据服务设备位于预设网络架构中，所述预设网络架构还包括存储服务设备和多个客户端设备，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标数据标识确定多个客户端设备中是否存在对目标数据执行写入操作的写访问客户端设备，包括：
3.根据权利要求2所述的方法，其特征在于，所述向目标客户端设备发送目标数据写入允许响应之后，还包括：
4.根据权利要求2所述的方法，其特征在于，所述向目标客户端设备发送目标数据写入允许响应之后，还包括：
5.根据权利要求1所述的方法，其特征在于，所述根据所述目标数据标识确定多个客户端设备中是否存在对目标数据执行读取操作的读访问客户端设备，包括：
6.根据权利要求5所述的方法，其特征在于，所述向所述读访问客户端设备发送目标数据失效指令之后，还包括：
7.根据权利...
【专利技术属性】
技术研发人员：曹思宇，黄侨星，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。