【技术实现步骤摘要】
本专利技术涉及计算机，具体涉及一种数据处理方法、装置、设备及存储介质。
技术介绍
1、在分布式非结构化存储，特别是大数据分布式文件系统的存算分离系统中，通常采用一个存储池存放数据。然而在大规模的分布式非结构化存储系统中，由于一个存储池内通常会管理多个磁盘，从而会导致存储池内部链接过多，内部消耗严重，甚至无法正常运行。同时，由于存储池与故障域密切相关，因此当存储池出现问题后，会影响整个存储业务的输入输出。
技术实现思路
1、有鉴于此，本专利技术提供了一种数据处理方法、装置、设备及存储介质，以解决现有分布式非结构化存储中，由于一个存储池内通常会管理多个磁盘，从而会导致存储池内部链接过多，内部消耗严重，且当该存储池出现问题后，会影响整个命名空间业务输入输出的问题。
2、第一方面，本专利技术提供了一种数据处理方法，应用于非结构化存储系统，该方法包括：获取待写入文件及初始存储池列表，初始存储池列表内存储有多个存储节点，各存储节点内均至少存储有一个正常存储池，且正常存储池之间按照存储节点隔离；针对任一正常存储池，识别正常存储池的存储池容量，并基于正常存储池的存储池容量确定基准存储池及容量相近差，容量相近差用于表征各个正常存储池的存储池容量处于相同数据容量的相近差；基于基准存储池，对初始存储池列表中处于容量相近差内的正常存储池进行筛选，得到目标存储列表；基于待写入文件的文件信息，从目标存储列表中确定用于存储待写入文件的目标存储池。通过上述过程，可以降低存储池内磁盘数据，分而治理，保证
3、在一些可选的实施方式中，基于待写入文件的文件信息，从目标存储列表中确定用于存储待写入文件的目标存储池，包括：
4、获取待写入文件的文件信息，文件信息包括文件名或文件路径；
5、对文件信息进行散列运算，得到散列值；
6、基于目标存储列表中各个存储池的编号对散列值进行取模，得到用于存储待写入文件的目标存储池。
7、在一些可选的实施方式中，基于基准存储池，对初始存储池列表中处于容量相近差内的正常存储池进行筛选，得到目标存储列表，包括：
8、获取初始存储池列表中各个正常存储池的存储池容量；
9、计算正常存储池的存储池容量与基准存储池的存储池容量的容量差；
10、将容量差与容量相近差进行比对，并基于对比结果对初始存储池列表中的正常存储池进行筛选，得到目标存储列表。
11、在一些可选的实施方式中，基于对比结果对初始存储池列表中的正常存储池进行筛选，得到目标存储列表，包括：
12、当对比结果表征容量差小于等于容量相近差时，将正常存储池从初始存储池列表中筛选出；
13、基于筛选出的正常存储池得到目标存储列表。
14、在一些可选的实施方式中，基于正常存储池的存储池容量确定基准存储池及容量相近差，包括：
15、获取初始存储池列表中存储池容量最小的正常存储池；
16、将存储池容量最小的正常存储池确定为基准存储池；
17、基于各个正常存储池的存储池容量差，确定容量相近差。
18、在一些可选的实施方式中，获取初始存储池列表，包括：
19、获取各数据盘所归属的存储节点；
20、基于存储节点为数据盘划分对应的存储池；
21、基于存储节点所对应的存储池，确定原始存储池列表；
22、基于原始存储池列表中各个存储池的存储状态，确定初始存储池列表。
23、在一些可选的实施方式中，基于原始存储池列表中各个存储池的存储状态，确定初始存储池列表；
24、对存储池的服务状态进行监测，得到存储池状态；
25、当存储池状态表征存储池的服务状态为异常时，对原始存储池列表中服务状态为异常的存储池进行剔除，以得到初始存储池列表。
26、第二方面，本专利技术提供了一种数据处理装置，应用于非结构化存储系统，该装置主要包括：信息获取模块、信息确定模块、列表确定模块，以及文件存储模块；其中，信息获取模块，用于获取待写入文件及初始存储池列表，初始存储池列表内存储有多个存储节点，各存储节点内均至少存储有一个正常存储池，且正常存储池之间按照存储节点隔离；信息确定模块，用于针对任一正常存储池，识别正常存储池的存储池容量，并基于正常存储池的存储池容量确定基准存储池及容量相近差，容量相近差用于表征各个正常存储池的存储池容量处于相同数据容量的相近差；列表确定模块，用于基于基准存储池，对初始存储池列表中处于容量相近差内的正常存储池进行筛选，得到目标存储列表；文件存储模块，用于基于待写入文件的文件信息，从目标存储列表中确定用于存储待写入文件的目标存储池。通过上述过程，可以降低存储池内磁盘数据，分而治理，保证系统稳定性；同时，存储池根据节点分组后，形成新的故障域，单节点故障在存储池内做故障恢复、处理，不影响其他存储池，有效隔离故障节点，降低存储池故障对业务的影响。
27、第三方面，本专利技术提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的数据处理方法。
28、第四方面，本专利技术提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的数据处理方法。
本文档来自技高网...【技术保护点】
1.一种数据处理方法，其特征在于，应用于非结构化存储系统，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述待写入文件的文件信息，从所述目标存储列表中确定用于存储所述待写入文件的目标存储池，包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述基准存储池，对所述初始存储池列表中处于所述容量相近差内的正常存储池进行筛选，得到目标存储列表，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于对比结果对所述初始存储池列表中的正常存储池进行筛选，得到目标存储列表，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于所述正常存储池的存储池容量确定基准存储池及容量相近差，包括：
6.根据权利要求1所述的方法，其特征在于，获取初始存储池列表，包括：
7.根据权利要求6所述的方法，其特征在于，基于所述原始存储池列表中各个存储池的存储状态，确定所述初始存储池列表；
8.一种数据处理装置，其特征在于，应用于非结构化存储系统，所述装置包括：
9.一种计算机设备，其特征
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至7中任一项所述的方法。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于非结构化存储系统，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述待写入文件的文件信息，从所述目标存储列表中确定用于存储所述待写入文件的目标存储池，包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述基准存储池，对所述初始存储池列表中处于所述容量相近差内的正常存储池进行筛选，得到目标存储列表，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于对比结果对所述初始存储池列表中的正常存储池进行筛选，得到目标存储列表，包括：
5.根据权利要求1所述的方法，其特...
【专利技术属性】
技术研发人员：王帅阳，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。