【技术实现步骤摘要】
本专利技术涉及数据存储，更具体地说，是涉及一种分布式存储数据处理方法。
技术介绍
1、随着通讯、计算、人工智能等新技术的涌现，全球数据量呈指数级增长，数据中心、算力中心、云等的建立，数据存储需求不断上升。在存储数据的硬件使用上，低功耗、超高密度的nand存储器，如固态硬盘(solid state drives，ssd)，是常见的数据存储硬件。固态硬盘是采用固态电子存储芯片阵列而制成的硬盘，固态硬盘包括控制单元与存储单元(flash存储芯片或dram存储芯片)，其中存储单元闪存(nand flash)是固态硬盘的主要存储介质。在闪存块中，字线(word line)是nand存储阵列的两个坐标轴之一，它代表了存储单元的行地址。对于一个闪存块，闪存块中的一个字线(wordline)由一个或若干个页(page)组成，字线内部数据的稳定性，会受组成字线的页自身与该字线后续页的影响。由于闪存的物理结构，每个页中的存储单元之间可能会存在电荷耦合或干扰效应，这会导致数据读取时的误判或数据丢失。此外，由于每个页的编程与擦除次数有限，随着时间的推移，页中的存储单元可能会发生状态反转或疲劳失效，从而导致数据错误或丢失。其次，在闪存中，每个字线通常由多个页组成，而这些页的编程与擦除操作可能会对相邻的页产生干扰或电荷耦合效应，特别是当后续页经过多次编程与擦除操作后，可能会对相邻的页产生明显的干扰或电荷耦合效应，从而影响到字线内部数据的稳定性与可靠性，进而影响到存储系统的稳定性。
技术实现思路
1、为了提高存
2、本专利技术技术方案如下所述：
3、一种分布式存储数据处理方法，计算节点的虚拟机接收数据，虚拟机管理器对母数据进行切片处理形成多个子数据，虚拟机管理器的计算在固态硬盘中完成，根据计算节点所连接的分布式块存储的存储空间、可用性及网络带宽，虚拟机管理器判断各个子数据所存储的分布式存储块并通过分布式存储系统客户端发送至对应的分布式存储块中，分布式存储块中设置多个存储阵列，多块固态硬盘连接到阵列中枢形成存储阵列，在一个分布式存储块中包含多个不同存储类别的存储阵列，任意一个分布式存储块所包含的存储阵列均包含所有的存储类别，根据母数据的类型，经虚拟机管理器的计算后，判断子数据的存储类别，根据该存储类别的预设存储方式，虚拟机管理器发送子数据至对应的存储阵列，存储阵列以预设的存储方式将子数据进行存储。
4、上述的一种分布式存储数据处理方法，计算节点中设置多台虚拟机，虚拟机接收母数据并发送至虚拟机管理器，所有虚拟机均连接虚拟机管理器，虚拟机管理器的计算缓存在固态硬盘中，虚拟机管理器通过分布式存储系统客户端访问与控制分布式存储系统的各个分布式存储块，分布式存储块通过网络连接虚拟机管理器，分布式存储块包括多个存储阵列，每个存储阵列包括多个连接同一阵列中枢的固态硬盘。
5、上述的一种分布式存储数据处理方法，母数据的切片处理步骤包括：
6、步骤a1.对母数据进行切片处理，形成多个子数据；
7、步骤a2.校验计算所有的子数据的总和是否与母数据相等；
8、步骤a3.对子数据进行加密处理；
9、步骤a4.对加密后的子数据进行编码处理。
10、上述的一种分布式存储数据处理方法，完成数据切片后，虚拟机管理器通过分布式存储系统客户端向各个分布式存储块发送存储请求，分布式存储块返回自身的存储信息，存储信息包括可用存储空间、可用性指标及网络带宽，虚拟机管理器经判断后通过分布式存储系统客户端将子数据发送至选定的分布式存储块的存储阵列中，并记录数据的存储位置信息。
11、进一步的，可用性指标与网络带宽的考虑优先度高于可用存储空间，若数据存储对存储速度与访问速度有需求，则优先考虑网络带宽，若无特定传输速度需求，则优先考虑可用性指标，保护存储系统的持续性。
12、再进一步的，设置优先度高于可用存储空间、低于低于可用性指标的位置指标，在满足特定的可用性指标范围内，优先位置更近的分布式存储块。
13、上述的一种分布式存储数据处理方法，存储类别包括一级存储类别、二级存储类别及三级存储类别，每个分布式存储块中均包含有与一级存储类别对应的存储阵列、与二级存储类别对应的存储阵列及与三级存储类别对应的存储阵列。
14、进一步的，虚拟机管理器选择一级存储类别，子数据将被复制分布在对应的各个存储阵列中，所有对应一级存储类别的存储阵列都保存同样的子数据副本。
15、进一步的，虚拟机管理器选择二级存储类别，子数据将被复制到若干个设定数量的对应的存储阵列中，在特定数量的对应二级存储类别的存储阵列中，均存在同样的子数据副本。
16、进一步的，虚拟机管理器选择三级存储类别，子数据将被均匀地分布在对应的特定数量的存储阵列中，并复制至其他分布式存储块中，确保保证本次传输的子数据副本同时保存在多个不同分布式存储块中的存储阵列。
17、根据上述方案的本专利技术，其有益效果在于，
18、1.利用分布式数据存储系统的扩展性与灵活性，将数据分散存储在多个分布式存储块上，同时每个分布式存储配备低功耗、超高密度的固态硬盘的存储阵列作为存储介质，这样既可以满足数据中心、超算中心、云、边缘等存储的大容量与低时延需求，又可以提高数据的可靠性与稳定性。
19、2.通过多个存储阵列的组合与冗余备份，可以进一步提高数据的可靠性与稳定性。
20、3.能够根据数据的类型与实际需求，实现数据的冗余备份、分散式保存，提高数据的冗余性与可靠性，增加系统稳定性。
21、4.分布式存储系统与切片数据的结合，能够提高数据的访问速度与响应时间，降低存储系统各个分布式存储块的带宽需求。
22、5.设置虚拟机对数据存储的分配进行计算，并作为提供存储日志的保存空间，维护存储一致性，同时也增加了外部访问、读写存储系统的切入管理系统。
本文档来自技高网...【技术保护点】
1.一种分布式存储数据处理方法，其特征在于，计算节点的虚拟机接收数据，虚拟机管理器对母数据进行切片处理形成多个子数据，虚拟机管理器的计算在固态硬盘中完成，根据计算节点所连接的分布式块存储的存储空间、可用性及网络带宽，虚拟机管理器判断各个子数据所存储的分布式存储块并通过分布式存储系统客户端发送至对应的分布式存储块中，分布式存储块中设置多个存储阵列，多块固态硬盘连接到阵列中枢形成存储阵列，在一个分布式存储块中包含多个不同存储类别的存储阵列，任意一个分布式存储块所包含的存储阵列均包含所有的存储类别，根据母数据的类型，经虚拟机管理器的计算后，判断子数据的存储类别，根据该存储类别的预设存储方式，虚拟机管理器发送子数据至对应的存储阵列，存储阵列以预设的存储方式将子数据进行存储。
2.根据权利要求1中所述的一种分布式存储数据处理方法，其特征在于，计算节点中设置多台虚拟机，虚拟机接收母数据并发送至虚拟机管理器，所有虚拟机均连接虚拟机管理器，虚拟机管理器的计算缓存在固态硬盘中，虚拟机管理器通过分布式存储系统客户端访问与控制分布式存储系统的各个分布式存储块，分布式存储块通过网络连接虚拟机
3.根据权利要求1中所述的一种分布式存储数据处理方法，其特征在于，母数据的切片处理步骤包括：
4.根据权利要求1中所述的一种分布式存储数据处理方法，其特征在于，完成数据切片后，虚拟机管理器通过分布式存储系统客户端向各个分布式存储块发送存储请求，分布式存储块返回自身的存储信息，存储信息包括可用存储空间、可用性指标及网络带宽，虚拟机管理器经判断后通过分布式存储系统客户端将子数据发送至选定的分布式存储块的存储阵列中，并记录数据的存储位置信息。
5.根据权利要求4中所述的一种分布式存储数据处理方法，其特征在于，可用性指标与网络带宽的考虑优先度高于可用存储空间，若数据存储对存储速度与访问速度有需求，则优先考虑网络带宽，若无特定传输速度需求，则优先考虑可用性指标，保护存储系统的持续性。
6.根据权利要求5中所述的一种分布式存储数据处理方法，其特征在于，设置优先度高于可用存储空间、低于低于可用性指标的位置指标，在满足特定的可用性指标范围内，优先位置更近的分布式存储块。
7.根据权利要求1中所述的一种分布式存储数据处理方法，其特征在于，存储类别包括一级存储类别、二级存储类别及三级存储类别，每个分布式存储块中均包含有与一级存储类别对应的存储阵列、与二级存储类别对应的存储阵列及与三级存储类别对应的存储阵列。
8.根据权利要求7中所述的一种分布式存储数据处理方法，其特征在于，虚拟机管理器选择一级存储类别，子数据将被复制分布在对应的各个存储阵列中，所有对应一级存储类别的存储阵列都保存同样的子数据副本。
9.根据权利要求7中所述的一种分布式存储数据处理方法，其特征在于，虚拟机管理器选择二级存储类别，子数据将被复制到若干个设定数量的对应的存储阵列中，在特定数量的对应二级存储类别的存储阵列中，均存在同样的子数据副本。
10.根据权利要求7中所述的一种分布式存储数据处理方法，其特征在于，虚拟机管理器选择三级存储类别，子数据将被均匀地分布在对应的特定数量的存储阵列中，并复制至其他分布式存储块中，确保保证本次传输的子数据副本同时保存在多个不同分布式存储块中的存储阵列。
...【技术特征摘要】
1.一种分布式存储数据处理方法，其特征在于，计算节点的虚拟机接收数据，虚拟机管理器对母数据进行切片处理形成多个子数据，虚拟机管理器的计算在固态硬盘中完成，根据计算节点所连接的分布式块存储的存储空间、可用性及网络带宽，虚拟机管理器判断各个子数据所存储的分布式存储块并通过分布式存储系统客户端发送至对应的分布式存储块中，分布式存储块中设置多个存储阵列，多块固态硬盘连接到阵列中枢形成存储阵列，在一个分布式存储块中包含多个不同存储类别的存储阵列，任意一个分布式存储块所包含的存储阵列均包含所有的存储类别，根据母数据的类型，经虚拟机管理器的计算后，判断子数据的存储类别，根据该存储类别的预设存储方式，虚拟机管理器发送子数据至对应的存储阵列，存储阵列以预设的存储方式将子数据进行存储。
2.根据权利要求1中所述的一种分布式存储数据处理方法，其特征在于，计算节点中设置多台虚拟机，虚拟机接收母数据并发送至虚拟机管理器，所有虚拟机均连接虚拟机管理器，虚拟机管理器的计算缓存在固态硬盘中，虚拟机管理器通过分布式存储系统客户端访问与控制分布式存储系统的各个分布式存储块，分布式存储块通过网络连接虚拟机管理器，分布式存储块包括多个存储阵列，每个存储阵列包括多个连接同一阵列中枢的固态硬盘。
3.根据权利要求1中所述的一种分布式存储数据处理方法，其特征在于，母数据的切片处理步骤包括：
4.根据权利要求1中所述的一种分布式存储数据处理方法，其特征在于，完成数据切片后，虚拟机管理器通过分布式存储系统客户端向各个分布式存储块发送存储请求，分布式存储块返回自身的存储信息，存储信息包括可用存储空间、可用性指标及网络带宽，虚拟机管理器经判断后通过分布式存储系统客...
【专利技术属性】
技术研发人员：刘瑞平，
申请(专利权)人：南方电网大数据服务有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。