数据处理方法和分布式存储装置制造方法及图纸

本公开提供了一种数据处理方法，应用于分布式存储装置，包括：确定源节点和目标节点，其中，源节点包括分布式存储装置中任一需要进行数据备份的数据存储节点，目标节点为源节点的备份节点；获取与源节点对应的第一数据文件和第一数据文件的第一快照文件，以及与目标节点对应的第二数据文件和第二数据文件的第二快照文件；将第一数据文件中的数据全部存入第二数据文件中；确定第二数据文件与第一快照文件之间的相同数据和差异数据；以及基于相同数据对应的数据索引和差异数据，确定第二快照文件中的存储内容。本公开还提供了一种分布式存储装置。

【技术实现步骤摘要】
数据处理方法和分布式存储装置
本公开涉及一种数据处理方法和分布式存储装置。
技术介绍
分布式存储是指利用集群和分布式文件装置等技术，集合网络中大量的不同类型的存储设备，共同对外提供数据存储功能和业务访问功能的存储方式。为了保证数据的安全性和高可用性，分布式存储装置通常会采用多副本机制，即当用户在分布式存储装置中存储一份数据时，分布式存储装置会根据用户设置的副本数(如3份)，将这份数据存储为多份(如3份)。而当分布式存储装置的节点宕机或磁盘出现故障时，会导致数据的副本数减少。进一步，为了保证分布式存储装置中数据的副本数满足用户的需求，在节点宕机或磁盘出现故障后，通常会重新创建一个节点来恢复丢失的数据。但是，在实现本公开构思的过程中，专利技术人发现现有技术中至少存在如下缺陷：对于分布式存储装置，现有的数据恢复方案极易影响装置的性能，导致装置响应过慢。
技术实现思路
本公开的一个方面提供了一种数据处理方法，应用于分布式存储装置，包括：确定源节点和目标节点，其中，上述源节点包括上述分布式存储装置中任一需要进行数据备份的数据存储节点，上述目标节点为上述源节点的备份节点；获取与上述源节点对应的第一数据文件和上述第一数据文件的第一快照文件，以及与上述目标节点对应的第二数据文件和上述第二数据文件的第二快照文件；将上述第一数据文件中的数据全部存入上述第二数据文件中；确定上述第二数据文件与上述第一快照文件之间的相同数据和差异数据；以及基于上述相同数据对应的数据索引和上述差异数据，确定上述第二快照文件中的存储内容。可选地，上述分布式存储装置中需要进行数据备份的数据存储节点包括以下至少之一：上述分布式存储装置中出现宕机的数据存储节点；上述分布式存储装置中出现故障的数据存储节点；以及上述分布式存储装置中既未出现宕机也未出现故障但需要为其创建备份节点的数据存储节点。可选地，获取与上述源节点对应的第一数据文件和上述第一数据文件的第一快照文件包括：在上述源节点宕机或者故障的情况下：从上述分布式存储装置的其他数据存储节点中获取上述源节点中的数据文件的副本数据文件以及上述源节点中的快照文件的副本快照文件；将上述副本数据文件作为上述第一数据文件；以及将上述副本快照文件作为上述第一快照文件，或者在上述源节点既未出现宕机也未出现故障但需要为其创建备份节点的情况下：获取上述源节点中的数据文件并将其作为上述第一数据文件；以及获取上述源节点中的快照文件并将其作为上述第一快照文件。可选地，在上述源节点宕机或者故障的情况下，从上述分布式存储装置的其他数据存储节点中获取上述源节点中的快照文件的副本快照文件包括：判断上述分布式存储装置的其他数据存储节点中是否存在上述源节点中的快照文件的副本快照文件；若存在，则从上述分布式存储装置的其他数据存储节点中获取上述源节点中的快照文件的副本快照文件；以及若不存在，则从快照数据库中获取上述源节点中的快照文件的副本快照文件，或者在上述源节点既未出现宕机也未出现故障但需要为其创建备份节点的情况下，获取上述源节点中的快照文件包括：判断上述源节点中是否存在快照文件；若存在，则获取上述源节点中的快照文件；以及若不存在，则从快照数据库中获取上述源节点中的快照文件。可选地，基于上述相同数据对应的数据索引和上述差异数据，确定上述第二快照文件中的存储内容包括：在上述源节点宕机或者故障的情况下：将上述相同数据对应的数据索引和上述差异数据本身存入上述第二快照文件中，或者在上述源节点既未出现宕机也未出现故障但需要为其创建备份节点的情况下：将上述相同数据对应的数据索引和上述差异数据对应的数据索引存入上述第二快照文件中。本公开的另一个方面提供了一种分布式存储装置，包括：第一确定模块，用于确定源节点和目标节点，其中，上述源节点包括上述分布式存储装置中任一需要进行数据备份的数据存储节点，上述目标节点为上述源节点的备份节点；获取模块，用于获取与上述源节点对应的第一数据文件和上述第一数据文件的第一快照文件，以及与上述目标节点对应的第二数据文件和上述第二数据文件的第二快照文件；存储模块，用于将上述第一数据文件中的数据全部存入上述第二数据文件中；第二确定模块，用于确定上述第二数据文件与上述第一快照文件之间的相同数据和差异数据；以及第三确定模块，用于基于上述相同数据对应的数据索引和上述差异数据，确定上述第二快照文件中的存储内容。可选地，上述分布式存储装置中需要进行数据备份的数据存储节点包括以下至少之一：上述分布式存储装置中出现宕机的数据存储节点；上述分布式存储装置中出现故障的数据存储节点；以及上述分布式存储装置中既未出现宕机也未出现故障但需要为其创建备份节点的数据存储节点。可选地，上述获取模块包括：第一获取单元，用于在上述源节点宕机或者故障的情况下，从上述分布式存储装置的其他数据存储节点中获取上述源节点中的数据文件的副本数据文件以及上述源节点中的快照文件的副本快照文件；将上述副本数据文件作为上述第一数据文件；以及将上述副本快照文件作为上述第一快照文件，或者第二获取单元，用于在上述源节点既未出现宕机也未出现故障但需要为其创建备份节点的情况下，获取上述源节点中的数据文件并将其作为上述第一数据文件；以及获取上述源节点中的快照文件并将其作为上述第一快照文件。可选地，上述第一获取单元包括：第一判断子单元，用于判断上述分布式存储装置的其他数据存储节点中是否存在上述源节点中的快照文件的副本快照文件；第一获取子单元，用于在判断出上述分布式存储装置的其他数据存储节点中存在上述源节点中的快照文件的副本快照文件的情况下，从上述分布式存储装置的其他数据存储节点中获取上述源节点中的快照文件的副本快照文件；以及第二获取子单元，用于在判断出上述分布式存储装置的其他数据存储节点中不存在上述源节点中的快照文件的副本快照文件的情况下，从快照数据库中获取上述源节点中的快照文件的副本快照文件，或者上述第二获取单元包括：第二判断子单元，用于判断上述源节点中是否存在快照文件；第三获取子单元，用于在判断出上述源节点中存在上述快照文件的情况下，获取上述源节点中的快照文件；以及第四获取子单元，用于在判断出上述源节点中不存在上述快照文件的情况下，从快照数据库中获取上述源节点中的快照文件。可选地，上述第三确定模块包括：第一确定单元，用于在上述源节点宕机或者故障的情况下，将上述相同数据对应的数据索引和上述差异数据本身存入上述第二快照文件中，或者第二确定单元，用于在上述源节点既未出现宕机也未出现故障但需要为其创建备份节点的情况下，将上述相同数据对应的数据索引和上述差异数据对应的数据索引存入上述第二快照文件中。本公开的另一方面提供了一种非易失性存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的数据处理方法。本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的数据处理方法。本公开的另一个方面提供了一种计算机装置，包括：一个或多个处理器；计算机可读存储介质，用于存储一个或多个程序，其中，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如上所述的数据处理方法。附图说明为了更完整地理解本公开及其优势，现在将参考结合本文档来自技高网...

【技术保护点】
1.一种数据处理方法，应用于分布式存储装置，包括：确定源节点和目标节点，其中，所述源节点包括所述分布式存储装置中任一需要进行数据备份的数据存储节点，所述目标节点为所述源节点的备份节点；获取与所述源节点对应的第一数据文件和所述第一数据文件的第一快照文件，以及与所述目标节点对应的第二数据文件和所述第二数据文件的第二快照文件；将所述第一数据文件中的数据全部存入所述第二数据文件中；确定所述第二数据文件与所述第一快照文件之间的相同数据和差异数据；以及基于所述相同数据对应的数据索引和所述差异数据，确定所述第二快照文件中的存储内容。

【技术特征摘要】
1.一种数据处理方法，应用于分布式存储装置，包括：确定源节点和目标节点，其中，所述源节点包括所述分布式存储装置中任一需要进行数据备份的数据存储节点，所述目标节点为所述源节点的备份节点；获取与所述源节点对应的第一数据文件和所述第一数据文件的第一快照文件，以及与所述目标节点对应的第二数据文件和所述第二数据文件的第二快照文件；将所述第一数据文件中的数据全部存入所述第二数据文件中；确定所述第二数据文件与所述第一快照文件之间的相同数据和差异数据；以及基于所述相同数据对应的数据索引和所述差异数据，确定所述第二快照文件中的存储内容。2.根据权利要求1所述的方法，其中，所述分布式存储装置中需要进行数据备份的数据存储节点包括以下至少之一：所述分布式存储装置中出现宕机的数据存储节点；所述分布式存储装置中出现故障的数据存储节点；以及所述分布式存储装置中既未出现宕机也未出现故障但需要为其创建备份节点的数据存储节点。3.根据权利要求2所述的方法，其中，获取与所述源节点对应的第一数据文件和所述第一数据文件的第一快照文件包括：在所述源节点宕机或者故障的情况下：从所述分布式存储装置的其他数据存储节点中获取所述源节点中的数据文件的副本数据文件以及所述源节点中的快照文件的副本快照文件；将所述副本数据文件作为所述第一数据文件；以及将所述副本快照文件作为所述第一快照文件，或者在所述源节点既未出现宕机也未出现故障但需要为其创建备份节点的情况下：获取所述源节点中的数据文件并将其作为所述第一数据文件；以及获取所述源节点中的快照文件并将其作为所述第一快照文件。4.根据权利要求3所述的方法，其中：在所述源节点宕机或者故障的情况下，从所述分布式存储装置的其他数据存储节点中获取所述源节点中的快照文件的副本快照文件包括：判断所述分布式存储装置的其他数据存储节点中是否存在所述源节点中的快照文件的副本快照文件；若存在，则从所述分布式存储装置的其他数据存储节点中获取所述源节点中的快照文件的副本快照文件；以及若不存在，则从快照数据库中获取所述源节点中的快照文件的副本快照文件，或者在所述源节点既未出现宕机也未出现故障但需要为其创建备份节点的情况下，获取所述源节点中的快照文件包括：判断所述源节点中是否存在快照文件；若存在，则获取所述源节点中的快照文件；以及若不存在，则从快照数据库中获取所述源节点中的快照文件。5.根据权利要求2所述的方法，其中，基于所述相同数据对应的数据索引和所述差异数据，确定所述第二快照文件中的存储内容包括：在所述源节点宕机或者故障的情况下：将所述相同数据对应的数据索引和所述差异数据本身存入所述第二快照文件中，或者在所述源节点既未出现宕机也未出现故障但需要为其创建备份节点的情况下：将所述相同数据对应的数据索引和所述差异数据对应的数据索引存入所述第二快照文件中。6.一种分布式存储装置，包括：第一确定模块，用于确定源节点和目标节点，其中，所述源节点包括所述分布式存储...

【专利技术属性】
技术研发人员：温利娟，李红，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：北京,11