一种数据存储方法、装置、设备及机器可读存储介质制造方法及图纸

技术编号:36708214 阅读:26 留言:0更新日期:2023-03-01 09:32
本公开提供一种数据存储方法、装置、设备及机器可读存储介质,该方法包括:响应于数据复制命令,解析关联于该数据复制命令的数据源地址和数据目的地址;根据数据源地址和数据目的地址均属于本存储集群的判断结果,解析数据源文件的数据分布信息;根据数据源文件的数据分布信息,建立与数据源文件分布于相同存储设备的数据目标文件,执行本地设备数据复制。通过本公开的技术方案,在执行数据复制命令时,根据数据源文件的数据分布,将复制产生的数据目的文件也存储于存储集群内存储数据源文件的存储设备,从而使得在复制文件时,不发生存储设备与存储设备之间的数据传递,避免因此产生网络数据传输,降低网络带宽资源消耗。降低网络带宽资源消耗。降低网络带宽资源消耗。

【技术实现步骤摘要】
一种数据存储方法、装置、设备及机器可读存储介质


[0001]本公开涉及通信
,尤其是涉及一种数据存储方法、装置、设备及机器可读存储介质。

技术介绍

[0002]随高清视频、图像处理、视频监控等技术的发展,用户数据容量正变得越来越大,而且用户对存储数据的读写性能的要求也在同步增加。用户在选购存储产品时,通常会对性能提出明确的要求,以满足业务的需要;在许多业务场景下,存储的性能不仅仅是快慢的区别,甚至会影响到业务本身是否能够正常运行,以文件数字化为例,在档案馆、图书馆将纸质图书数字化后,存储到存储服务器中,当越来越多的数字化图书存储进来,存储集群的容量将会越来越大;同时会有大量的用户进行并发的访问,如果存储集群的读写性能差、读写延迟高,将会降低用户使用的友好度,影响数字化的推进。因此提升存储集群的读写性能十分关键。
[0003]随着数字化的发展,分布式存储使用领域越来越多,存储系统上的数据也随之增多,进而读写操作造成的网络带宽资源消耗增加,使得网络带宽资源十分重要。
[0004]在一些情况下,需要执行存储集群内的文件、数据复制操作,由于存储集群的各存储设备通过网络设备连接到存储集群,并通过集群内网络交互数据,该项复制操作需要消耗较多的网络带宽资源。

技术实现思路

[0005]有鉴于此,本公开提供一种数据存储方法、装置及电子设备、机器可读存储介质,以改善上述集群内复制数据消耗网络资源较多的问题。
[0006]具体地技术方案如下:
[0007]本公开提供了一种数据存储方法,应用于存储集群设备,所述存储集群设备包括若干用于存储数据的存储设备,所述方法包括:响应于数据复制命令,解析关联于该数据复制命令的数据源地址和数据目的地址,判断数据源地址和数据目的地址是否均属于本存储集群;根据数据源地址和数据目的地址均属于本存储集群的判断结果,解析数据源文件的数据分布信息;根据数据源文件的数据分布信息,建立与数据源文件分布于相同存储设备的数据目标文件,执行本地设备数据复制。
[0008]作为一种技术方案,所述根据数据源文件的数据分布信息,建立与数据源文件分布于相同存储设备的数据目标文件,执行本地设备数据复制,包括:所述根据数据源文件的数据分布信息,建立与数据源文件分布于相同磁盘的数据目标文件,执行本地磁盘数据复制。
[0009]作为一种技术方案,所述根据数据源地址和数据目的地址均属于本存储集群的判断结果,解析数据源文件的数据分布信息,包括:所述根据数据源地址和数据目的地址均属于本存储集群的判断结果,解析数据源文件的副本文件的数据分布信息;所述根据数据源
文件的数据分布信息,建立与数据源文件分布于相同存储设备的数据目标文件,执行本地设备数据复制,包括:根据数据源文件的副本文件的数据分布信息,建立与数据源文件的副本文件分布于相同存储设备的数据目标文件的副本文件,执行副本文件的本地设备数据复制。
[0010]作为一种技术方案,所述执行本地设备数据复制,包括:响应于执行的关于数据目标文件和数据目标文件的副本文件的本地设备数据复制完成的事件,反馈数据复制完成的答复信息。
[0011]本公开同时提供了一种数据存储装置,应用于存储集群设备,所述存储集群设备包括若干用于存储数据的存储设备,所述方法包括:地址模块,用于响应于数据复制命令,解析关联于该数据复制命令的数据源地址和数据目的地址,判断数据源地址和数据目的地址是否均属于本存储集群;解析模块,用于根据数据源地址和数据目的地址均属于本存储集群的判断结果,解析数据源文件的数据分布信息;复制模块,用于根据数据源文件的数据分布信息,建立与数据源文件分布于相同存储设备的数据目标文件,执行本地设备数据复制。
[0012]作为一种技术方案,所述根据数据源文件的数据分布信息,建立与数据源文件分布于相同存储设备的数据目标文件,执行本地设备数据复制,包括:所述根据数据源文件的数据分布信息,建立与数据源文件分布于相同磁盘的数据目标文件,执行本地磁盘数据复制。
[0013]作为一种技术方案,所述根据数据源地址和数据目的地址均属于本存储集群的判断结果,解析数据源文件的数据分布信息,包括:所述根据数据源地址和数据目的地址均属于本存储集群的判断结果,解析数据源文件的副本文件的数据分布信息;所述根据数据源文件的数据分布信息,建立与数据源文件分布于相同存储设备的数据目标文件,执行本地设备数据复制,包括:根据数据源文件的副本文件的数据分布信息,建立与数据源文件的副本文件分布于相同存储设备的数据目标文件的副本文件,执行副本文件的本地设备数据复制。
[0014]作为一种技术方案,所述执行本地设备数据复制,包括:响应于执行的关于数据目标文件和数据目标文件的副本文件的本地设备数据复制完成的事件,反馈数据复制完成的答复信息。
[0015]本公开同时提供了一种电子设备,包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,处理器执行所述机器可执行指令以实现前述的数据存储方法。
[0016]本公开同时提供了一种机器可读存储介质,所述机器可读存储介质存储有机器可执行指令,所述机器可执行指令在被处理器调用和执行时,所述机器可执行指令促使所述处理器实现前述的数据存储方法。
[0017]本公开提供的上述技术方案至少带来了以下有益效果:
[0018]在执行数据复制命令时,首先分析复制产生的数据是否将存储于与数据源相同的数据集群,若是则根据数据源文件的数据分布,将复制产生的数据目的文件也存储于存储集群内存储数据源文件的存储设备,从而使得在复制文件时,不发生存储设备与存储设备之间的数据传递,避免因此产生网络数据传输,不占用业务网络和存储网络,降低网络带宽
资源消耗。
附图说明
[0019]为了更加清楚地说明本公开实施方式或者现有技术中的技术方案,下面将对本公开实施方式或者现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开中记载的一些实施方式,对于本领域普通技术人员来讲,还可以根据本公开实施方式的这些附图获得其他的附图。
[0020]图1是本公开一种实施方式中的数据存储方法的流程图;
[0021]图2是本公开一种实施方式中的数据存储装置的结构图;
[0022]图3是本公开一种实施方式中的电子设备的硬件结构图。
具体实施方式
[0023]在本公开实施方式使用的术语仅仅是出于描述特定实施方式的目的,而非限制本公开。本公开和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其它含义。还应当理解,本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
[0024]应当理解,尽管在本公开实施方式可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本公开范围的情况下,第一本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法,其特征在于,应用于存储集群设备,所述存储集群设备包括若干用于存储数据的存储设备,所述方法包括:响应于数据复制命令,解析关联于该数据复制命令的数据源地址和数据目的地址,判断数据源地址和数据目的地址是否均属于本存储集群;根据数据源地址和数据目的地址均属于本存储集群的判断结果,解析数据源文件的数据分布信息;根据数据源文件的数据分布信息,建立与数据源文件分布于相同存储设备的数据目标文件,执行本地设备数据复制。2.根据权利要求1所述的方法,其特征在于,所述根据数据源文件的数据分布信息,建立与数据源文件分布于相同存储设备的数据目标文件,执行本地设备数据复制,包括:所述根据数据源文件的数据分布信息,建立与数据源文件分布于相同磁盘的数据目标文件,执行本地磁盘数据复制。3.根据权利要求1所述的方法,其特征在于,所述根据数据源地址和数据目的地址均属于本存储集群的判断结果,解析数据源文件的数据分布信息,包括:所述根据数据源地址和数据目的地址均属于本存储集群的判断结果,解析数据源文件的副本文件的数据分布信息;所述根据数据源文件的数据分布信息,建立与数据源文件分布于相同存储设备的数据目标文件,执行本地设备数据复制,包括:根据数据源文件的副本文件的数据分布信息,建立与数据源文件的副本文件分布于相同存储设备的数据目标文件的副本文件,执行副本文件的本地设备数据复制。4.根据权利要求3所述的方法,其特征在于,所述执行本地设备数据复制,包括:响应于执行的关于数据目标文件和数据目标文件的副本文件的本地设备数据复制完成的事件,反馈数据复制完成的答复信息。5.一种数据存储装置,其特征在于,应用于存储集群设备,所述存储集群设备包括若干用于存储数据的存储设备,所述装置包括:地址模块,用于响应于数据复制命令,解析关联于该数据复制命令的数据源地址和数据目的地址,判断数据源地址和数据目的地址是否均属于本存储集群;解析...

【专利技术属性】
技术研发人员:刘浩
申请(专利权)人:新华三信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1