用于信息处理的方法、电子设备和计算机存储介质技术

根据本公开的示例实施例，提供了一种用于信息处理的方法、电子设备和计算机可读存储介质。该方法包括在存储设备处，接收数据块和与数据块相关联的指纹信息，指纹信息用于标识数据块，以及基于指纹信息与存储位置之间的预定关联以及接收的指纹信息，确定接收的数据块的存储位置，预定关联至少包括与已存储数据块相关联的历史指纹信息和历史存储位置之间的关联。由此，能够实现基于接收的指纹信息以及指纹信息和存储位置之间的预定关联，确定数据块的存储位置，从而提高冗余数据删除效率。从而提高冗余数据删除效率。从而提高冗余数据删除效率。

【技术实现步骤摘要】
用于信息处理的方法、电子设备和计算机存储介质


[0001]本公开的实施例总体涉及信息处理领域，具体涉及用于信息处理的方法、电子设备和计算机存储介质。

技术介绍

[0002]随着信息技术的发展，数据变得越来越多。在存储数据过程中，需要进行冗余数据删除，以便删除冗余数据，提高存储效率。目前存在两种冗余数据删除方法，一种称为后处理方法(Post-Process)，先存储数据再删除冗余；另一种称为在线方法(inline)，先删除冗余数据再存储。对于后处理方法，因为需要更多写入和删除操作，所以需要更多存储空间并且增加了I/O负载。对于在线方法，不浪费额外存储空间并且需要更少的I/O操作。
[0003]由于冗余数据删除操作需要计算哈希/和校验和作为指纹用于识别数据是否冗余，因此需要消耗大量的诸如CPU和存储器的计算和存储资源，并且导致入流的冗余数据删除操作的延迟增加。目前的加速冗余数据删除操作的方法通过添加专用硬件加速器来帮助例如CPU的处理器来处理所有数据块，但是处理器或专用硬件加速器的性能限制了存储系统中的冗余数据删除的吞吐量。

技术实现思路

[0004]本公开的实施例提供了用于信息处理的方法、电子设备和计算机存储介质，能够实现基于接收的指纹信息以及指纹信息和存储位置之间的预定关联，确定数据块的存储位置，从而提高冗余数据删除效率。
[0005]在本公开的第一方面，提供了一种用于信息处理的方法。该方法包括：在存储设备处，接收数据块和与数据块相关联的指纹信息，指纹信息用于标识数据块；以及基于指纹信息与存储位置之间的预定关联以及接收的指纹信息，确定接收的数据块的存储位置，预定关联至少包括与已存储数据块相关联的历史指纹信息和历史存储位置之间的关联。
[0006]在本公开的第二方面，提供了一种电子设备。该电子设备包括至少一个处理单元和至少一个存储器。至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。该指令当由至少一个处理单元执行时使得电子设备执行根据本公开的第一方面所描述的方法的任意步骤。
[0007]在本公开的第三方面，提供了一种计算机可读存储介质。该计算机可读存储介质上存储有计算机程序，计算机程序被机器执行时使机器实现根据本公开的第一方面所描述的方法的任意步骤。
[0008]提供
技术实现思路
部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。
技术实现思路
部分无意标识本公开的关键特征或必要特征，也无意限制本公开的范围。
附图说明
[0009]通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。
[0010]图1示出了根据本公开的实施例的信息处理环境100的示例的示意图；
[0011]图2示出了根据本公开的实施例的用于信息处理的方法200的示意流程图；
[0012]图3示出了根据本公开的实施例的用于确定接收的数据块的存储位置的方法300的示意流程图；
[0013]图4示出了根据本公开的实施例的用于信息处理的方法400的示意流程图；以及
[0014]图5示出了可以用来实施本公开内容的实施例的示例设备500的示意性框图。
[0015]在各个附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
[0016]下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
[0017]在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
[0018]如上文所述，目前加速冗余数据删除操作的方法通过添加专用硬件加速器来帮助例如CPU的处理器来处理所有数据块，但是处理器或专用硬件加速器的性能限制了存储系统中的冗余数据删除的吞吐量。
[0019]为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个，本公开的示例实施例提出了一种用于信息处理的方案。在该方案中，在存储设备处，接收数据块和与数据块相关联的指纹信息，指纹信息用于标识数据块，以及基于指纹信息与存储位置之间的预定关联以及接收的指纹信息，确定接收的数据块的存储位置，预定关联至少包括与已存储数据块相关联的历史指纹信息和历史存储位置之间的关联。
[0020]在上述方案中，通过基于所接收的与数据块关联的指纹信息和指纹信息与存储位置之间的预定关联来确定数据块的存储位置，避免了消耗存储设备的本地资源来计算指纹信息，从而提高了冗余数据删除的效率。
[0021]在下文中，将结合附图更详细地描述本方案的具体示例。
[0022]图1示出了根据本公开的实施例的信息处理环境100的示例的示意图。信息处理环境100包括存储设备110、交换设备120和终端设备130。
[0023]存储设备110包括但不限于个人计算机、服务器计算机、多处理器系统、大型计算机、包括上述系统或设备中的任意一个的分布式计算环境等。在一些实施例中，存储设备110可以具有一个或多个处理单元，包括诸如图形处理单元GPU、现场可编程门阵列FPGA和
专用集成电路ASIC等的专用处理单元以及诸如中央处理单元CPU的通用处理单元。另外，存储设备110上也可以运行着一个或多个虚拟机。在一些实施例中，存储设备110可实现有数据存储系统或者作为数据存储系统的一部分。
[0024]交换设备120例如但不限于是可编程交换机，可对其重新编程有不限于网络相关功能的新特征和功能。用于可编程交换机的程序例如可以用P4语言编写并且能够在线更新到可编程交换机。
[0025]终端设备130例如但不限于是空调控制器、智能锁、交通灯、网络摄像头等的物联网设备。在一些实施例中，终端设备130至少可以包括通信模块、存储器和处理器。通信模块用于经由交换设备120与存储设备110进行通信，例如将数据块经由交换设备120发送到存储设备110。存储器用于存储一个或多个计算机程序。处理器耦合至存储器并且执行一个或多个程序使得终端设备130能够执行一种或多种功能。
[0026]存储设备110用于从交换设备120接收数据块和与数据块相关联的指纹信息，指纹信息用于标识数据块，以及基于指纹信息与存储位置之间的预定关联以及接收的指纹信息，确定接收的数据块的存储位置，预定关联至少包括与已存储数据块相关联的历史指纹信息和历史存储位置之间的关联。
[0027]交本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于信息处理的方法，包括：在存储设备处，接收数据块和与所述数据块相关联的指纹信息，所述指纹信息用于标识所述数据块；以及基于指纹信息与存储位置之间的预定关联以及接收的所述指纹信息，确定接收的所述数据块的存储位置，所述预定关联至少包括与已存储数据块相关联的历史指纹信息和历史存储位置之间的关联。2.根据权利要求1所述的方法，其中确定接收的所述数据块的存储位置包括：在所述预定关联中搜索接收的所述指纹信息；以及响应于确定在所述预定关联中未找到接收的所述指纹信息，为接收的所述数据块指定一个存储位置，以及利用接收的所述指纹信息与指定的所述存储位置之间的关联，更新所述预定关联。3.根据权利要求2所述的方法，还包括：将接收的所述数据块存储在指定的所述存储位置。4.根据权利要求1所述的方法，其中确定接收的所述数据块的存储位置包括：在所述预定关联中搜索接收的所述指纹信息；以及响应于确定在所述预定关联中找到接收的所述指纹信息，获取与接收的所述指纹信息相关联的存储位置作为所述数据块的存储位置。5.根据权利要求1所述的方法，其中接收所述指纹信息包括：接收与所述数据块相关联的哈希信息与校验和信息中的至少一项。6.根据权利要求1所述的方法，其中接收所述数据块和与所述数据块相关联的所述指纹信息包括：从交换设备接收所述数据块和与所述数据块相关联的所述指纹信息，其中接收的所述指纹信息由所述交换设备基于所述数据块而生成。7.一种电子设备，包括：至少一个处理单元；以及至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令当由所述至少一个处理单元执行时，...

【专利技术属性】
技术研发人员：胡晨曦，董世旭，
申请(专利权)人：伊姆西IP控股有限责任公司，
类型：发明
国别省市：