数据的管理方法、装置以及电子设备制造方法及图纸

本申请提供了一种数据的管理方法、装置以及电子设备，涉及数据管理技术领域，可以解决数据储存的合理度较低的技术问题。具体方案为：数据的管理方法应用于第一储存节点，所述第一储存节点中储存有第一哈希值集合，所述第一哈希值集合中的每个哈希值与本地储存的数据块一一对应，所述方法包括：接收第二储存节点传输的待处理数据块；所述待处理数据块对应有待处理哈希值；对所述第一哈希值集合中的所有哈希值进行遍历；若所述所有哈希值中，不存在与所述待处理哈希值相同的哈希值，则将所述待处理数据块储存至本地。

Data management methods, devices and electronic equipment

【技术实现步骤摘要】
数据的管理方法、装置以及电子设备
本申请涉及数据管理
，尤其是涉及一种数据的管理方法、装置以及电子设备。
技术介绍
数据管理是利用计算机硬件和软件技术对数据进行有效的收集、储存、处理和应用的过程，目的在于充分有效的发挥数据的作用。其中，数据的储存是将经过加工整理序化后的数据按照一定的格式和顺序，储存在特定的载体中。例如，数据以某种格式记录在计算机内部或外部储存介质上。其目的是为了便于数据管理者能够快速准确的识别、定位和检索到数据。数据储存的对象包括数据流在加工过程中产生的临时文件、加工过程中需要查找的信息等等多种数据。因此，一般的储存节点中会储存有大量数据，这些大量数据需要占用的储存空间也会较大，使储存资源的浪费情况较为严重。对于现有技术而言，急需一种较为合理的数据管理方法，以对数据进行合理的储存。
技术实现思路
本申请的目的在于提供一种数据的管理方法、装置以及电子设备，以解决数据储存的合理度较低的技术问题。本专利技术提供的一种数据的管理方法，应用于第一储存节点，所述第一储存节点中储存有第一哈希值集合，所述第一哈希值集合中的每个哈希值与本地储存的数据块一一对应，所述方法包括：接收第二储存节点传输的待处理数据块；所述待处理数据块对应有待处理哈希值；对所述第一哈希值集合中的所有哈希值进行遍历；若所述所有哈希值中，不存在与所述待处理哈希值相同的哈希值，则将所述待处理数据块储存至本地。进一步的，所述待处理数据块的数量为多个；多个所述待处理数据块中的每个待处理数据块对应有待处理哈希值；所述将所述待处理数据块储存至本地，包括：将所述所有哈希值中不存在的待处理哈希值所对应的待处理数据块，储存至本地。进一步的，若干个所述本地储存的数据块是由所述第一储存节点中的数据控制器，对第一文件中的数据进行拆分而生成；所述第一文件储存于所述第一储存节点中。进一步的，所述第一储存节点中设置有第一数据列表，所述第一数据列表用于记录所述第一哈希值集合；所述对所述第一哈希值集合中的所有哈希值进行遍历，包括：对所述第一数据列表进行遍历，判断所述第一数据列表中是否存在与所述待处理哈希值相同的哈希值。进一步的，所述对所述第一哈希值集合中的所有哈希值进行遍历之后，还包括：若所述所有哈希值中，不存在与所述待处理哈希值相同的哈希值，则将所述待处理哈希值记录于所述第一数据列表中。进一步的，所述将所述待处理哈希值记录于所述第一数据列表中之后，还包括：将记录所述待处理哈希值后的第一数据列表传输至所有储存节点，以使所述所有储存节点对第二数据列表进行更新；所述第二数据列表用于记录每个储存节点的数据储存情况；所述数据储存情况用于为数据的获取过程提供获取地址。进一步的，所述所有储存节点中均设置有所述第二数据列表；所述所有储存节点包括所述第一储存节点和所述第二储存节点。本专利技术提供的一种数据的管理装置，应用于第一储存节点，所述第一储存节点中储存有第一哈希值集合，所述第一哈希值集合中的每个哈希值与本地储存的数据块一一对应，所述装置包括：接收模块，用于接收第二储存节点传输的待处理数据块；所述待处理数据块对应有待处理哈希值；遍历模块，用于对所述第一哈希值集合中的所有哈希值进行遍历；储存模块，用于在所述所有哈希值中不存在与所述待处理哈希值相同的哈希值时，将所述待处理数据块储存至本地。本专利技术提供的一种电子设备，包括储存器、处理器，所述储存器中储存有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。本专利技术提供的一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述的方法。本方案中，第一储存节点中储存的第一哈希值集合中的每个哈希值与本地储存的数据块一一对应，在接收第二储存节点传输的待处理数据块时，便对第一哈希值集合进行遍历，若其中不存在与待处理数据块对应的待处理哈希值相同的哈希值，说明第一储存节点中没有储存有待处理数据块，便将该待处理数据块储存至本地。因此，如果第一哈希值集合中存在与待处理哈希值相同的哈希值，则说明第一储存节点中储存有待处理数据块，便无需再将该待处理数据块储存至第一储存节点中，避免了数据块的重复储存，从而节省了相同数据的副本所占用的储存空间，使数据储存方式更为合理，减轻了储存资源的浪费情况。附图说明为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了本申请实施例所提供的数据的管理方法的流程图；图2示出了本申请实施例所提供的每个分布式储存节点的内部结构示意图；图3示出了本申请实施例所提供的一种数据的管理装置的结构示意图；图4示出了本申请实施例所提供的一种电子设备的结构示意图。具体实施方式下面将结合实施例对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。下面将详细描述本专利技术的各个方面的特征和示例性实施例。在下面的详细描述中，提出了许多具体细节，以便提供对本专利技术的全面理解。但是，对于本领域技术人员来说很明显的是，本专利技术可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本专利技术的示例来提供对本专利技术的更好的理解。本专利技术决不限于下面所提出的任何具体配置和算法，而是在不脱离本专利技术的精神的前提下覆盖了元素、部件和算法的任何修改、替换和改进。在附图和下面的描述中，没有示出公知的结构和技术，以便避免对本专利技术造成不必要的模糊。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。在本申请的描述中，除非另有说明，“至少一个”的含义是指一个或一个以上。例如，至少一个同步帧是指一个同步帧或一个以上同步帧。此外，本专利技术的描述中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。目前，一般的储存节点中会储存有大量数据，这些大量数据需要占用的储存空间也会较大，使储存资源的浪费情况较为严重。对于现有技术而言，急需一种较为合理的数据管理方法，以对数据进行合理的储存。基于此，本申请实施例提供的一种数据的管理方法、装置以及电子设备，可以解决现有技术中存在的数据储存的合理度较低的技术问题。为便于对本实施例进行理解，首先对本申请实施例所公开的一种数据的管理方法、装置以及电子设备进行详细介绍。本申请实施例提供的一种数据的管理方法，应用于第一储存节点，第一储存节点中储存有第一哈希值集合，第一哈希值集合中的每个哈希值与本地储存的数据块一一对应，如图1所示，方法包括：S11：接收第二储存节点传输的待处理数据块，待处理数据块对应有待处理哈希值。本文档来自技高网...

【技术保护点】
1.一种数据的管理方法，其特征在于，应用于第一储存节点，所述第一储存节点中储存有第一哈希值集合，所述第一哈希值集合中的每个哈希值与本地储存的数据块一一对应，所述方法包括：接收第二储存节点传输的待处理数据块；所述待处理数据块对应有待处理哈希值；对所述第一哈希值集合中的所有哈希值进行遍历；若所述所有哈希值中，不存在与所述待处理哈希值相同的哈希值，则将所述待处理数据块储存至本地。

【技术特征摘要】
1.一种数据的管理方法，其特征在于，应用于第一储存节点，所述第一储存节点中储存有第一哈希值集合，所述第一哈希值集合中的每个哈希值与本地储存的数据块一一对应，所述方法包括：接收第二储存节点传输的待处理数据块；所述待处理数据块对应有待处理哈希值；对所述第一哈希值集合中的所有哈希值进行遍历；若所述所有哈希值中，不存在与所述待处理哈希值相同的哈希值，则将所述待处理数据块储存至本地。2.根据权利要求1所述的方法，其特征在于，所述待处理数据块的数量为多个；多个所述待处理数据块中的每个待处理数据块对应有待处理哈希值；所述将所述待处理数据块储存至本地，包括：将所述所有哈希值中不存在的待处理哈希值所对应的待处理数据块，储存至本地。3.根据权利要求1所述的方法，其特征在于，若干个所述本地储存的数据块是由所述第一储存节点中的数据控制器，对第一文件中的数据进行拆分而生成；所述第一文件储存于所述第一储存节点中。4.根据权利要求1所述的方法，其特征在于，所述第一储存节点中设置有第一数据列表，所述第一数据列表用于记录所述第一哈希值集合；所述对所述第一哈希值集合中的所有哈希值进行遍历，包括：对所述第一数据列表进行遍历，判断所述第一数据列表中是否存在与所述待处理哈希值相同的哈希值。5.根据权利要求4所述的方法，其特征在于，所述对所述第一哈希值集合中的所有哈希值进行遍历之后，还包括：若所述所有哈希值中，不存在与所述待处理哈希值相同的哈希值...

【专利技术属性】
技术研发人员：李平，袁力，韩鹏，徐海东，
申请(专利权)人：北京阿尔山金融科技有限公司，
类型：发明
国别省市：北京,11