一种基于区块链的分布式数据存储方法及系统技术方案

本发明专利技术公开了一种基于区块链的分布式数据存储方法及系统，该方法包括：S1，接收区块链节点上传的数据；S2，采用哈希算法计算数据的特征信息，并根据特征信息对数据进行分类标记，记录数据的类型特征；S3，通过区块链技术对分类标记后的数据根据类型特征进行分段式处理，对分段后的数据片段进行扫描，将扫描结果按照重复频率进行排列；S4，按照排列顺序逐一与历史数据库中的高频重复数据进行比对，比对成功后，删除重复的数据片段；S5，将剩余数据片段进行归类存储至对应类型的数据库节点。本发明专利技术通过哈希算法根据数据特征进行分类存储，明确了数据存储节点，并通过比对删除冗余重复数据，减少数据存储负荷的同时，确保数据存储的有效性。有效性。有效性。

【技术实现步骤摘要】
一种基于区块链的分布式数据存储方法及系统


[0001]本专利技术涉及区块链
，特别是涉及一种基于区块链的分布式数据存储方法及系统。

技术介绍

[0002]随着网络的不断发展，网络数据量不断增加，分布式存储作为一种新兴的网络在线存储技术得到了越来越广泛的应用。依托区块链的去中心化、可追溯性特点，基于区块链的分布式存储有效保证了存储与通信的机密性、可信性，推动了基于区块链的分布式数据存储的发展和应用。
[0003]目前，大规模分布式数据存储时，仍会面临以下技术问题：第一，当数据量大的情况下，大量镜像的数据严重耗费空间，存储利用率低，在大数据前提下，数据存储的具体存储节点存在紊乱性，无法具体定位至数据信息存储的准确存储节点，数据的存储路径和读取具有不明确性；第二，现有的解决方式大多采用抛弃过期数据减少数据负荷，但过期数据的减少往往跟不上新数据的诞生，此外，过期数据难以判定，存在后期需要的可能性，这种永久损失数据完整性的方式不可取。因此，需要提供一种新的分布式数据存储方法以解决区块链中的数据存储压力。

技术实现思路

[0004]本专利技术的目的是提供一种基于区块链的分布式数据存储方法及系统，通过哈希算法根据数据特征进行分类存储，明确了数据存储节点，并通过比对删除冗余重复数据，减少数据存储负荷的同时，确保数据存储的有效性。
[0005]为实现上述目的，本专利技术提供了如下方案：
[0006]一种基于区块链的分布式数据存储方法，所述的区块链包括区块链节点，每个区块链节点均与多个数据库节点连接，包括以下步骤：
[0007]S1，接收区块链节点上传的数据；
[0008]S2，采用哈希算法计算数据的特征信息，并根据特征信息对数据进行分类标记，记录数据的类型特征；
[0009]S3，通过区块链技术对分类标记后的数据根据类型特征进行分段式处理，对分段后的数据片段进行扫描，将扫描结果按照重复频率进行排列；
[0010]S4，按照排列顺序逐一与历史数据库中的高频重复数据进行比对，比对成功后，删除重复的数据片段；
[0011]S5，将剩余数据片段进行归类存储至对应类型的数据库节点。
[0012]进一步的，所述方法还包括：
[0013]S6，数据库节点接收数据片段对应的数据，并利用哈希算法计算每条数据内容对应的摘录，存在区块链节点上，区块链节点接收数据查询请求，调取与查询内容对应的摘录，数据库节点返回与对应摘录一致的被查询数据内容。
[0014]进一步的，所述步骤S4中，按照排列顺序逐一与历史数据库中的高频重复数据进行比对，比对成功后，删除重复的数据片段，具体包括：
[0015]比对结果的相似率在90％以上，则认为比对成功，删除重复的数据片段；
[0016]比对失败后进入二次比对，若数据的连续相似率达到70％以上，对相似部分进行删除，若低于70％则不作任何处理。
[0017]进一步的，所述步骤S5，将剩余数据片段进行归类存储至对应类型的数据库节点，具体包括：
[0018]将所述步骤S4处理后的数据片段依次按照顺序发送至各数据库节点；
[0019]根据各数据片段存储顺序生成私密秘钥。
[0020]进一步的，所述根据各数据片段存储顺序生成私密秘钥，具体包括：
[0021]选取最先分段数据对应的数据库节点信息作为该数据的私密秘钥的第一秘钥数据；
[0022]依次根据时间戳和数据库节点整理私密秘钥的数据；
[0023]组合获取的私密秘钥数据生成私密秘钥。
[0024]本专利技术还提供了一种基于区块链的分布式数据存储系统，应用于上述的基于区块链的分布式数据存储方法，包括：
[0025]数据接收模块，用于接收区块链节点上传的数据；
[0026]数据分类模块，用于采用哈希算法计算数据的特征信息，并根据特征信息对数据进行分类标记，记录数据的类型特征；
[0027]数据查重模块，用于通过区块链技术对分类标记后的数据根据类型特征进行分段式处理，对分段后的数据片段进行扫描，将扫描结果按照重复频率进行排列；
[0028]数据去冗余处理模块，按照排列顺序逐一与历史数据库中的高频重复数据进行比对，比对成功后，删除重复的数据片段；
[0029]数据存储模块，将剩余数据片段进行归类存储至对应类型的数据库节点。
[0030]进一步的，所述系统还包括：
[0031]数据查询处理模块，用于数据库节点接收数据片段对应的数据，并利用哈希算法计算每条数据内容对应的摘录，存在区块链节点上，区块链节点接收数据查询请求，调取与查询内容对应的摘录，数据库节点返回与对应摘录一致的被查询数据内容。
[0032]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：本专利技术提供的基于区块链的分布式数据存储方法及系统，通过哈希算法根据特征信息对数据进行分类标记，并通过分段式处理提高数据处理效率，最后将数据存储在匹配类型的数据库节点中，实现了数据信息分布式存储并明确了数据存储节点，对后期数据读取具有明确的指向性，提高数据存取效率；其中，对分段后的数据片段进行扫描，将扫描结果按照重复频率进行排列，按照排列顺序逐一与历史数据中的高频重复数据进行比对，比对成功后在转换后的数据内删除重复数据，极大地降低数据冗余量；此外，根据时间戳、分段式顺序和特征标记作为私密秘钥生成的数据基础，提高了秘钥的复杂程度，提高了数据存储的安全性。
附图说明
[0033]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所
需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0034]图1为本专利技术基于区块链的分布式数据存储方法的流程示意图。
具体实施方式
[0035]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0036]本专利技术的目的是提供一种基于区块链的分布式数据存储方法及系统，通过哈希算法根据数据特征进行分类存储，明确了数据存储节点，并通过比对删除冗余重复数据，减少数据存储负荷的同时，确保数据存储的有效性。
[0037]为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。
[0038]如图1所示，本专利技术实施例提供的基于区块链的分布式数据存储方法，所述的区块链包括区块链节点，每个区块链节点均与多个数据库节点连接，包括以下步骤：
[0039]S1，接收区块链节点上传的数据；
[0040]S2，采用哈希算法计算数据的特征信息，并根据特征信息对数据进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于区块链的分布式数据存储方法，所述的区块链包括区块链节点，每个区块链节点均与多个数据库节点连接，其特征在于，包括以下步骤：S1，接收区块链节点上传的数据；S2，采用哈希算法计算数据的特征信息，并根据特征信息对数据进行分类标记，记录数据的类型特征；S3，通过区块链技术对分类标记后的数据根据类型特征进行分段式处理，对分段后的数据片段进行扫描，将扫描结果按照重复频率进行排列；S4，按照排列顺序逐一与历史数据库中的高频重复数据进行比对，比对成功后，删除重复的数据片段；S5，将剩余数据片段进行归类存储至对应类型的数据库节点。2.根据权利要求1所述的基于区块链的分布式数据存储方法，其特征在于，所述方法还包括：S6，数据库节点接收数据片段对应的数据，并利用哈希算法计算每条数据内容对应的摘录，存在区块链节点上，区块链节点接收数据查询请求，调取与查询内容对应的摘录，数据库节点返回与对应摘录一致的被查询数据内容。3.根据权利要求1所述的基于区块链的分布式数据存储方法，其特征在于，所述步骤S4中，按照排列顺序逐一与历史数据库中的高频重复数据进行比对，比对成功后，删除重复的数据片段，具体包括：比对结果的相似率在90％以上，则认为比对成功，删除重复的数据片段；比对失败后进入二次比对，若数据的连续相似率达到70％以上，对相似部分进行删除，若低于70％则不作任何处理。4.根据权利要求1所述的基于区块链的分布式数据存储方法，其特征在于，所述步骤S5，将剩余数据片段进行归类存储至对应类型的数据库节点，...

【专利技术属性】
技术研发人员：王保春，张蛟鹏，余洋，莫恒，
申请(专利权)人：永旗北京科技有限公司，
类型：发明
国别省市：