带权重的分布式数据存储方法、系统和存储介质技术方案

本发明专利技术涉及一种带权重的分布式数据存储方法、系统和存储介质，该方法中：雾存储平台将待存储数据分发至各级代理节点；各级代理节点根据设定条件确定待存储数据的权重，并根据权重确定待存储数据的类型；各级代理节点对待存储数据进行加工，并根据所述待存储数据的类型将待存储数据以数据量相等的碎片文件的形式存储在各个IPFS用户终端；雾存储平台接收来自用户客户端的访问请求，并将与访问请求匹配的IPFS用户终端的节点地址和证书发送至用户客户端；用户客户端确定目标IPFS用户终端，并从目标IPFS用户终端获取请求数据；请求数据的费用根据请求数据的类型确定。中心服务器压力和存储成本降低、宽带费用更灵活、数据存储更安全且共享经济更透明。

Weighted distributed data storage method, system and storage medium

【技术实现步骤摘要】
带权重的分布式数据存储方法、系统和存储介质
本专利技术涉及数据存储
，具体涉及一种带权重的分布式数据存储方法、系统和存储介质。
技术介绍
近年来，区块链领域的应用逐渐广泛，比如，IBM的Fabric，Facebook的Libra，以及ProtocolLabs的去中心化存储方案IPFS(星际文件系统，InterPlanetaryFileSystem)等。另外，随着5G的普及，更高的带宽、更低延迟、更高的容量等特点将会为区块链应用落地提供更加良好的网络环境与技术条件。另外，CDN(ContentDeliveryNetwork，内容分发网络)是指构建在现有网络基础之上的智能虚拟网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率的一种内容分发和传送方案。而CDN边缘的数据存储于分发的方案中，数据安全性较低。因此，如何将家庭宽带网络进行利用来实现全民网络加速，进而促进整个区块链+物联网+用户生态的发展，具有重要的意义。
技术实现思路
有鉴于此，提供一种带权重的分布式数据存储方法、系统和存储介质，以解决相关技术中数据存储于分发服务中心服务器压力大、存储成本高、数据安全性低的问题。本专利技术采用如下技术方案：第一方面，本申请实施例提供了一种带权重的分布式数据存储方法，该方法包括：雾存储平台获取待存储数据，并将所述待存储数据分发至各级代理节点；所述各级代理节点根据设定条件确定所述待存储数据的权重，并根据所述权重确定所述待存储数据的类型，其中，所述待存储数据的类型包括冷资源和热资源；所述各级代理节点对所述待存储数据进行加工，并将所述待存储数据以数据量相等的碎片文件的形式存储在各个IPFS用户终端；所述雾存储平台接收来自用户客户端的访问请求，并根据所述待存储数据的类型将与所述访问请求匹配的IPFS用户终端的节点地址和证书发送至所述用户客户端；所述用户客户端根据所述节点地址和证书确定目标IPFS用户终端，并从所述目标IPFS用户终端获取请求数据；其中，所述请求数据的费用根据所述请求数据的类型确定。第二方面，本申请实施例提供了一种系统，该系统包括：雾存储平台、至少一个IPFS用户终端和至少一个客户端；其中，所述雾存储平台和所述至少一个IPFS用户终端用于执行权利要求1-8任一项所述的带权重的分布式数据存储方法。第三方面，本申请实施例提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现如第一方面所述的带权重的分布式数据存储方法中各个步骤。本专利技术采用以上技术方案，采用区块链、雾存储平台、代理节点和IPFS用户终端的系统架构模式，根据数据的被访问情况生成数据权重，根据数据权重划分资源类型为热资源和冷资源，热资源和冷资源又可以进一步划分等级，根据数据资源权重情况将数据分发到IPFS用户终端，以便有效的利用IPFS用户终端的存储和带宽；这样，中心服务器压力降低、存储成本降低、宽带费用更加灵活、数据存储更安全，以及，共享经济更透明。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种带权重的分布式数据存储方法的流程图；图2是本专利技术实施例中适用的一种带权重的分布式数据存储的示意图；图3是本专利技术实施例中适用的一种天翼云雾存储平台和第三方存储需求方的系统架构和数据流转图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将对本专利技术的技术方案进行详细的描述。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本专利技术所保护的范围。实施例图1为本专利技术实施例提供的一种带权重的分布式数据存储方法的流程图，该方法可以由本专利技术实施例提供的带权重的分布式数据存储系统来执行，该系统可采用软件和/或硬件的方式实现。参考图1，该方法具体可以包括如下步骤：S101、雾存储平台获取待存储数据，并将待存储数据分发至各级代理节点。其中，雾计算一种计算模式，在该模式中数据、数据处理和应用程序集中在网络边缘的设备中，而不是几乎全部保存在云中，是云计算的延伸概念，而雾存储平台是基于雾计算的存储平台。具体的，雾存储平台之下的是各级代理，代理节点之间通过数据协同API实现数据协同工作。雾存储平台通过与数据存储需求方签订合约来获取待存储数据，其中，数据存储需求方可以是第三方应用，比如抖音或者爱奇艺等。在一个具体的例子中，各级代理节点可以是具备分布存储功能的服务器。S102、各级代理节点根据设定条件确定待存储数据的权重，并根据权重确定待存储数据的类型，其中，待存储数据的类型包括冷资源和热资源。其中，设定条件包括数据被访问频率、时长和被点击次数。具体的，各级代理节点会根据待存储数据的被访问频率、时长和被点击次数等参数来计算待存储数据的权重，然后根据权重不同来确定待存储数据的类型。比如，权重大于等于0.5的为热资源，权重小于等于0.5的为冷资源。这样，就可以根据请求的数据的类型，决定收取的费用，类型不同，收取的费用不同。在一个具体的例子中，根据冷热资源合理进行带宽定价，热门资源因访问量高、流量大，因此可以得到一些优惠，而冷门资源因为访问量低，如果外界需要访问它，则需要特殊处理，且冷热资源的性质可以相互转换，使得带宽收费过程最终找到一个平衡点。S103、各级代理节点对待存储数据进行加工，并根据所述待存储数据的类型将待存储数据以数据量相等的碎片文件的形式存储在各个IPFS用户终端。具体的，引入IPFS用户终端，而IPFS为存储终端，在一个具体的例子中，IPFS用户终端可以是路由器。雾存储平台根据所述待存储数据的类型将数据分发下去，各级代理点对待存储数据进行加工后再次分发，比如，从一级代理点分发至二级代理点，再从二级代理点分发至三级代理点，直到待存储数据最终被划分为一个个数据量相等的碎片文件，然后各个碎片文件形式存储在各个IPFS用户终端中，以达到高效分散的目的。在一个具体的例子中，可以根据冷热资源合理安排存储位置，比如一些冷资源只需要部分设备来存储，甚至只需要某个用户终端的一小部分存储空间就可以达到存储目的。这样可以充分利用空闲资源，不但存储资源的拥有者会获得收益，也节省了中心化存储的建设成本。另外，待存储数据进行分隔后会进行加密，加密后的数据资源，将分散存储在众多结点上，这样能够避免中心化存储的集中式风险，即便某一块数据被泄露，也只是部分数据而非全部数据。使用IPFS去中心化存储，首先本文档来自技高网...

【技术保护点】
1.一种带权重的分布式数据存储方法，其特征在于，包括：/n雾存储平台获取待存储数据，并将所述待存储数据分发至各级代理节点；/n所述各级代理节点根据设定条件确定所述待存储数据的权重，并根据所述权重确定所述待存储数据的类型，其中，所述待存储数据的类型包括冷资源和热资源；/n所述各级代理节点对所述待存储数据进行加工，并根据所述待存储数据的类型将所述待存储数据以数据量相等的碎片文件的形式存储在各个IPFS用户终端；/n所述雾存储平台接收来自用户客户端的访问请求，并将与所述访问请求匹配的IPFS用户终端的节点地址和证书发送至所述用户客户端；/n所述用户客户端根据所述节点地址和证书确定目标IPFS用户终端，并从所述目标IPFS用户终端获取请求数据；其中，所述请求数据的费用根据所述请求数据的类型确定。/n

【技术特征摘要】
1.一种带权重的分布式数据存储方法，其特征在于，包括：
雾存储平台获取待存储数据，并将所述待存储数据分发至各级代理节点；
所述各级代理节点根据设定条件确定所述待存储数据的权重，并根据所述权重确定所述待存储数据的类型，其中，所述待存储数据的类型包括冷资源和热资源；
所述各级代理节点对所述待存储数据进行加工，并根据所述待存储数据的类型将所述待存储数据以数据量相等的碎片文件的形式存储在各个IPFS用户终端；
所述雾存储平台接收来自用户客户端的访问请求，并将与所述访问请求匹配的IPFS用户终端的节点地址和证书发送至所述用户客户端；
所述用户客户端根据所述节点地址和证书确定目标IPFS用户终端，并从所述目标IPFS用户终端获取请求数据；其中，所述请求数据的费用根据所述请求数据的类型确定。


2.根据权利要求1所述的方法，其特征在于，还包括：
所述雾存储平台向所述IPFS用户终端发送验证请求；
所述IPFS用户终端对所述验证请求进行响应生成反馈信息，并将反馈信息发送至所述雾存储平台；
所述雾存储平台识别所述反馈信息，以确定所述IPFS用户终端的数据存储状态。


3.根据权利要求2所述的方法，其特征在于，所述雾存储平台识别所述响应信息，以确定所述IPFS用户终端的数据存储状态，包括：
所述雾存储平台比较所述验证请求中的第一数据和所述反馈信息中的第二数据；
若所述第一数据和所述第二数据一致，则确定所述IPFS用户终端为数据存储状态，否则，确定所述IPFS用户终端为非数据存储状态。

...

【专利技术属性】
技术研发人员：文格彬，刘智慧，尚庆东，
申请(专利权)人：昆明大棒客科技有限公司，
类型：发明
国别省市：云南;53