一种制造技术

本申请提供一种

【技术实现步骤摘要】
一种Filecoin中优化数据存储的方法及系统


[0001]本申请涉及数据存储领域，并且更具体地，涉及一种
Filecoin
中优化数据存储的方法及系统
。

技术介绍

[0002]IPFS(Inter Planetary File System
，星际文件存储
)
是一个旨在创建持久且分布 式存储和共享文件的网络传输协议
。
它是一种内容可寻址的对等超媒体分发协议
。
在
IPFS 网络中的节点将构成一个分布式文件系统
。Filecoin
系统是一个基于
IPFS
的去中心化的分布式存储项目
。Filecoin
系统的区块链技术底层依托于分布式存储进行数据存储，在区块链公链上进行
Filecoin
节点维护和提供存储功能的用户，公链会给予他们代币奖励
。
所以对于文件的写入和读取越快，用户得到奖励的机率越大，反之，如果文件无法及时读取到数据或者数据丢失，用户就无法获得奖励甚至还要扣除一定量的代币
。
因此，如何提高区块链中的数据的存取效率是本领域技术人员亟待解决的技术问题
。
目前，出现了基于存储文件优先级划分以确定文件存储顺序的技术，其涉及挖掘文件的特征信息以进行优先级分类，完成优先级的快速确定，在保障存储效率的同时，确保重要数据优先备份，提高安全性，在特征挖掘过程中，往往因为特征挖掘断层，导致结果与实际结果产生偏差，引起后续优先级识别出现偏差，影响存储可靠性
。

技术实现思路

[0003]有鉴于此，本申请实施例至少提供一种
Filecoin
中优化数据存储的方法及系统
。
[0004]根据本申请实施例的一个方面，提供了一种
Filecoin
中优化数据存储的方法，其特征在于，应用于数据存储系统，所述方法包括：获取拟存储文件，将所述拟存储文件进行拆分，得到各数据簇，挖掘所述各数据簇的表征载体，得到各数据簇表征载体；将所述各数据簇表征载体分别进行分组，得到所述各数据簇表征载体各自对应的第一范围表征载体，组成第一范围表征载体集合，以及得到所述各数据簇表征载体各自对应的第二范围表征载体，组成第二范围表征载体集合；通过所述第一范围表征载体集合中各第一范围表征载体之间的共性评分构建所述第一范围表征载体集合对应的第一载体关系图，并通过所述各数据簇的数据分布构建所述第二范围表征载体集合对应的第二载体关系图；通过所述第一载体关系图中的第一范围表征载体和第一范围表征载体对应的相邻点表征载体进行载体整合，得到所述第一范围表征载体集合中各第一范围表征载体各自对应的第一整合表征载体，并通过所述第二载体关系图中第二范围表征载体和第二范围表征载体对应的相邻点表征载体进行载体整合，得到所述第二范围表征载体集合中各第二范围表征载体各自对应的第二整合表征载体；通过同一数据簇表征载体各自对应的第一整合表征载体和第二整合表征载体进行合并，得到所述各数据簇表征载体各自对应的目标数据簇表征载体，并通过所述各数据簇表征载体各自对应的目标数据簇表征载体进行文件优先级确定，得到所述拟存储文件对应的文件优先级确定结果；基于所述文件优先级确定结果对所述拟存储文件进行
存储
。
[0005]根据本申请实施例的另一方面，提供了一种数据存储系统，包括：一个或多个处理器；以及一个或多个存储器，其中所述存储器中存储有计算机可读代码，所述计算机可读代码在由所述一个或多个处理器运行时，使得所述一个或多个处理器执行以上所述的方法
。
[0006]本申请至少包括的有益效果为：本申请实施例提供的
Filecoin
中优化数据存储的方法及系统，通过将拟存储文件进行拆分，得到各数据簇，再将各数据簇的表征载体进行拆分，得到第一范围表征载体集合和第二范围表征载体集合，再通过第一范围表征载体集合中各第一范围表征载体之间的共性评分构建第一范围表征载体集合对应的第一载体关系图，通过各数据簇的数据分布构建第二范围表征载体集合对应的第二载体关系图
。
接着通过第一载体关系图中的第一范围表征载体和第一范围表征载体对应的相邻点表征载体进行载体整合，得到第一范围表征载体集合中各第一范围表征载体各自对应的第一整合表征载体，然后通过第二载体关系图中第二范围表征载体和第二范围表征载体对应的相邻点表征载体进行载体整合，得到第二范围表征载体集合中各第二范围表征载体各自对应的第二整合表征载体
。
本申请通过构建的不同的载体关系图进行载体整合，让获得的整合表征载体融合具有相邻点表征载体的信息，以提升得到的整合表征载体的精度，将同一数据簇表征载体各自对应的第一整合表征载体和第二整合表征载体进行合并，得到各数据簇表征载体各自对应的目标数据簇表征载体，令获得的目标数据簇表征载体融合有文件内容信息和文件分布信息，再次增加获得的目标数据簇表征载体的精度，基于各数据簇表征载体各自对应的目标数据簇表征载体进行文件优先级确定，得到拟存储文件对应的文件优先级确定结果并以此进行存储，增加了获得的文件优先级确定结果的精度
。
[0007]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请的技术方案
。
附图说明
[0008]通过结合附图对本申请实施例进行更详细的描述，本申请实施例的上述以及其它目的
、
特征和优势将变得更加明显
。
附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制
。
在附图中，相同的参考标号通常代表相同部件或步骤
。
[0009]图1为本申请实施例提供的应用场景的示意图
。
[0010]图2为数据存储系统的功能架构示意图
。
[0011]图3为
SSD
缓存组件的结构示意图
。
[0012]图4为整合存储架构
IO
通路的流程示意图
。
[0013]图5为本申请实施例提供的一种
Filecoin
中优化数据存储的方法的实现流程示意图
。
[0014]图6为本申请实施例提供的一种数据存储系统的硬件实体示意图
。
具体实施方式
[0015]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚
、
完整地描述
。
显然，所描述的实施例仅是本申请一部分的实施例，而不是全部的实施例
。
基于
本申请中的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围
。
为了使本申请的目的
、
技术方案和优点更加清楚，下面结合附图和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种
Filecoin
中优化数据存储的方法，其特征在于，应用于数据存储系统，所述方法包括：获取拟存储文件，将所述拟存储文件进行拆分，得到各数据簇，挖掘所述各数据簇的表征载体，得到各数据簇表征载体；将所述各数据簇表征载体分别进行分组，得到所述各数据簇表征载体各自对应的第一范围表征载体，组成第一范围表征载体集合，以及得到所述各数据簇表征载体各自对应的第二范围表征载体，组成第二范围表征载体集合；通过所述第一范围表征载体集合中各第一范围表征载体之间的共性评分构建所述第一范围表征载体集合对应的第一载体关系图，并通过所述各数据簇的数据分布构建所述第二范围表征载体集合对应的第二载体关系图；通过所述第一载体关系图中的第一范围表征载体和第一范围表征载体对应的相邻点表征载体进行载体整合，得到所述第一范围表征载体集合中各第一范围表征载体各自对应的第一整合表征载体，并通过所述第二载体关系图中第二范围表征载体和第二范围表征载体对应的相邻点表征载体进行载体整合，得到所述第二范围表征载体集合中各第二范围表征载体各自对应的第二整合表征载体；通过同一数据簇表征载体各自对应的第一整合表征载体和第二整合表征载体进行合并，得到所述各数据簇表征载体各自对应的目标数据簇表征载体，并通过所述各数据簇表征载体各自对应的目标数据簇表征载体进行文件优先级确定，得到所述拟存储文件对应的文件优先级确定结果；基于所述文件优先级确定结果对所述拟存储文件进行存储
。2.
根据权利要求1所述的方法，其特征在于，所述挖掘所述各数据簇的表征载体，得到各数据簇表征载体，包括：挖掘所述各数据簇的数据项表征载体，得到各数据簇数据项表征载体；获取所述各数据簇的数据分布，将所述各数据簇的数据分布进行量化表达，得到各数据簇分布表征载体；将所述各数据簇数据项表征载体和对应的数据簇分布表征载体进行融合，得到所述各数据簇表征载体；所述通过所述第一范围表征载体集合中各第一范围表征载体之间的共性评分构建所述第一范围表征载体集合对应的第一载体关系图，包括：获取所述各第一范围表征载体之间的表征载体共性评分，通过所述表征载体共性评分确定所述各第一范围表征载体之间的共性联系结果；将所述各第一范围表征载体各自确定为组成点，并依据所述共性联系结果将所述各第一范围表征载体进行连接，得到所述第一载体关系图；所述通过所述各数据簇的数据分布构建所述第二范围表征载体集合对应的第二载体关系图，包括：通过所述各数据簇的数据分布确定所述各数据簇表征载体各自对应的第二范围表征载体的载体分布，通过所述载体分布确定所述第二范围表征载体集合中各第二范围表征载体之间的分布关系；将所述各第二范围表征载体各自确定为组成点，并依据所述分布关系将所述各第二范
围表征载体进行连接，得到所述第二载体关系图
。3.
根据权利要求1所述的方法，其特征在于，所述通过所述第一载体关系图中的第一范围表征载体和第一范围表征载体对应的相邻点表征载体进行载体整合，得到所述第一范围表征载体集合中各第一范围表征载体各自对应的第一整合表征载体，包括：获取所述第一范围表征载体对应的相邻点表征载体的载体均值，得到第一载体均值，并获取所述第一范围表征载体与所述第一范围表征载体对应的相邻点表征载体之间的作差载体，得到第一作差载体；将所述第一范围表征载体
、
所述第一作差载体和所述第一载体均值进行合并，得到第一合并表征载体，并通过所述第一合并表征载体进行仿射计算，得到所述第一范围表征载体对应的第一整合表征载体；通览所述第一载体关系图中的各第一范围表征载体，得到所述第一范围表征载体集合中各第一范围表征载体各自对应的第一整合表征载体；所述通过所述第二载体关系图中第二范围表征载体和第二范围表征载体对应的相邻点表征载体进行载体整合，得到所述第二范围表征载体集合中各第二范围表征载体各自对应的第二整合表征载体，包括：获取所述第二范围表征载体对应的相邻点表征载体的载体均值，得到第二载体均值，并获取所述第二范围表征载体与所述第二范围表征载体对应的相邻点表征载体之间的作差载体，得到第二作差载体；将所述第二范围表征载体
、
所述第二作差载体和所述第二载体均值进行合并，得到第二合并表征载体，并通过所述第二合并表征载体进行仿射计算，得到所述第二范围表征载体对应的第二整合表征载体；通览所述第二载体关系图中的各第二范围表征载体，得到所述第二范围表征载体集合中各第二范围表征载体各自对应的第二整合表征载体
。4.
根据权利要求1所述的方法，其特征在于，所述通过同一数据簇表征载体各自对应的第一整合表征载体和第二整合表征载体进行合并，得到所述各数据簇表征载体各自对应的目标数据簇表征载体，并通过所述各数据簇表征载体各自对应的目标数据簇表征载体进行文件优先级确定，得到所述拟存储文件对应的文件优先级确定结果，包括：获取第一强化因子，通过所述第一强化因子将所述第一范围表征载体集合中各第一范围表征载体各自对应的第一整合表征载体进行非线性变换，得到所述第一范围表征载体集合中各第一范围表征载体各自对应的第一强化表征载体；通过所述第一强化因子将所述第二范围表征载体集合中各第二范围表征载体各自对应的第二整合表征载体进行非线性变换，得到所述第二范围表征载体集合中各第二范围表征载体各自对应的第二强化表征载体；将同一数据簇表征载体各自对应的第一强化表征载体和第二强化表征载体进行合并，得到所述各数据簇表征载体各自对应的强化数据簇表征载体，并通过所述各数据簇表征载体各自对应的强化数据簇表征载体进行文件优先级确定，得到所述拟存储文件对应的目标文件优先级确定结果
。5.
根据权利要求4所述的方法，其特征在于，所述通过所述第一强化因子将所述第一范围表征载体集合中各第一范围表征载体各自对应的第一整合表征载体进行非线性变换，得
到所述第一范围表征载体集合中各第一范围表征载体各自对应的第一强化表征载体，包括：通过所述第一强化因子对所述第一范围表征载体集合中各第一范围表征载体各自对应的第一整合表征载体进行拟合优化变换，得到所述第一范围表征载体集合中各第一范围表征载体各自对应的第一优化表征载体，并获取所述第一优化表征载体对应的正态分布差异值，得到第一正态分布差异值；将所述第一范围表征载体集合中各第一范围表征载体各自对应的第一整合表征载体进行加权，得到所述第一范围表征载体集合中各第一范围表征载体各自对应的第一加权表征载体；获取所述第一加权表征载体与所述第一正态分布差异值的相乘结果，得到所述第一范围表征载体集合中各第一范围表征载体各自对应的第一强化表征载体；所述通过所述第一强化因子将所述第二范围表征载体集合中各第二范围表征载体各自对应的第二整合表征载体进行非线性变换，得到所述第二范围表征载体集合中各第二范围表征载体各自对应的第二强化表征载体，包括：通过所述第一强化因子对所述第二范围表征载体集合中各第二范围表征载体各自对应的第二整合表征载体进行拟合优化变换，得到所述第二范围表征载体集合中各第二范围表征载体各自对应的第二优化表征载体，并获取所述第二优化表征载体对应的正态分布差异值，得到第二正态分布差异值；将所述第二范围表征载体集合中各第二范围表征载体各自对应的第二整合表征载体进行加权，得到所述第二范围表征载体集合中各第二范围表征载体各自对应的第二加权表征载体；获取所述第二加权表征载体与所述第二正态分布差异值的相乘结果，得到所述第二范围表征载体集合中各第二范围表征载体各自对应的第二强化表征...

【专利技术属性】
技术研发人员：解绘绘，
申请(专利权)人：北京乐讯科技有限公司，
类型：发明
国别省市：