基于点对点网络的数据存储方法、装置、介质及终端设备制造方法及图纸

技术编号:21803462 阅读:25 留言:0更新日期:2019-08-07 11:38
本发明专利技术属于计算机技术领域,尤其涉及一种基于点对点网络的数据存储方法、装置、计算机可读存储介质及终端设备。在所述方法中,源节点将待存储数据划分为各个数据分片,并确定各个数据分片的备份数目;所述源节点确定与第s个数据分片对应的第1级存储节点,并向所述第1级存储节点发送数据存储请求;第n级存储节点确定与第s个数据分片对应的第n+1级存储节点,并向所述第n+1级存储节点发送数据存储请求;所述第n+1级存储节点在接收到所述数据存储请求后,从各个目标节点下载及存储第s个数据分片,将所述第n+1级存储节点的节点标识添加入所述存储节点集合中,并将计数值减去一个计数单元,直至计数值为0为止,从而减少了对源节点带宽资源的占用。

Data Storage Method, Device, Media and Terminal Equipment Based on Point-to-Point Network

【技术实现步骤摘要】
基于点对点网络的数据存储方法、装置、介质及终端设备
本专利技术属于计算机
,尤其涉及一种基于点对点网络的数据存储方法、装置、计算机可读存储介质及终端设备。
技术介绍
点对点(Peer-to-Peer,P2P)网络是一种主要由大量的对等节点组成的网络架构,不同节点之间关系对等,可以互相传输资源。在资源传输过程中,每个节点既会从点对点网络中其他拥有资源的节点,获取所需的资源,也会将已下载的资源,分发给点对点网络中每个需要该资源的节点,从而极大地提高了资源在网络中的传输效率。在点对点网络中进行存储中,为了保证数据的安全性,需要增加数据的冗余度,常常会把同一个数据分发多份到点对点网络中,而作为存储空间消费者,一份数据多次反复传输会耗用其大量的带宽,造成对其带宽资源的浪费。
技术实现思路
有鉴于此,本专利技术实施例提供了一种基于点对点网络的数据存储方法、装置、计算机可读存储介质及终端设备,以解决现有的办公应用程序操作比较繁琐,用户体验较差的问题。本专利技术实施例的第一方面提供了一种基于点对点网络的数据存储方法,所述方法应用于包括两个以上节点的点对点网络中,所述方法包括:源节点将待存储数据划分为各个数据分片,并确定各个数据分片的备份数目,所述源节点为所述点对点网络中的任意一个节点;所述源节点在所述点对点网络中确定与第s个数据分片对应的第1级存储节点,并向所述第1级存储节点发送数据存储请求,所述数据存储请求中包括计数值和存储节点集合,所述计数值等于第s个数据分片的备份数目,所述存储节点集合为空,1≤s≤SN,SN为数据分片的数目;所述第1级存储节点在接收到所述数据存储请求后,从所述源节点下载及存储第s个数据分片,将所述第1级存储节点的节点标识添加入所述存储节点集合中,并将所述计数值减去一个计数单元;第n级存储节点在所述点对点网络中确定与第s个数据分片对应的第n+1级存储节点,并向所述第n+1级存储节点发送数据存储请求,n为正整数;所述第n+1级存储节点在接收到所述数据存储请求后,从各个目标节点下载及存储第s个数据分片,将所述第n+1级存储节点的节点标识添加入所述存储节点集合中,并将所述计数值减去一个计数单元,直至所述计数值为0为止,所述目标节点为所述数据存储请求的存储节点集合中的各个节点标识分别所对应的节点。本专利技术实施例的第二方面提供了一种数据存储装置,可以包括:数据分片划分模块,用于将待存储数据划分为各个数据分片;备份数目确定模块,用于确定各个数据分片的备份数目;第一确定模块,用于在所述点对点网络中确定与第s个数据分片对应的第1级存储节点,并向所述第1级存储节点发送数据存储请求,所述数据存储请求中包括计数值和存储节点集合,所述计数值等于第s个数据分片的备份数目,所述存储节点集合为空,1≤s≤SN,SN为数据分片的数目;第一处理模块,用于在接收到所述数据存储请求后,从所述源节点下载及存储第s个数据分片,将本地的节点标识添加入所述存储节点集合中,并将所述计数值减去一个计数单元;第二确定模块,用于在所述点对点网络中确定与第s个数据分片对应的下一级存储节点,并向下一级存储节点发送数据存储请求;第二处理模块,用于在接收到所述数据存储请求后,从各个目标节点下载及存储第s个数据分片,将本地的节点标识添加入所述存储节点集合中,并将所述计数值减去一个计数单元,所述目标节点为所述数据存储请求的存储节点集合中的各个节点标识分别所对应的节点。本专利技术实施例的第三方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,所述计算机可读指令被处理器执行时实现上述数据存储装置的功能。本专利技术实施例的第四方面提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令,所述处理器执行所述计算机可读指令时实现上述数据存储装置的功能。本专利技术实施例与现有技术相比存在的有益效果是:在本专利技术实施例中,源节点首先将待存储数据划分为各个数据分片,并确定各个数据分片的备份数目,然后在所述点对点网络中确定与第s个数据分片对应的第1级存储节点,并向所述第1级存储节点发送数据存储请求,所述数据存储请求中包括计数值和存储节点集合,所述计数值等于第s个数据分片的备份数目,所述存储节点集合为空。所述第1级存储节点在接收到所述数据存储请求后,首先从所述源节点下载及存储第s个数据分片,将自己的节点标识添加入所述存储节点集合中,并将所述计数值减去一个计数单元,然后在所述点对点网络中确定与第s个数据分片对应的第2级存储节点,并向所述第2级存储节点发送数据存储请求,所述第2级存储节点在接收到所述数据存储请求后,从各个目标节点(即所述数据存储请求的存储节点集合中的各个节点标识分别所对应的节点)下载及存储第s个数据分片,……,不断重复以上过程,直至所述计数值为0为止。通过这样的方式,作为存储消费者(也即所述源节点)只用发送一份数据到点对点网络中,网络中的其它节点自行进行数据分发且逐次增大并发数,从而达到快速分发的效果,减少了对其带宽资源的占用。附图说明为了更清楚地说明本专利技术实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。图1为本专利技术实施例中一种基于点对点网络的数据存储方法的一个实施例流程图;图2为在点对点网络中确定与第s个数据分片对应的第1级存储节点的示意流程图;图3为哈希环的示意图;图4为点对点网络中的节点映射至哈希环上的示意图;图5为在哈希环上查找第1级存储节点的示意图;图6为本专利技术实施例中一种数据存储装置的一个实施例结构图;图7为本专利技术实施例中一种终端设备的示意框图。具体实施方式为使得本专利技术的专利技术目的、特征、优点能够更加的明显和易懂,下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本专利技术一部分实施例,而非全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本专利技术保护的范围。请参阅图1,本专利技术实施例中一种基于点对点网络的数据存储方法的一个实施例可以包括:步骤S101、源节点将待存储数据划分为各个数据分片,并确定各个数据分片的备份数目。所述源节点为所述点对点网络中的任意一个节点。在实际使用过程中,若某一用户需要将其手机、平板、电脑等等终端设备(即所述源节点)中的数据存储到所述点对点网络中,可以在其终端设备上安装的特定应用程序中选定待存储数据,并点击确定按钮,以告知所述源节点进行数据存储操作。所述源节点可以对所述待存储数据进行分片处理,即按照一定的规则,将一个数据集(即所述待存储数据)划分成多个相互独立、正交的数据子集(即各个数据分片),以便于分布式存储。具体地,所述源节点可以首先根据下式计算数据分片的数目:其中,DataBytes为所述待存储数据的字节数,MaxShard为数据分片的最大字节数,其具体取值可以根据实际情况进行设置,例如,可以将其设置为1024、2048、4096或者其它取值,Ceil为向上取整函数,SN为数据分片的数目本文档来自技高网...

【技术保护点】
1.一种基于点对点网络的数据存储方法,其特征在于,所述方法应用于包括两个以上节点的点对点网络中,所述方法包括:源节点将待存储数据划分为各个数据分片,并确定各个数据分片的备份数目,所述源节点为所述点对点网络中的任意一个节点;所述源节点在所述点对点网络中确定与第s个数据分片对应的第1级存储节点,并向所述第1级存储节点发送数据存储请求,所述数据存储请求中包括计数值和存储节点集合,所述计数值等于第s个数据分片的备份数目,所述存储节点集合为空,1≤s≤SN,SN为数据分片的数目;所述第1级存储节点在接收到所述数据存储请求后,从所述源节点下载及存储第s个数据分片,将所述第1级存储节点的节点标识添加入所述存储节点集合中,并将所述计数值减去一个计数单元;第n级存储节点在所述点对点网络中确定与第s个数据分片对应的第n+1级存储节点,并向所述第n+1级存储节点发送数据存储请求,n为正整数;所述第n+1级存储节点在接收到所述数据存储请求后,从各个目标节点下载及存储第s个数据分片,将所述第n+1级存储节点的节点标识添加入所述存储节点集合中,并将所述计数值减去一个计数单元,直至所述计数值为0为止,所述目标节点为所述数据存储请求的存储节点集合中的各个节点标识分别所对应的节点。...

【技术特征摘要】
1.一种基于点对点网络的数据存储方法,其特征在于,所述方法应用于包括两个以上节点的点对点网络中,所述方法包括:源节点将待存储数据划分为各个数据分片,并确定各个数据分片的备份数目,所述源节点为所述点对点网络中的任意一个节点;所述源节点在所述点对点网络中确定与第s个数据分片对应的第1级存储节点,并向所述第1级存储节点发送数据存储请求,所述数据存储请求中包括计数值和存储节点集合,所述计数值等于第s个数据分片的备份数目,所述存储节点集合为空,1≤s≤SN,SN为数据分片的数目;所述第1级存储节点在接收到所述数据存储请求后,从所述源节点下载及存储第s个数据分片,将所述第1级存储节点的节点标识添加入所述存储节点集合中,并将所述计数值减去一个计数单元;第n级存储节点在所述点对点网络中确定与第s个数据分片对应的第n+1级存储节点,并向所述第n+1级存储节点发送数据存储请求,n为正整数;所述第n+1级存储节点在接收到所述数据存储请求后,从各个目标节点下载及存储第s个数据分片,将所述第n+1级存储节点的节点标识添加入所述存储节点集合中,并将所述计数值减去一个计数单元,直至所述计数值为0为止,所述目标节点为所述数据存储请求的存储节点集合中的各个节点标识分别所对应的节点。2.根据权利要求1所述的数据存储方法,其特征在于,所述确定各个数据分片的备份数目包括:根据下式计算各个数据分片的备份数目:其中,NodesNum为所述点对点网络中的节点总数,BaseNdNum为预设的基准节点数目,HsShardNum为根据历史记录统计得到的在所述点对点网络中存储的数据分片的总数,HsDmgSdNum为根据所述历史记录统计得到的在所述点对点网络中丢失或损毁的数据分片的总数,c为用户等级按照从高到低排列的序号,1≤c≤ClassNum,ClassNum为用户等级的总数,ClassCoefc为第c个用户等级的权重系数,BkpNumc为第c个用户等级的数据分片在所述点对点网络中的备份数目。3.根据权利要求1所述的数据存储方法,其特征在于,所述在所述点对点网络中确定与第s个数据分片对应的第1级存储节点包括:使用预设的第一哈希函数计算第s个数据分片的哈希值;将预设的哈希环上与第s个数据分片的哈希值对应的位置点确定目标位置点,所述哈希环为由所述第一哈希函数的所有函数值按照从小到大的顺序顺时针或者逆时针依次连接所构成的圆环,即所述哈希环上的每个位置点均对应于所述第一哈希函数的一个函数值;获取所述哈希环上的各个基准位置点,其中,每个基准位置点均为与所述点对点网络中的一个节点对应的位置点;从所述目标位置点开始顺时针或者逆时针查找所述基准位置点,并将查找到的第一个基准位置点所对应的节点确定为与第s个数据分片对应的第1级存储节点。4.根据权利要求3所述的数据存储方法,其特征在于,所述基准位置点的设置过程包括:获取所述点对点网络中的各个节点的身份标识;使用预设的第二哈希函数分别对所述点对点网络中的各个节点的身份标识进行哈希运算,得到各个节点的哈希值,所述第二哈希函数的值域与所述第一哈希函数的值域一致;将所述哈希环上与第m个节点的哈希值对应的位置点确定为与第m个节点对应的基准位置点,1≤m≤NodesNum。5.根据权利要求1至4中任一项所述的数据存储方法,其特征在于,所述将待...

【专利技术属性】
技术研发人员:雷琼
申请(专利权)人:平安科技深圳有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1