一种基于D-S证据理论的分布式文件系统数据读取方法技术方案

技术编号:24035445 阅读:38 留言:0更新日期:2020-05-07 01:46
本发明专利技术提供一种基于D‑S证据理论的分布式文件系统数据读取方法,其简化请求数据节点地址的过程,加快数据读取速度,进而降低整个系统流程的资源消耗。本发明专利技术的技术方案中,需要向数据节点读取数据的时候,先不向地址节点确认数据节点地址,而是基于D‑S证据理论预测需要访问的数据节点地址;当满足条件:信度函数、似真度函数的差值最小、且概率最大,该地址即判定为待访问数据节点地址,客户端访问数据节点中的待访问数据节点地址获取数据。

A data reading method of distributed file system based on D-S evidence theory

【技术实现步骤摘要】
一种基于D-S证据理论的分布式文件系统数据读取方法
本专利技术涉及云计算
,具体为一种基于D-S证据理论的分布式文件系统数据读取方法。
技术介绍
现有的分布式文件系统中,通过客户端进行数据读取的时候,其过程如图1所示,首先客户端向地址节点提出请求,获取数据节点的地址;根据地址节点反馈的数据节点地址,客户端访问对应的数据节点获取数据;在这样的数据访问机制下,如果需要读取10次数据,就需要通过网络访问地址节点10次,然后再访问数据节点10次;在现有的访问机制下,当客户端需要反复多次访问有限的数据节点时,会在访问地址节点这个环节花费大量的时间,导致整个流程产生很多不必要的资源消耗。
技术实现思路
为了解决现有技术中,当客户端需要反复多次访问有限的数据节点时,在访问地址节点这个环节耗费大量时间的问题,本专利技术提供一种基于D-S证据理论的分布式文件系统数据读取方法,其简化请求数据节点地址的过程,加快数据读取速度,进而降低整个系统流程的资源消耗。本专利技术的技术方案是这样的:一种基于D-S证据理论的分布式文件系统数据读取方法,其包括以下步骤:S1:客户端向地址节点请求需要读取数据节点的地址;S2:所述地址节点返回相应数据节点地址,客户端根据所述数据节点地址寻找数据节点读取数据;其特征在于,其还包括以下步骤:S3:存储每一个所述数据节点地址在本地;S4:预设阈值N,当步骤S2实施N次后,所述地址节点返回N个地址节点,客户端中的寻址模块将连续N次读取的数据节点地址作为一个计算组;所述计算组中每一个数据节点地址称之为待确认数据地址;S5:依次取出所述计算组中每一个所述待确认数据地址,计算该所述待确认数据地址在每组数据中的信度函数Bel、似真度函数Pls;S6:计算每个所述待确认数据地址在所述计算组中出现的概率P;S7:比较每一个所述待确认数据地址对应的所述信度函数Bel和所述似真度函数Pls;S8:查找所述信度函数Bel和所述似真度函数Pls差值最小的那个数据节点地址;如果所述信度函数Bel和所述似真度函数Pls差值最小的节点地址存在且唯一,则设该数据节点地址为待访问数据节点地址;否则,执行步骤S11;S9:获取所述待访问数据节点地址对应的所述概率P;当P≥0.5时,客户端直接读取所述待访问数据节点地址在所述数据节点中对应的数据,获取的数据为待确认数据,执行步骤S11;否则,执行步骤S11;S10:确认所述待确认数据是否是客户端期待数据;如果所述待确认数据是所述客户端期待数据,则本次数据读取结束,等待下次数据读取操作,重复步骤S5~S14;否则,放弃本次取得的数据,执行步骤S11;S11:客户端直接向所述地址节点请求需要读取数据节点的地址,获得相应的数据节点地址后去该数据节点按照地址读取数据;且将所述地址节点返回的数据节点地址设置为替换数据地址;S12:在所述计算组中,通过最小的所述概率P找到待删除地址;S13:在所述计算组中删除所述待删除地址,将所述替换数据地址添加到所述计算组中;S14:本次数据读取结束,等待下次数据读取操作,重复步骤S5~S14。其进一步特征在于:步骤S12中,通过所述概率P找到待删除地址,包括如下步骤:a1:在所述计算组中,找到最小的所述所述概率P;a2:确认最小的所述概率P对应的所述待确认数据地址的个数M;如果M=1,则设置该待确认数据地址为待删除地址;否则,在M个所述概率P相同的待确认数据地址中,找到出现时间最早的那个待确认数据地址设置为待删除地址;步骤S4中,计算所述待确认数据地址在每组数据中的信度函数Bel、似真度函数Pls的方法如下所示:b1:定义:基本概率值m,识别框架θ,函数2θ→[0,1];b2:根据m(Φ)=0,信度函数Bel、似真度函数Pls计算公式如下:式中,Bel(A)Bel(A)是识别框架θ上的信任函数,表示对命题A的所有子集的可能性度量之和,也是对命题A的总信任,Pls(A)表示不能否认命题A的程度;Φ表示空、也就是不可能出现的事件,所以其可信度为0;步骤S5中,每个所述待确认数据地址在所述计算组中出现的所述概率P的计算方法如下:式中:N为正整数。本专利技术提供的一种基于D-S证据理论的分布式文件系统数据读取方法,客户端存储常访问的数据节点地址在本地,当存储的常访问的数据节点地址到达阈值N之后,再次需要向数据节点读取数据的时候,则先不向地址节点确认数据节点地址,而是基于D-S证据理论预测需要访问的数据节点地址;当满足条件:信度函数Bel、似真度函数Pls差值最小、且概率P最大,该地址即判定为待访问数据节点地址,客户端访问数据节点中的待访问数据节点地址获取数据;也即是说,当本地存储的常访问地址足够多之后,通过客户端本地的寻址模块基于D-S证据理论预测需要访问的数据节点地址,而无需每次都通过网络访问地址节点获取数据节点的地址了;降低了请求数据节点的系统开销,且整个过程降低了对网络速度的依赖,提高了数据读取的速度。附图说明图1为现有方法中分布式文件系统的结构示意图;图2为本专利技术中数据读取方法的流程示意图。具体实施方式如图2所示,本专利技术一种基于D-S证据理论的分布式文件系统数据读取方法,其包括以下步骤。S1:客户端(包括:移动端APP、PC端的应用程序)通过无线、有线网络向分布式文件系统中的地址节点请求需要读取数据节点的地址。S2:地址节点返回相应数据节点地址,客户端根据数据节点地址寻找数据节点读取数据。S3:存储每一个数据节点地址在客户端本地。S4:在客户端设置一个寻址模块,寻址模块中包括基于D-S证据理论的深度学习模型;预设阈值N,当步骤S2实施N次后,地址节点返回N个地址节点,客户端中的寻址模块将连续N次读取的数据节点地址作为一个计算组;通过计算组中的地址节点数据对深度学习模型进行训练;计算组中每一个数据节点地址称之为待确认数据地址;计算待确认数据地址在每组数据中的信度函数Bel、似真度函数Pls的方法如下所示:b1:定义:基本概率值m,识别框架θ,函数2θ→[0,1];b2:根据m(Φ)=0,信度函数Bel、似真度函数Pls计算公式如下:式中,Bel(A)Bel(A)是识别框架θ上的信任函数,表示对命题A的所有子集的可能性度量之和,也是对命题A的总信任,Pls(A)表示不能否认命题A的程度;Φ表示空、也就是不可能出现的事件,所以其可信度为0。S5:依次取出计算组中每一个待确认数据地址,计算该待确认数据地址在每组数据中的信度函数Bel、似真度函数Pls。S6:计算每个待确认数据地址在计算组中出现的概率P;...

【技术保护点】
1.一种基于D-S证据理论的分布式文件系统数据读取方法,其包括以下步骤:/nS1:客户端向地址节点请求需要读取数据节点的地址;/nS2:所述地址节点返回相应数据节点地址,客户端根据所述数据节点地址寻找数据节点读取数据;/n其特征在于,其还包括以下步骤:/nS3:存储每一个所述数据节点地址在本地;/nS4:预设阈值N,当步骤S2实施N次后,所述地址节点返回N个地址节点,客户端中的寻址模块将连续N次读取的数据节点地址作为一个计算组;/n所述计算组中每一个数据节点地址称之为待确认数据地址;/nS5:依次取出所述计算组中每一个所述待确认数据地址,计算该所述待确认数据地址在每组数据中的信度函数Bel、似真度函数Pls;/nS6:计算每个所述待确认数据地址在所述计算组中出现的概率P;/nS7:比较每一个所述待确认数据地址对应的所述信度函数Bel和所述似真度函数Pls;/nS8:查找所述信度函数Bel和所述似真度函数Pls差值最小的那个数据节点地址;/n如果所述信度函数Bel和所述似真度函数Pls差值最小的节点地址存在且唯一,则设该数据节点地址为待访问数据节点地址;/n否则,执行步骤S11;/nS9:获取所述待访问数据节点地址对应的所述概率P;/n当P≥0.5时,客户端直接读取所述待访问数据节点地址在所述数据节点中对应的数据,获取的数据为待确认数据,执行步骤S11;/n否则,执行步骤S11;/nS10:确认所述待确认数据是否是客户端期待数据;/n如果所述待确认数据是所述客户端期待数据,则本次数据读取结束,等待下次数据读取操作,重复步骤S5~S14;/n否则,放弃本次取得的数据,执行步骤S11;/nS11:客户端直接向所述地址节点请求需要读取数据节点的地址,获得相应的数据节点地址后去该数据节点按照地址读取数据;/n且将所述地址节点返回的数据节点地址设置为替换数据地址;/nS12:在所述计算组中,通过最小的所述概率P找到待删除地址;/nS13:在所述计算组中删除所述待删除地址,将所述替换数据地址添加到所述计算组中;/nS14:本次数据读取结束,等待下次数据读取操作,重复步骤S5~S14。/n...

【技术特征摘要】
1.一种基于D-S证据理论的分布式文件系统数据读取方法,其包括以下步骤:
S1:客户端向地址节点请求需要读取数据节点的地址;
S2:所述地址节点返回相应数据节点地址,客户端根据所述数据节点地址寻找数据节点读取数据;
其特征在于,其还包括以下步骤:
S3:存储每一个所述数据节点地址在本地;
S4:预设阈值N,当步骤S2实施N次后,所述地址节点返回N个地址节点,客户端中的寻址模块将连续N次读取的数据节点地址作为一个计算组;
所述计算组中每一个数据节点地址称之为待确认数据地址;
S5:依次取出所述计算组中每一个所述待确认数据地址,计算该所述待确认数据地址在每组数据中的信度函数Bel、似真度函数Pls;
S6:计算每个所述待确认数据地址在所述计算组中出现的概率P;
S7:比较每一个所述待确认数据地址对应的所述信度函数Bel和所述似真度函数Pls;
S8:查找所述信度函数Bel和所述似真度函数Pls差值最小的那个数据节点地址;
如果所述信度函数Bel和所述似真度函数Pls差值最小的节点地址存在且唯一,则设该数据节点地址为待访问数据节点地址;
否则,执行步骤S11;
S9:获取所述待访问数据节点地址对应的所述概率P;
当P≥0.5时,客户端直接读取所述待访问数据节点地址在所述数据节点中对应的数据,获取的数据为待确认数据,执行步骤S11;
否则,执行步骤S11;
S10:确认所述待确认数据是否是客户端期待数据;
如果所述待确认数据是所述客户端期待数据,则本次数据读取结束,等待下次数据读取操作,重复步骤S5~S14;
否则,放弃本次取得的数据,执行步骤S11;
S11:客户端直接向所述地址节点请求需要读取数据节点的地址,获得相应的数据节点地址后去该数据节点按照地址读取数据;

【专利技术属性】
技术研发人员:陈佳樊光辉陆冬磊黄娴
申请(专利权)人:无锡科技职业学院
类型:发明
国别省市:江苏;32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1