一种适用于大数据分发的Q‑learning拥塞控制方法技术

一种适用于大数据分发的Q‑learning拥塞控制方法。本发明专利技术提供一种在对等网络中查找资源的方法和装置，能够使非结构化P2P网络中的资源查找时间明显降低，并具有更低的网络拥塞，以及提高了查找成功率。本发明专利技术的在对等网络中查找资源的方法包括：使用Q‑学习方法计算对等网络中各节点的Q值；在对等网络中，判断发起资源查找的当前节点是否有邻居节点包含所述资源；若是，则向包含所述资源的邻居节点中的Q值最大的节点发送资源查找消息；否则将资源查找消息发送给该当前节点的所有邻居节点中Q值最大的节点然后由该Q值最大的节点发起资源查找。

【技术实现步骤摘要】

本专利技术涉及计算机网络技术，特别地涉及一种在对等网络中查找资源的方法和装置。
技术介绍
近年来，对等(Peer-to-Peer，P2P)网络已逐渐发展成一种重要的网络模式。这是因为与传统的客户机/服务器(Client/Server，C/S)模式相比，对等网络具有容错性好、可扩展性强、成本低廉、可以充分利用分布资源等优势。对等网络在文件共享、分布式计算、流媒体服务等发面已有广泛的应用。对等网络分为两种：有结构的和无结构的，有结构的对等网络对节点的连接有严格的限制，而无结构的对等网络节点的连接有很大的自由度。由于无结构对等网络节点的分布式特点，节点只知道其邻居节点的资源，却并不知道网络中其它节点上资源的分布情况，因此无结构对等网络中一个极大的难题是网络中的资源定位问题。为此已经提出许多搜索方法来实现无结构对等网络上资源的有效定位，如洪泛法、random walks、APS(Adaptive Probability Search)等。然而以上方法在资源查找过程中由于查找消息的转发，导致网络中部分节点在查找过程中需要处理的消息过多而出现消息拥塞，进而严重影响搜索的继续进行，造成搜索性能的下降。因而如何在对等网络中实现负载均衡就显得尤为重要。
技术实现思路
有鉴于此，本专利技术提供一种在对等网络中查找资源的方法和装置，能够使非结构化P2P网络中的资源查找时间明显降低，并具有更低的网络拥塞，以及提高了查找成功率。为实现上述目的，根据本专利技术的一个方面，提供了一种在对等网络中查找资源的方法。本专利技术的在对等网络中查找资源的方法包括：使用Q-学习方法计算对等网络中各节点的Q值；在对等网络中，判断发起资源查找的当前节点是否有邻居节点包含所述资源；若是，则向包含所述资源的邻居节点中的Q值最大的节点发送资源查找消息；否则将资源查找消息发送给该当前节点的所有邻居节点中Q值最大的节点然后由该Q值最大的节点发起资源查找。可选地，由该Q值最大的节点发起资源查找的步骤包括：所述该Q值最大的节点确认收到的资源查找消息的存活时间不为0，然后发起资源查找。可选地，所述Q-学习方法中，求Q值的公式如下：Qnew(s,a)＝Q(s,a)+αQlocal(s,a)+β×Ι(U-CLi(t))×CLi(t)；其中，Qnew(s,a)表示Q的新值，Q(s,a)表示Q的老值，α表示学习速率，Qlocal(s,a)表示被学习的值，β表示拥塞因素，函数I(x)在x≤0时取值-1，x>0时取值1，函数CL的计算公式为： CL P j ( t ) = 1 + Q P j ( t ) C P j ; ]]>其中，表示节点Pj处理一条查找消息所需的时间；表示时刻t节点Pj的缓存队列中待处理的消息数；Qlocal(s,a)的计算公式为：Qlocal(s,a)＝R(s)+γmaxa′Q(s′,a′)；其中，γ表示折扣因子，maxa′Q(s′,a′)表示当前状态的下一状态所获得的最大Q值，其中s'和a'分别为下一状态和对应的行为；R表示奖赏值，其计算公式为： R = Σ k = 0 k γ k A i n i ; ]]>其中，k为搜索到拥有资源段的节点需要的次数，Ai为节点Pi的吸引能力，ni为节点Pi上的资源数。其中Ai计算公式为： A i = Σ h = 1 h = k c N ( i , h ) h δ × C i ; ]]>其中：Ci是节点i的处理能力，N(i,h)是与节点Pi相距h跳的节点个数，δ是控制因数，kc表示计算连通度的半径，hδ用来控制不同距离节点对节点吸引能力影响的比权重。可选地，α的取值范围是[0.28,0.32]。可选地，β的取值范围是[0.48,0.52]。可选地，γ的取值范围是[0.28,0.32]。可选地，δ的取值范围是[0.8,1.2]。可选地，kc的取值范围是[1.8,2.2]。根据本专利技术的另一方面，提供了一种在对等网络中查找资源的装置。本专利技术的在对等网络中查找资源的装置包括：计算模块，用于使用Q-学习方法计算对等网络中各节点的Q值；判断模块，用于判断发起资源查找的当前节点是否有邻居节点包含所述资源；资源获取模块，用于在发起资源查找的当前节点有邻居节点包含所述资源的情况下，向包含所述资源的邻居节点中的Q值最大的节点发送资源查找消息；消息发送模块，用于在发起资源查找的当前节点没有邻居节点包含所述资源的情况下，将资源查找消息发送给该当前节点的所有邻居节点中Q值最大的节点。可选地，还包括判断模块，用于在收到资源查找消息的情况下，判断所述资源查找消息的存活时间是否为0，若否，则发起资源查找。根据本专利技术的技术方案，在进行资源查找时，基于Q-学习方法并考虑网络拥塞因素来选择节点，从而能够使非结构化P2P网络中的资源查找时间明显降低，并具有更低的网络拥塞，以及提高了查找成功率。...

【技术保护点】
一种在对等网络中查找资源的方法，其特征在于，包括：使用Q‑学习方法计算对等网络中各节点的Q值；在对等网络中，判断发起资源查找的当前节点是否有邻居节点包含所述资源；若是，则向包含所述资源的邻居节点中的Q值最大的节点发送资源查找消息；否则将资源查找消息发送给该当前节点的所有邻居节点中Q值最大的节点然后由该Q值最大的节点发起资源查找。

【技术特征摘要】
1.一种在对等网络中查找资源的方法，其特征在于，包括：
使用Q-学习方法计算对等网络中各节点的Q值；
在对等网络中，判断发起资源查找的当前节点是否有邻居节点包
含所述资源；若是，则向包含所述资源的邻居节点中的Q值最大的节
点发送资源查找消息；否则将资源查找消息发送给该当前节点的所有
邻居节点中Q值最大的节点然后由该Q值最大的节点发起资源查找。
2.根据权利要求1所述的方法，其特征在于，由该Q值最大的节
点发起资源查找的步骤包括：
所述该Q值最大的节点确认收到的资源查找消息的存活时间不为
0，然后发起资源查找。
3.根据权利要求1所述的方法，其特征在于，所述Q-学习方法中，
求Q值的公式如下：
Qnew(s,a)＝Q(s,a)+αQlocal(s,a)+β×Ι(U-CLi(t))×CLi(t)；
其中，Qnew(s,a)表示Q的新值，Q(s,a)表示Q的老值，α表示学习
速率，Qlocal(s,a)表示被学习的值，β表示拥塞因素，函数I(x)在x≤0时
取值-1，x>0时取值1，函数CL的计算公式为：
Cl P j ( t ) = 1 + Q P t ( t ) C P j ; ]]>其中，表示节点Pj处理一条查找消息所需的时间；表示
时刻t节点Pj的缓存队列中待处理的消息数；
Qlocal(s,a)的计算公式为：Qlocal(s,a)＝R(s)+γmaxa′Q(s′,a′)；
其中，γ表示折扣因子，maxa′Q(s′,a′)表示当前状态的下一状态所
获得的最大Q值，其中s'和a'分别为下一状态和对应的行为；R表示奖
赏值，其计算公式为：
R = Σ k = 0 k γ k A ...

【专利技术属性】
技术研发人员：崔凯，
申请(专利权)人：北京智芯原动科技有限公司，
类型：发明
国别省市：北京;11