基于深度学习的服务功能链可靠性部署方法、系统及装置制造方法及图纸

本发明专利技术公开了一种基于深度学习的服务功能链可靠性部署方法、系统及装置，所述方法包括，S1、获取主拓扑最短路径集合；S2、获取主拓扑部署，根据主拓扑计算主拓扑可靠度；S3、根据所述主拓扑初始化有限状态空间S、有限动作空间A和状态转移概率P，将初始化后的所述S、A和P输入到CMAC

【技术实现步骤摘要】
基于深度学习的服务功能链可靠性部署方法、系统及装置


[0001]本专利技术涉及服务功能链领域，尤其是涉及一种基于深度学习的服务功能链可靠性部署方法、系统及装置。

技术介绍

[0002]传统运营商网络功能是基于硬件的middlebox实现的，能够达到“99.999％”的高可靠性服务需求。随着网络功能虚拟化(Network Function Virtualization，NFV)、虚拟网络功能(Virtualized Network Function，VNF)技术的发展，未来运营商网络功能逐渐被配置在x86服务器上的虚拟网络功能替代。在基于网络功能虚拟化的服务功能链部署架构中，底层物理网络中服务器节点包含有大量数据，比如系统运行数据和签约数据等。底层通用型设备一旦发生故障(虚拟机运行故障或者网络功能自身配置错误)会导致映射在上面的服务功能链失效，甚至导致网络瘫痪，无法保证租户的服务质量，难以满足高可靠性的电信级需求。因此，如何保证服务功能链的可靠性是底层物理设施提供商亟需解决的问题之一。

技术实现思路

[0003]本专利技术的目的在于提供一种基于深度学习的服务功能链可靠性部署方法、系统及装置，旨在解决基于深度学习的服务功能链可靠性部署方法、系统及装置。
[0004]本专利技术提供一种基于深度学习的服务功能链可靠性部署方法，包括：
[0005]S1、获取主拓扑最短路径集合；
[0006]S2、根据最短路径集合获取主拓扑部署，根据主拓扑计算主拓扑可靠度，并根据主拓扑可靠度判断是否需要备份VNF选择模型，若不需要备份VNF选择模型，则完成服务功能链可靠性部署，若需要备份VNF选择模型，继续执行步骤；
[0007]S3、根据所述主拓扑初始化有限状态空间S、有限动作空间A和状态转移概率P，将初始化后的所述S、A和P输入到CMAC
‑
Q
‑
Learning模型，S和P用于存储Q
‑
Learning迭代过程中产生的状态
‑
动作对；
[0008]S4、计算值函数Q(s
t
,a
t
)；
[0009]S5、将值函数Q(s
t
,a
t
)输入CMAC神经网络，并通过表格查询的方式，根据值函数Q(s
t
,a
t
)对CMAC神经网络进行拟合，在局部邻域内进行权值W更新和取值学习率α
W
，对算法运行条件进行判断，若运行符合条件则执行S4，若不符合运行条件则执行S6。
[0010]S6、根据行为策略计算得到最优的备份VNF个数B
N
，基于联合备份模型计算得到相应的备份链路B
E
，根据计算资源、链路资源，时延和可靠性约束得到备份路径部署，将主拓扑部署和备份路径部署输出得到可靠服务功能链部署方案π
s
。
[0011]本专利技术还提供一种基于深度强化学习的服务功能链可靠性部署系统，包括，
[0012]获取模块，用于获取主拓扑最短路径集合；
[0013]部署模块：用于根据最短路径集合获取主拓扑部署，根据主拓扑计算主拓扑可靠度，并根据主拓扑可靠度判断是否需要备份VNF选择模型，若不需要备份VNF选择模型，则完
成服务功能链可靠性部署，若需要备份VNF选择模型，继续执行步骤；
[0014]输入模块：用于根据所述主拓扑初始化有限状态空间S、有限动作空间A和状态转移概率P，将初始化后的所述S、A和P输入到CMAC
‑
Q
‑
Learning模型，S和P用于存储Q
‑
Learning迭代过程中产生的状态
‑
动作对；
[0015]计算模块：用于计算值函数Q(s
t
,a
t
)；
[0016]判断模块：用于将值函数Q(s
t
,a
t
)输入CMAC神经网络，并通过表格查询的方式，根据值函数Q(s
t
,a
t
)对CMAC神经网络进行拟合，在局部邻域内进行权值W更新和取值学习率α
W
，对算法运行条件进行判断，若运行符合条件则执行S4，若不符合运行条件则执行S6。
[0017]部署方案模块：根据行为策略计算得到最优的备份VNF个数B
N
，基于联合备份模型计算得到相应的备份链路B
E
，根据计算资源、链路资源，时延和可靠性约束得到备份路径部署，将主拓扑部署和备份路径部署输出得到可靠服务功能链部署方案π
s
。
[0018]本专利技术实施例还提供一种基于深度强化学习的服务功能链可靠性部署系统，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述方法的步骤。
[0019]本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现上述方法的步骤。
[0020]采用本专利技术实施例，可以实现深度强化学习的服务功能链可靠性部署。
[0021]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。
附图说明
[0022]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]图1是本专利技术实施例的基于深度学习的服务功能链可靠性部署方法的流程图；
[0024]图2是本专利技术实施例的基于深度学习的服务功能链可靠性部署方法的具体流程图；
[0025]图3是本专利技术实施例的基于深度学习的服务功能链可靠性部署方法的CMAC
‑
Q
‑
Learning深度强化学习模型流程图。
[0026]图4是本专利技术实施例的基于深度强化学习的服务功能链可靠性部署方法的联合备份模型示意图；
[0027]图5是本专利技术实施例的基于深度强化学习的服务功能链可靠性部署系统的示意图；
[0028]图6是本专利技术实施例的基于深度强化学习的服务功能链可靠性部署装置的示意图。
具体实施方式
[0029]下面将结合实施例对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0030]方法实施例
...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的服务功能链可靠性部署方法，其特征在于，包括，S1、获取主拓扑最短路径集合；S2、根据最短路径集合获取主拓扑部署，根据主拓扑计算主拓扑可靠度，并根据主拓扑可靠度判断是否需要备份VNF选择模型，若不需要备份VNF选择模型，则完成服务功能链可靠性部署，若需要备份VNF选择模型，继续执行步骤；S3、根据所述主拓扑初始化有限状态空间S、有限动作空间A和状态转移概率P，将初始化后的所述S、A和P输入到CMAC
‑
Q
‑
Learning模型，S和P用于存储Q
‑
Learning迭代过程中产生的状态
‑
动作对；S4、计算值函数Q(s
t
,a
t
)；S5、将值函数Q(s
t
,a
t
)输入CMAC神经网络，并通过表格查询的方式，根据值函数Q(s
t
,a
t
)对CMAC神经网络进行拟合，在局部邻域内进行权值W更新和取值学习率α
W
，对算法运行条件进行判断，若运行符合条件则执行S4，若不符合运行条件则执行S6。S6、根据行为策略计算得到最优的备份VNF个数B
N
，基于联合备份模型计算得到相应的备份链路B
E
，根据计算资源、链路资源、时延和可靠性约束得到备份路径部署，将主拓扑部署和备份路径部署输出得到可靠服务功能链部署方案π
s
。2.根据权利要求1所述的方法，其特征在于，所述S1具体包括：采用K
‑
Dijkstra算法计算从节点n
i
到n
e
的最短路径集合P，根据网络时延将集合P按照降序的方式排列，记为集合记为E＝{e1,e2,
…
,e
k
}，E为主拓扑最短路径集合。3.根据权利要求2所述的方法，其特征在于，所述S2具体包括：以端到端时延最小化为目标从集合E中选择最短路径D，将服务功能链请求t中所有VNF映射最短路径D，形成一条主拓扑，计算主拓扑可靠度，若服务功能链可靠度大于等于服务功能链请求的最低可靠性需求，则无需备份VNF，算法结束，否则跳转至S3。4.根据权利要求3所述的方法，其特征在于，所述S4具体包括：对于有限动作空间A中每一动作a，a为备份VNF集合,在当前时刻t，计算Q
NN
(s
t
,a
t
)，Q
NN
(s
t
,a
t
)表示CMAC
‑
Q
‑
Learning模型中时刻t+1下，状态s
t
执行动作a
t
的值函数，将得到集合{s
t
,a
t
,Q
NN
(s
t
,a
t
)}进行存储到dataset，在状态s
t
执行动作a
t
到达状态s
t+1
，得到收益函数r(s
t
,a
t
),计算Q
NN
(s
t+1
,a
t+1
)，Q
NN
(s
t+1
,a
t+1
)表示CMAC
‑
Q
‑
Learning模型中时刻t+1下，状态s
t+1
执行动作a
t+1
的值函数，在迭代步数step+1时判断是否rand<1
‑
ξ1，rand表示随机产生的参数，范围在[0,1]，ξ1表示选择动作的概率，若是则计算a*＝argmax Q
NN
(s
t+1
,a
t+1
)和δ＝r(s
t
,a
t
)+Q
NN
(s
t+1
,a
t+1
)
‑
Q
NN
(s
t
,a
t
)，a*最优值函数对应的动作，若否则基于动作选择策略π执行动作a
t
，计算Q(s
t
,a
t
)＝Q
NN
(s
t+1
,a
t+1
)+αWδ，并更新dataset。5.根据权利要求4所述的方法，其特征在于，所述S5具体包括：将得到的值函数估计值Q(s
t
,a
t
)输入CMAC神经网络，并对CMAC神经网络进行拟合，不断更新权重向量W和取值学习率αW，判断|Q
NN
(s
t
,a
t
)
‑
max Q(s
t
,a
t
)|≥ξ2&&m≤Max_m，ξ2表示迭代停止阈值，若是则跳转至步骤4，否则跳转至步骤6,m是迭代次数,Max_m为最大迭代数。6.一种基于深度强化学习的服务功能链可靠性部署系统，其特征在于，包括，获取模块，用于获取主拓扑最短路径集合；部署模块：用于根据最短路径集合获取主拓扑部署，根据主拓扑计算主拓扑可靠度，并根据主拓扑可靠度判断是否需要备份VNF选择模型，...

【专利技术属性】
技术研发人员：赵东昊，刘益岑，王路，卢昱，黄哲轩，
申请(专利权)人：中国人民解放军陆军工程大学，
类型：发明
国别省市：