一种基于深度强化学习的服务功能链可靠性部署方法技术

本发明专利技术公开了一种基于深度强化学习的服务功能链可靠性部署方法，属于通信技术和机器学习领域。本方法通过分别解决服务功能链的优先级感知和可靠性部署两个问题，可以实现容错性的服务功能链部署，并且利用深度强化学习的优势，以适应复杂动态的服务功能链部署请求。本方法通过动态感知服务功能链的优先级，以此选择服务功能链上虚拟网络功能的备份方案，并利用深度强化学习同时确定服务功能链中虚拟网络功能的部署节点及备份节点，实现对服务功能链进行可靠性部署。本发明专利技术考虑了服务功能链的可靠性，提升了网络资源的有效利用率同时考虑了传输时延与节点、链路负载均衡性，适用于动态复杂的服务功能链部署请求场景。

【技术实现步骤摘要】
一种基于深度强化学习的服务功能链可靠性部署方法
本专利技术属于通信技术和机器学习领域，涉及一种基于深度强化学习的服务功能链可靠性部署方法。
技术介绍
随着5G时代的到来，网络服务请求的数量及多样性急剧增长，为服务功能链的可靠性部署带来了巨大的挑战。在如今的运营商网络中，大量的网络功能，如防火墙、NAT、DPI等都分布部署在不同的服务器节点上，并通过一定的顺序对网络功能进行组合，这种功能序列就叫做服务功能链(ServiceFunctionChain,SFC)。传统的服务功能链部署方式依赖服务运营商制定的路由策略，使业务流量以一定顺序经过若干虚拟网络功能，以提供所需的网络服务。这种方式存在一定缺陷：缺乏一定的容错措施，难以满足服务功能链的可靠性部署需求；不同服务功能链的资源需求量不同，导致优先级存在差异，单一策略难以满足所有部署需求；虚拟网络功能预先部署在服务器节点上，难以应对动态复杂的服务功能链部署需求，等等。随着软件定义网络(SoftwareDefinedNetwork,SDN)和网络功能虚拟化(NetworkFunctionVirtualization,NFV)技术的快速发展，基于SDN/NFV融合架构的服务功能链得到了大量的关注。SDN/NFV网络联合架构以SDN控制器为网络的控制平面，以NFV为新型的通用化基础设施为数据平面，结合了控制与转发分离、集中控制、网络资源抽象、网络可编程性等优势，可以摆脱根深蒂固的厂商锁定，并灵活快速地按需提供弹性网络，以便更好地应对多样化的应用场景和差异化的服务质量需求。<br>针对服务功能链的动态可靠性部署问题，现有的部署方法都存在某些方面的不足。例如，中国专利技术专利“CN109586982B”，提出了一种虚拟网络功能备份方法，通过确定已部署的服务功能链中各功能节点的评估值，以此确定各功能节点的备份需求。但是该方法对于动态到达的服务功能链部署请求难以进行实时功能节点备份，且未对服务功能链进行优先级划分，容易造成网络资源浪费。中国专利技术专利“CN110460465A”，提出了一种面向移动边缘计算的服务功能链部署方法，采用强化学习中的Q-learning算法进行部署。但该方法需要维护一个庞大的Q值表，将会浪费大量的CPU性能，且无法对样本中未知的情况做出准确判断。中国专利技术专利“CN111669291A”，提出了一种基于深度强化学习的虚拟化网络服务功能链部署方法，通过分别解决虚拟功能放置和流量路由两个问题，实现最小成本代价的服务功能链部署。但该方法并未考虑功能节点可能存在的失效情况，难以保证服务功能链的容错性及可靠性部署。因此，针对动态复杂的服务功能链的可靠性部署问题仍然缺乏有效的解决方法。
技术实现思路
为了克服上述现有技术的缺点，本专利技术的目的在于提供一种基于深度强化学习的服务功能链可靠性部署方法，解决了网络功能虚拟化背景下，针对动态复杂的服务功能链的可靠性部署问题。为了达到上述目的，本专利技术采用以下技术方案予以实现：本专利技术公开了一种基于深度强化学习的服务功能链可靠性部署方法，包括以下步骤：1)处理服务功能链部署请求；2)针对服务功能链进行优先级划分，根据服务功能链的优先级，选择相应服务功能链中虚拟网络功能的备份方案；3)应用深度强化学习，确定服务功能链中虚拟网络功能的部署节点及备份节点，实现对服务功能链进行可靠性部署。优选地，步骤2)中，对服务功能链进行优先级划分，具体包括以下步骤：a)分别计算服务功能链中各虚拟网络功能的总CPU需求rcpu和各虚拟链路的总带宽需求rbw；b)计算rcpu占最大可能需求的权重，计算rbw占最大可能需求的权重；c)根据rcpu占最大可能需求的权重和rbw占最大可能需求的权重，计算平均权重；d)当判定步骤c)所得平均权重大于2/3时，划分为高优先级的服务功能链；当判定步骤c)所得平均权重小于1/3时，划分为低优先级的服务功能链；否则，划分为中优先级的服务功能链。进一步优选地，当划分为高优先级的服务功能链时，对服务功能链中的每一个虚拟网络功能进行备份。进一步优选地，当划分为中优先级的服务功能链时，针对服务功能链中的虚拟网络功能选择待部署节点，对所选待部署节点进行重要度划分；当划分为高重要度的待部署节点时，针对待部署节点时对应的服务功能链中的虚拟网络功能进行备份；否则，针对待部署节点时对应的服务功能链中的虚拟网络功能不备份。其中，进一步优选地，对所选待部署节点进行重要度划分，具体包括以下步骤：①分别计算所选待部署节点的节点度和CPU占用数；②分别计算所选待部署节点的节点度占最大节点度的权重和CPU占用数占总CPU数的权重；③根据节点度占最大节点度的权重和CPU占用数占总CPU数的权重，计算平均权重；④当判定步骤③所得平均权重大于0.5时，划分为高重要度。进一步优选地，当划分为低优先级的服务功能链时，对服务功能链中的虚拟网络功能不备份。优选地，步骤3)中，应用深度强化学习对服务功能链中的虚拟网络功能进行部署，具体包括以下步骤：i)设定深度强化学习参数，包括状态集、动作集和反馈函数；其中，状态集为S(t)＝(Cr，Br，Finfo)；式中，Cr代表各节点剩余CPU资源量，Br代表各链路剩余带宽资源量，Finfo代表上一虚拟网络功能的类型及部署位置；动作集为A(t)＝(Vd，Vb)；式中，Vd代表虚拟网络功能的部署节点位置，Vb代表虚拟网络功能的备份节点位置；反馈函数为式中，L代表相邻虚拟网络功能间的最大传输时延，C代表所有节点最大CPU资源占用量，B代表所有链路最大带宽资源占用量，α、β、γ为权重；ii)初始化神经网络与经验回放集合D；iii)选择负载最小的节点对服务功能链中第一个虚拟网络功能进行部署或备份，得到当前Cr、Br及Finfo信息并设定初始状态S(t)；iv)根据ε-贪婪方法对当前状态S(t)选择部署及备份节点对(Vd，Vb)，执行动作后得到更新后的Cr、Br及Finfo信息并转到下一状态S(t+1)；v)根据反馈函数R(t)计算当前反馈值R，并将四元组(S(t)，(Vd，Vb)，S(t+1)，R)存入经验回放集合D，并置S(t)为S(t+1)；vi)根据D中样本通过梯度反向传播更新神经网络参数。进一步优选地，步骤iv)中，若不备份节点对(Vd，Vb)，则备份节点Vb置为空。进一步优选地，完成步骤vi)后，判定为最后一个虚拟网络功能，则结束深度强化学习；否则，重新执行步骤iv)～步骤vi)。优选地，步骤1)中，服务功能链可靠性部署请求包括虚拟网络功能类型、虚拟网络功能序列、虚拟网络功能的CPU资源需求和虚拟链路的带宽资源需求。优选地，完成步骤3)后，判定为最后一条服务功能链可靠性部署请求，则结束可靠性部署方法；否则，重新执行步骤1)～步骤3)。...

【技术保护点】
1.一种基于深度强化学习的服务功能链可靠性部署方法，其特征在于，包括以下步骤：/n1)处理服务功能链部署请求；/n2)针对服务功能链进行优先级划分，根据服务功能链的优先级，选择相应服务功能链中虚拟网络功能的备份方案；/n3)应用深度强化学习，确定服务功能链中虚拟网络功能的部署节点及备份节点，实现对服务功能链进行可靠性部署。/n

【技术特征摘要】
1.一种基于深度强化学习的服务功能链可靠性部署方法，其特征在于，包括以下步骤：
1)处理服务功能链部署请求；
2)针对服务功能链进行优先级划分，根据服务功能链的优先级，选择相应服务功能链中虚拟网络功能的备份方案；
3)应用深度强化学习，确定服务功能链中虚拟网络功能的部署节点及备份节点，实现对服务功能链进行可靠性部署。


2.根据权利要求1所述的一种基于深度强化学习的服务功能链可靠性部署方法，其特征在于，步骤2)中，对服务功能链进行优先级划分，具体包括以下步骤：
a)分别计算服务功能链中各虚拟网络功能的总CPU需求rcpu和各虚拟链路的总带宽需求rbw；
b)计算rcpu占最大可能需求的权重，计算rbw占最大可能需求的权重；
c)根据rcpu占最大可能需求的权重和rbw占最大可能需求的权重，计算平均权重；
d)当判定步骤c)所得平均权重大于2/3时，划分为高优先级的服务功能链；
当判定步骤c)所得平均权重小于1/3时，划分为低优先级的服务功能链；
否则，划分为中优先级的服务功能链。


3.根据权利要求2所述的一种基于深度强化学习的服务功能链可靠性部署方法，其特征在于，当划分为高优先级的服务功能链时，对服务功能链中的每一个虚拟网络功能进行备份。


4.根据权利要求2所述的一种基于深度强化学习的服务功能链可靠性部署方法，其特征在于，当划分为中优先级的服务功能链时，针对服务功能链中的虚拟网络功能选择待部署节点，对所选待部署节点进行重要度划分；
当划分为高重要度的待部署节点时，针对待部署节点时对应的服务功能链中的虚拟网络功能进行备份；
否则，针对待部署节点时对应的服务功能链中的虚拟网络功能不备份。


5.根据权利要求4所述的一种基于深度强化学习的服务功能链可靠性部署方法，其特征在于，对所选待部署节点进行重要度划分，具体包括以下步骤：
①分别计算所选待部署节点的节点度和CPU占用数；
②分别计算所选待部署节点的节点度占最大节点度的权重和CPU占用数占总CPU数的权重；
③根据节点度占最大节点度的权重和CPU占用数占总CPU数的权重，计算平均权重；
④当判定步骤③所得平均权重大于0.5时，划分为高重要度。


6.根据权利要求...

【专利技术属性】
技术研发人员：王珂，曲桦，赵季红，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61