一种多态路由派生方法及系统技术方案

本发明专利技术公开了一种多态路由派生方法及系统，该方法包括：对路由服务需求进行规范和描述，得到路由服务需求描述，根据路由服务需求描述，建立马尔科夫决策过程模型，其中每个决策阶段对应多态路由派生过程中基本路由功能单元的选择决策，然后求解马尔科夫决策过程模型，得到多态路由派生策略，根据多态路由派生策略组合基本路由功能单元，得到多态路由协议。本发明专利技术的方法实现了对不同的路由服务需求按照不同的路由派生策略，提供不同的路由协议，满足了多样化业务对网路路由功能的要求。

【技术实现步骤摘要】
一种多态路由派生方法及系统
本申请涉及计算机网络
，更具体地说，涉及一种多态路由派生方法及系统。
技术介绍
随着IP网络业务形态的不断丰富，业务对网络的需求也变得越来越多样化。而IP网络的服务能力却是有限和确定的，这就直接导致了业务需求与网络固有能力之间的差距日益扩大，最终将使得网络难以支持多样化的业务。同时，信息网络所依赖的基础互联传输和路由结构过于简单，且长期不变。大量实践已经证明，现有的信息基础网络路由结构难以满足多样化业务对网络的高等级需求。因此，现有技术缺乏一种方案，来解决现有路由结构过于简单而造成的无法满足多样化业务的需求的问题。
技术实现思路
有鉴于此，本申请提供了一种多态路由派生方法及系统，用于解决现有的路由结构过于简单而造成的无法满足多样化业务需求的问题。为了实现上述目的，现提出的方案如下：一种多态路由派生方法，包括：对路由服务需求进行规范和描述，得到路由服务需求描述；根据所述路由服务需求描述，建立马尔科夫决策过程模型，其中每个决策阶段对应多态路由派生过程中基本路由功能单元的选择决策；求解所述马尔科夫决策过程模型，得到多态路由派生策略；根据所述多态路由派生策略组合基本路由功能单元，得到多态路由协议。优选地，所述对路由服务需求进行规范和描述，得到路由服务需求描述，包括：将路由服务需求划分为由安全服务描述、性能服务描述和功能服务描述组成的路由服务需求描述，其中：所述安全服务描述包括安全等级和安全种类；所述性能服务描述包括优先级要求、带宽要求、时延要求和丢包要求；所述功能服务描述包括通信模式、路由类型、路由标识和通信主体。优选地，所述根据所述路由服务需求描述，建立马尔科夫决策过程模型，包括：定义系统状态：系统状态s定义为路由基本功能单元类；定义系统的状态空间：路由基本功能单元类的集合构成系统的状态空间S＝{s1，s2，s3…，sm}；定义系统的动作空间：动作空间A(s)是当前状态所对应的路由基本功能单元类所有基本路由功能单元的集合；定义转移概率：定义匹配度，匹配度MD表示所选择的路由基本功能单元与路由服务描述的匹配程度，转移概率为所选择的路由基本功能单元的匹配度与当前状态所对应的类中所有基本路由功能单元的匹配度总和之比，在系统所处的状态为sn，转移概率p(sn+1|sn,a)表示执行动作a(sn)到达状态sn+1的概率；定义奖赏函数：奖赏函数r(s,a)表示在状态s时执行动作a获得的奖励，奖赏函数r(s,a)定义为:r(s，a)＝ω1·fs(s，a)+ω2·fp(s，a)+ω3·fo(s，a)，其中fs(s,a)、fp(s,a)和fo(s,a)分别表示安全利益函数、性能利益函数和功能利益函数，w1、w2和w3分别表示权重因子。优选地，所述求解所述马尔科夫决策过程模型，得到多态路由派生策略，包括：使用增强学习方法求解所述马尔科夫决策过程模型，得到多态路由派生策略。优选地，所述增强学习方法为：步骤S1、初始化Q学习矩阵；步骤S2、设置学习周期；步骤S3、设置初始状态s0和终止状态sr；步骤S4、基于贪婪策略，从动作空间A(s)中选择并执行相应的动作a(s)；步骤S5、根据Q矩阵的定义更新Q矩阵；步骤S6、更新当前状态，判断当前状态是否为终止状态sr，如果是，执行步骤S7，否则执行步骤S4；步骤S7、判断是否达到设定的学习周期数，如果达到，则执行步骤S8，否则执行步骤S3；步骤S8、输出多态路由派生策略。一种多态路由派生系统，包括：规范描述单元，用于对路由服务需求进行规范和描述，得到路由服务需求描述；模型建立单元，用于根据所述路由服务需求描述，建立马尔科夫决策过程模型，其中每个决策阶段对应多态路由派生过程中基本路由功能单元的选择决策；模型求解单元，用于求解所述马尔科夫决策过程模型，得到多态路由派生策略；组合单元，用于根据所述多态路由派生策略组合基本路由功能单元，得到多态路由协议。优选地，所述规范描述单元包括划分单元，用于将路由服务需求划分为由安全服务描述、性能服务描述和功能服务描述组成的路由服务需求描述，其中：所述安全服务描述包括安全等级和安全种类；所述性能服务描述包括优先级要求、带宽要求、时延要求和丢包要求；所述功能服务描述包括通信模式、路由类型、路由标识和通信主体。优选地，所述模型建立单元包括：系统状态定义单元，用于定义系统状态，系统状态s定义为路由基本功能单元类；状态空间定义单元，用于定义系统的状态空间：路由基本功能单元类的集合构成系统的状态空间S＝{s1，s2，s3…，sm}；动作空间定义单元，用于定义系统的动作空间：动作空间A(s)是当前状态所对应的路由基本功能单元类所有基本路由功能单元的集合；转移概率定义单元，用于定义转移概率：定义匹配度，匹配度MD表示所选择的路由基本功能单元与路由服务描述的匹配程度，转移概率为所选择的路由基本功能单元的匹配度与当前状态所对应的类中所有基本路由功能单元的匹配度总和之比，在系统所处的状态为sn，转移概率p(sn+1|sn,a)表示执行动作a(sn)到达状态sn+1的概率；奖赏函数定义单元，用于定义奖赏函数：奖赏函数r(s,a)表示在状态s时执行动作a获得的奖励，奖赏函数r(s,a)定义为:r(s，a0＝ω1·fs(s，a)+ω2·fp(s，a)+ω3·fo(s，a)，其中fs(s,a)、fp(s,a)和fo(s,a)分别表示安全利益函数、性能利益函数和功能利益函数，w1、w2和w3分别表示权重因子。优选地，所述模型求解单元包括：增强学习子单元，用于使用增强学习方法求解所述马尔科夫决策过程模型，得到多态路由派生策略。优选地，所述增强学习子单元包括：初始化单元，用于初始化Q学习矩阵；第一设置单元，用于设置学习周期；第二设置单元，用于设置初始化状态s0和终止状态sr；动作执行单元，用于基于贪婪策略，从动作空间A(s)中选择并执行相应的动作a(s)；Q矩阵更新单元，用于根据Q矩阵的定义更新Q矩阵；状态更新单元，用于更新当前状态，并判断当前状态是否为终止状态sr，在判断结果为非终止状态时，返回所述动作执行单元；学习周期判断单元，用于在所述状态更新单元判断当前状态为终止状态时，判断是否达到设定的学习周期数，在判断结果为未达到设定的学习周期数时，返回所述第二设置单元；输出单元，用于在所述学习周期判断单元判断达到设定的学习周期数时，输出多态路由派生策略。从上述的技术方案可以看出，本申请公开的多态路由派生方法，通过对路由服务需求进行规范和描述，得到路由服务需求描述，根据路由服务需求描述，建立马尔科夫决策过程模型，其中每个决策阶段对应多态路由派生过程中基本路由功能单元的选择决策，然后求解马尔科夫决策过程模型，得到多态路由派生策略，根据多态路由派生策略组合基本路由功能单元，得到多态路由协议。本申请的方法实现了对不同的路由服务需求按照不同的路由派生策略，提供不同的路由协议，满足了多样化业务对网路路由功能的要求。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其本文档来自技高网...

【技术保护点】
一种多态路由派生方法，其特征在于，包括：对路由服务需求进行规范和描述，得到路由服务需求描述；根据所述路由服务需求描述，建立马尔科夫决策过程模型，其中每个决策阶段对应多态路由派生过程中基本路由功能单元的选择决策；求解所述马尔科夫决策过程模型，得到多态路由派生策略；根据所述多态路由派生策略组合基本路由功能单元，得到多态路由协议。

【技术特征摘要】
1.一种多态路由派生方法，其特征在于，包括：对路由服务需求进行规范和描述，得到路由服务需求描述；根据所述路由服务需求描述，建立马尔科夫决策过程模型，其中每个决策阶段对应多态路由派生过程中基本路由功能单元的选择决策；求解所述马尔科夫决策过程模型，得到多态路由派生策略；根据所述多态路由派生策略组合基本路由功能单元，得到多态路由协议；所述根据所述路由服务需求描述，建立马尔科夫决策过程模型，包括：定义系统状态：系统状态s定义为路由基本功能单元类；定义系统的状态空间：路由基本功能单元类的集合构成系统的状态空间S＝{s1，s2，s3...，sm}；定义系统的动作空间：动作空间A(s)是当前状态所对应的路由基本功能单元类所有基本路由功能单元的集合；定义转移概率：定义匹配度，匹配度MD表示所选择的路由基本功能单元与路由服务描述的匹配程度，转移概率为所选择的路由基本功能单元的匹配度与当前状态所对应的类中所有基本路由功能单元的匹配度总和之比，在系统所处的状态为sn，转移概率p(sn+1|sn,a)表示执行动作a(sn)到达状态sn+1的概率；定义奖赏函数：奖赏函数r(s,a)表示在状态s时执行动作a获得的奖励，奖赏函数r(s,a)定义为:r(s，a)＝ω1·fs(s，a)+ω2·fp(s，a)+ω3·fo(s，a)，其中fs(s,a)、fp(s,a)和fo(s,a)分别表示安全利益函数、性能利益函数和功能利益函数，w1、w2和w3分别表示权重因子；所述求解所述马尔科夫决策过程模型，得到多态路由派生策略，包括：使用增强学习方法求解所述马尔科夫决策过程模型，得到多态路由派生策略；所述增强学习方法为：步骤S1、初始化Q学习矩阵；步骤S2、设置学习周期；步骤S3、设置初始状态s0和终止状态sr；步骤S4、基于贪婪策略，从动作空间A(s)中选择并执行相应的动作a(s)；步骤S5、根据Q矩阵的定义更新Q矩阵；步骤S6、更新当前状态，判断当前状态是否为终止状态sr，如果是，执行步骤S7，否则执行步骤S4；步骤S7、判断是否达到设定的学习周期数，如果达到，则执行步骤S8，否则执行步骤S3；步骤S8、输出多态路由派生策略。2.根据权利要求1所述的多态路由派生方法，其特征在于，所述对路由服务需求进行规范和描述，得到路由服务需求描述，包括：将路由服务需求划分为由安全服务描述、性能服务描述和功能服务描述组成的路由服务需求描述，其中：所述安全服务描述包括安全等级和安全种类；所述性能服务描述包括优先级要求、带宽要求、时延要求和丢包要求；所述功能服务描述包括通信模式、路由类型、路由标识和通信主体。3.一种多态路由派生系统，其特征在于，包括：规范描述单元，用于对路由服务需求进行规范和描述，得到路由服务需求描述；模型建立单元，用于根据所述...

【专利技术属性】
技术研发人员：伊鹏，胡宇翔，王鹏，申涓，张岩，于婧，赵靓，卜佑军，
申请(专利权)人：中国人民解放军信息工程大学，
类型：发明
国别省市：河南;41