基于深度强化学习的安全性虚拟网络映射方法技术

一种基于深度强化学习的安全性虚拟网络映射方法，属于网络技术与人工智能网络领域。基于虚拟网络架构的网络资源分配面临一系列的安全挑战与危机，所提出的安全性虚拟网络映射方法从资源分配的角度出发，通过网络建模，属性设置，属性提取，策略网络模型搭建以及深度强化学习代理训练与测试等关键步骤完成整个虚拟网络映射过程，即网络资源的分配过程。该过程重点提取了网络的安全属性进行训练，在满足用户安全需求的基础上进行网络资源的分配。与其他安全性虚拟网络映射方法相比，本发明专利技术方法具有更好的虚拟网络映射收益，收益消耗比和虚拟网络请求接受率等性能。比和虚拟网络请求接受率等性能。

【技术实现步骤摘要】
基于深度强化学习的安全性虚拟网络映射方法


[0001]本专利技术属于计算机网络与人工智能领域，特别是一种应用深度强化学习技术保障虚拟网络资源分配安全性的方法。

技术介绍

[0002]在过去几十年中，Internet支持了大量的网络技术和分布式应用，为人类社会的发展做出巨大贡献。但是随着网络科技的迅速发展与网络用户的爆发式增长，传统的Internet架构在服务交付过程中面临巨大压力。加上人工智能产业的大规模部署与应用，更是给Internet架构带来了严峻挑战，尤其是在网络资源分配方面。传统的Internet架构采用“尽力而为”的服务交付模式，在新技术、新协议的部署以及服务人工智能应用方面开始变得逐步僵化。网络安全是网络技术发展面临的一个关键问题，特别是在网络资源分配时，更容易受到黑客或恶意软件的威胁与攻击。
[0003]网络虚拟化(Network Virtualization,NV)是近几年发展起来的一项具有广泛应用前景的技术。它的核心思想是在底层物理网络上抽象出多个逻辑上的虚拟网络，各个虚拟网络的拓扑结构和使用的路由算法可能不同，同时它们可以共享底层网络资源并使用相互独立的协议体系。虚拟网络功能的实现不再依赖于特定的硬件(路由，交换，防火墙等)，而是依靠软件编程的方式实现特定的网络功能。因此，网络虚拟化被认为是解决Internet架构僵化的有效途径。虚拟网络映射(Virtual Network Embedding,VNE)是网络虚拟化最关注的问题之一。虚拟网络映射主要是指根据用户的差异化网络功能需求，在满足底层网络资源，位置和控制访问等约束的条件下，合理高效地为用户功能分配网络资源，尽可能多地满足虚拟网络请求的网络资源。因此，虚拟网络映射本质上就是虚拟网络资源的分配问题。
[0004]不可忽视的是网络虚拟化在为网络架构带来灵活性的同时，也给数据中心和用户网络带来了新的安全问题与挑战。一方面，传统的安全产品和安全解决方案不适用于虚拟网络架构下产生的新的安全问题。另一方面，网络虚拟化自身也面临一些安全问题，尤其是在网络资源分配过程中并没有专门的安全机制保障。网络虚拟化面临的典型安全挑战还有安全策略难以迁移，网络流量不可见，控制器单点失效和控制信息难以验证等。本方法从虚拟资源分配的角度出发，设计安全性的虚拟网络映射算法来应对网络虚拟化面临的安全挑战。
[0005]近年来随着人工智能，云计算和物联网等领域的兴起，利用智能学习算法来解决生产生活中面临的现实问题已成为一种趋势。深度学习(Deep Learning,DL)和强化学习(Reinforcement Learning,RL)作为智能学习算法的优秀代表，它们的应用前景也更加广泛。深度学习主要是将神经网络作为训练模型，通过学习数据样本的内在规律和表示层次来使计算机拥有像人一样甚至超越人类的信息处理和分析学习能力。强化学习主要是指一个智能体不断地与环境进行交互来累积奖励的过程的学习方式。智能体通过对环境施加一定的动作来改变环境状态，并获得环境返回的一个奖励信号，智能体的最终目的是最大化
该奖励。因此可以将深度学习的感知能力与强化学习的决策能力进行结合，利用深度强化学习(Deep Reinforcement Learning,DRL)来解决安全性的虚拟网络映射问题。
[0006]综上所述，为了克服传统Internet的固有弊端，有必要发展和应用以虚拟网络为基础的新型网络架构。同时为了应对虚拟网络架构可能面临的一系列安全问题，设计安全性能更好的VNE算法可以有效维护虚拟网络资源分配的安全，进而为虚拟网络架构的使用提供安全性保障。

技术实现思路

[0007]本专利技术的目的是提供一种效率更高，性能更好的安全性虚拟网络资源分配方法，即基于深度强化学习的安全性虚拟网络映射算法。该方法能够充分利用深度强化学习的优异性能，在为虚拟网络请求合理分配底层资源的基础上，提升虚拟网络映射算法效率，保障网络资源分配与调度的安全性。
[0008]为了实现上述技术方法，本专利技术拟采用如下技术方案：编程生成一个底层物理网络与若干虚拟网络请求，用文档形式进行保存，并采用图的形式为物理网络和虚拟网络请求建立数学模型。根据安全性虚拟网络映射算法的实现需求以及现实的网络情况，为网络节点和链路设置合理的网络属性。采用神经网络的基本元素搭建策略网络作为深度强化学习代理参与训练。实现阶段分为训练与测试两步，为每个物理节点提取适当的若干个网络属性组成特征向量，将所有物理节点的特征向量串联后组成特征矩阵，该特征矩阵用于策略网络的输入来训练深度强化学习代理，在保证安全性的同时，最终形成完整的虚拟网络映射策略。通过设立的虚拟网络映射评价指标来评定所提方法的性能。
[0009]所述底层物理网络与若干虚拟网络请求生成方法，通过C语言编程生成.txt文件的形式来保存物理网络和虚拟网络。文档中包含的信息有：物理/虚拟网络节点编号，物理/虚拟网络节点坐标，物理/虚拟链路两端节点编号，物理/虚拟节点属性(CPU，安全等级)，物理/虚拟链路属性(带宽,时延)。生成底层物理网络文件数目为1个，虚拟网络文件数目为2000个。
[0010]所述物理网络和虚拟网络请求建立模型方法，物理网络和虚拟网络建模为无向带权图的形式，用图中的顶点代表网络节点，图中的边代表网络链路。为顶点与边添加网络属性，权值代表所需的链路属性。
[0011]所述网络属性的设置，根据安全性的虚拟网络映射方法需求以及网络资源的现实需求情况，为物理节点设置的属性包括可用CPU资源量和安全等级，为物理链路设置的属性包括可用带宽资源量；为虚拟节点设置的属性包括CPU资源需求量和安全需求等级，为虚拟链路设置的属性包括带宽资源需求量。设置物理节点和物理链路的可用CPU资源量和可用带宽资源量在[50,100]之间均匀分布，设置虚拟节点和虚拟链路的CPU资源需求量和带宽资源需求量在[0,50]之间均匀分布，设置安全等级和安全需求等级在[0,3]之间均匀分布。
[0012]所述物理节点属性的提取，依据安全性虚拟网络映射方法目的，为了保证网络资源分配的安全性，需要将代理放在尽可能接近真实的网络环境中训练。提取每个物理节点的可用CPU资源，度，连接到该节点的带宽和，已被映射节点到该节点平均距离和安全等级这五个属性组成特征向量。为每个物理节点提取上述五个属性组成特征向量之后再将所有特征向量组合成一个五维特征矩阵，将该矩阵作为代理训练的环境，代理在训练过程中从
特征矩阵学习底层资源的变化情况。
[0013]所述策略网络的搭建，采用神经网络的基本元素自主搭建一个四层策略网络，分别是输入层，卷积层，softmax层和输出层。输入层用于接收特征矩阵并将其传送到卷积层；卷积层对特征矩阵进行卷积运算，经过卷积运算之后得到每个物理节点的可用资源向量形式；softmax层利用逻辑回归的softmax函数根据每个物理节点的可用资源向量为每个物理节点生成一个映射概率，虚拟节点可以根据该概率的大小进行映射；输出层负责筛选出那些资源量足够丰富的物理节点进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的安全性虚拟网络映射方法，其特征在于：通过编程方式生成一个底层物理网络与若干虚拟网络请求，并用文档形式进行保存；采用无向带权图的形式为物理网络和虚拟网络请求建立数学模型；根据安全性虚拟网络映射算法的实现需求以及现实的网络情况，为网络节点和链路设置合理的网络属性；采用神经网络的基本元素搭建策略网络作为深度强化学习代理参与训练；为使深度强化学习代理在尽可能真实的网络环境下训练，为每个物理节点提取5个网络属性组成特征向量；实现阶段分为训练与测试两步，将所有物理节点的特征向量串联后组成特征矩阵，该特征矩阵用于策略网络的输入来训练深度强化学习代理，在保证安全性的同时，最终形成完整的虚拟网络映射策略。通过设立的虚拟网络映射评价指标来评定所提方法的性能。所述底层物理网络与若干虚拟网络请求生成方法，通过C语言编程生成.txt文件的形式来保存物理网络和虚拟网络。文档中包含的信息有：物理/虚拟网络节点编号，物理/虚拟网络节点坐标，物理/虚拟链路两端节点编号，物理/虚拟节点属性(CPU，安全等级)，物理/虚拟链路属性(带宽,时延)。所述物理网络和虚拟网络请求建立模型方法，物理网络和虚拟网络建模为无向带权图的形式，用图中的顶点代表网络节点，图中的边代表网络链路。为顶点与边添加网络属性，权值代表所需的链路属性。所述网络属性的设置，根据安全性的虚拟网络映射方法需求以及网络资源的现实需求情况，为物理节点设置的属性包括可用CPU资源量和安全等级，为物理链路设置的属性包括可用带宽资源量；为虚拟节点设置的属性包括CPU资源需求量和安全需求等级，为虚拟链路设置的属性包括带宽资源需求量。所述物理节点属性的提取，依据安全性虚拟网络映射方法目的，为了保证网络资源分配的安全性，提取每个物理节点的可用CPU资源，度，连接到该节点的带宽和，已被映射节点到该节点平均距离和安全等级这五个属性组成特征向量；为每个物理节点提取上述五个属性组成特征向量之后再将所有特征向量组合成一个五维特征矩阵，将该矩阵作为代理训练的环境，代理在训练过程中从特征矩阵学习底层资源的变化情况。所述策略网络的搭建，采用神经网络的基本元素自主搭建一个四层策略网络，分别是输入层，卷积层，softmax层和输出层。输入层用于接收特征矩阵并将其传送到卷积层；卷积层对特征矩阵进行卷积运算，经过卷积运算之后得到每个物理节点的可用资源向量形式；softmax层利用逻辑回归的softmax函数根据每个物理节点的可用资源向量为每个物理节点生成一个映射概率，虚拟节点可以根据该概率的大小进行映射；输出层负责筛选出那些资源量...

【专利技术属性】
技术研发人员：张培颖，王超，
申请(专利权)人：中国石油大学华东，
类型：发明
国别省市：