一种通信网的深度学习驱动的流量优化机制制造技术

本发明专利技术公开一种通信网的深度学习驱动的流量优化机制，基于SDN网络，将智能流量优化机制iTE的控制回路部署在SDN控制器中，iTE的控制回路包括三个组成部分：(1)支持ICN的交换机部分；(2)DRL环境部分；由数据平面收集的网络信息和流量信息抽象成的DRL环境是SDN控制器中为DRL算法提供状态的输入，同时，监测网络和流量状态；(3)并行决策模块部分；并行决策模块是运行在SDN控制器中核心的执行流量优化算法的模块。这表明iTE以更加细粒度的流量分配方式、更合理的分布流量到网络中。引入ICN后，网络可以承载更多的流量。ICN通过利用网内缓存将流量终结在网内存储中，进而使得网络容纳更多的流量。多的流量。多的流量。

【技术实现步骤摘要】
一种通信网的深度学习驱动的流量优化机制


[0001]本专利技术涉及通信网络流量优化
，具体说是一种通信网的深度学习驱动的流量优化机制。

技术介绍

[0002]目前的互联网早已超越其设计之初的目的和规模，成为全球通信基础设施，而依托互联网的各种应用，例如，快手、抖音、购物平台等，在极大的方便和丰富了人们的生活的同时，也使得网络正经历着爆炸性的流量增长，流量模式和网络环境高度动态变化。因此，在通信网络中，需要对流量进行优化。
[0003]流量优化是一个处理网络流量分布和分配的大规模在线决策问题。对提高网络利用率和高效的资源共享起着至关重要的作用。通常，网络流量优化依赖于通过观测或者估计当前网络的流量矩阵，并根据当前网络状态和流量信息计算链路权重来选择路径，分配流量。资源分配的算法大多是基于模型的，即，假定网络环境、流量模式和用户需求可以很好地建模。
[0004]目前，流量优化解决方案总是基于最短路径优先或约束最短路径优先算法来路由流量。公告号为CN107426097A的专利，该专利中采用的是一种分布式解决方案，网络拓扑结构中所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种通信网的深度学习驱动的流量优化机制，基于SDN网络，其特征在于，将智能流量优化机制iTE的控制回路部署在SDN控制器中，iTE的控制回路包括三个组成部分：(1)支持ICN的交换机部分；网络中的ICN交换机，除了支持正常的名字路由功能外，增加带计数器的布隆过滤器来表示缓存内容的信息；同时，采用基于压缩感知的网内缓存感知机制收集缓存内容信息至控制器中；(2)DRL环境部分；由数据平面收集的网络信息和流量信息抽象成的DRL环境是SDN控制器中为DRL算法提供状态的输入，同时，监测网络和流量状态；(3)并行决策模块部分；并行决策模块是运行在SDN控制器中核心的执行流量优化算法的模块；该模块支持多个算法并行算路，并由最终决策模块按预定的策略规则从多个算法中选择最优的实施。2.根据权利要求1所述的一种通信网的深度学习驱动的流量优化机制，其特征在于，iTE控制回路工作流程如下：(1)网络中ICN交换机将其缓存内容信息和可用的链路带宽上载到SDN控制器；(2)环境模块将接收到的信息进行汇编和转换，作为PDM的输入；PDM采用多个流量优化算法，其中基于DRL的算法，用于执行智能的流量优化决策；(3)DRL智能体在与环境的交互中根据获得的奖励或惩罚，不断的学习以更加适应环境；惩罚来自于犯错；网络生产流量不允许犯错；因此，使用PDM模块，客观评价各个算法的决定，屏蔽有可能带来不良影响的DRL决策；(4)同时，最短路径算法、负载均衡算法的决策可以用来在线地训练DRL的模型；(5)基于当前的环境和决策，DRL智能体从反馈中获得奖励，并对驻留在DRL智能体上的神经网络的参数进行调整。3.根据权利要求1所述的一种通信网的深度学习驱动的流量优化机制，其特征在于，当SDN控制器中缓存内容信息被恢复后，流量优化应用需要迅速地定位内容请求需要的潜在缓存节点；在SDN控制器中，从全网ICN节点收集的缓存内容信息被组织形成一个m
×
n的二进制矩阵，其中，n是全网ICN节点的数量；假设iTE中用于构建布隆过滤器的哈希函数集是相同和预定义的，即，每个ICN节点使用相同的哈希函数构造其布隆过滤器；具体的定位过程为，当一个新的内容请求上传到SDN控制器时，将该请求的内容名字由预先定义的k个哈希函数散列，并返回k个位置；然后，在缓存内容信息矩阵中选择相应的k行，并将它们作为k个1
×
n的二进制向量；最后，让这些向量做布尔和运算；运算的结果比特位为1的位置，即指示着请求内容所缓存的ICN节点。4.根据权利要求1所述的一种通信网的深度学习驱动的流量优化机制，其特征在于，ICN交换机将ICN流量优化问题建模为DRL学习问题，采用演员
‑
评论家训练方法；AC方法分为两部分，包括训练Actor网络和Critic网络；Actor实际上就是使用策略梯度算法，该算法有利于在连续动作空间内选择合适的动作；这是因为基于值的RL学习方法无法适应连续的动作空间的场景，将会导致空间爆炸；但是又因为Actor方法是基于每回合更新的所以学习效率比较慢，所以提出可以使用一个value
‑
based的算法作为Critic就可以实现单步
更新；这样两种算法相互补充就形成了目前比较常用且高效的AC方法；iTE是面向大规模连续控制的网络流量优化问题，所以采用AC方法实现iTE的智能体，iTE智能体由状态空间、动作空间以及奖励或处罚组成。5.根据权利要求1所述的一种通信网的深度学习驱动的流量优化机制，其特征在于，状态空间：状态共由四个组成部分，分别是：1)请求内容的名字；2)内容请求的源ICN节点ID；3)缓存定位机制得出的网内缓存ICN节点ID4)网络中链路的可用带宽，形式上，s＝(nc,src,dst,avail)定义为状态向量；其中，nc＝(nc1,nc2,...,nc
c
)表示由c个名字成份构成的完整内容名字；发掘不同名字成分和不同内容请求的需求之间的关联关系，对于智能的识别流量需求是非常重要的；因此，引入前馈神经网络模型...

【专利技术属性】
技术研发人员：易波，张婷婷，屈志豪，陈佳豪，张卿祎，
申请(专利权)人：东北大学，
类型：发明
国别省市：