一种基于强化学习修复网络应用故障的方法技术

针对在具有多级网络安全设备的企业网中，会出现部分子网用户无法使用某些应用程序的故障问题，本发明专利技术提出一种基于强化学习修复该网络应用故障的方法

【技术实现步骤摘要】
一种基于强化学习修复网络应用故障的方法


[0001]本专利技术属于网络通信领域，具体地说是针对在具有多级网络安全设备的企业网中出现的网络应用故障问题，提出一种基于强化学习修复网络应用故障的方法
。

技术介绍

[0002]为了应对日益严峻的企业网安全威胁，大规模企业网中的子网之间通常部署了防火墙等网络安全设备，导致企业网成为多级安全设备企业网
。
在这种企业网中，会出现某些子网用户无法正常使用某些应用程序，而与此同时位于其他子网中的其他用户却能正常使用该应用的故障现象，但相关安全设备和端系统正常并且网络保持连通
。
一旦这种企业网发生这种应用程序故障，由于缺乏有效故障修复方法，严重降低了企业网的可用性
。
[0003]针对上述问题，本专利提出一种基于强化学习修复这类多级安全设备企业网应用故障问题的方法
。
强化学习作为一种人工智能技术，它可以在不断试错的过程中学习到优化策略，该项技术已经在各种领域取得了显著的成功
。
本专利技术针对企业网出现这类应用程序故障问题，提出一种具有经验存储机制的强化改进学习算法以及相应的修复网络应用故障的方法
。
该方法具有实施较为简单和无需全面获取网络操作权限等优点，能够为大型复杂企业网解决这类应用程序故障问题和保障稳定运行提供一种有效的解决方案
。

技术实现思路

[0004][
专利技术目的
]：
[0005]针对在具有多级网络安全设备的企业网中出现的网络应用故障问题，本专利技术提出一种基于强化学习修复网络应用故障的方法，以迅速进行故障定位和修复安全设备的错误安全策略配置，以保障网络应用在该企业网中稳定运行
。
[0006][
技术方案
]：
[0007]本专利技术的技术方案为：
[0008]1、
一种具有经验记忆机制的强化学习路径搜索改进算法，其特征在于：
[0009]A.
在企业网场景中设置一个集中式控制器程序，该算法运行在控制器中；该算法具有获取网络节点
(
即路由器
)、
网络链路属性
、
节点安全策略信息并生成包含这些信息的扩展邻接矩阵的能力，该扩展邻接矩阵
M
含有网络节点间链路的连接性
、
带宽
、
时延
、
丢包率和安全策略5个属性，即它是
(N
·
N
·
5)
三维矩阵，其中
N
为节点数，5表示属性维度；
[0010]B.
更新该算法的
Q
表使用式
(1)
所示的贝尔曼方程，为了加快算法的收敛速度，算法使用经验存储机制和扩展的邻接矩阵辅助更新
Q
表的方法
。
在学习和探索阶段，算法使用扩展邻接矩阵辅助更新
Q
表，且保存已经遍历过的节点和对当前请求已知不满足安全规则的节点来避免重复搜索，即搜索过的经验可以重复利用
。
在选路阶段，算法会根据更新结果将合法的路由保存在路由转发表中，算法流程如图1所示
。
[0011][0012]C.
当应用分组流不满足某条链路的匹配规则或属性约束时，这条链路的奖励值很
低，而当满足匹配规则时，奖励值是很小的负数，奖励函数为式
(2)
的形式：
[0013][0014]式
(2)
中是布尔值，当节点
n
上应用分组流
r
的源
IP
地址
、
源端口号
、
目的
IP
地址
、
目的端口号和运输层协议等属性与节点的安全策略一致时为1，否则为0；
y
u
，
v
为布尔值，表示当节点
u、v
之间满足性能属性的约束时为1，否则为0；
m
1u
，
v
为布尔值，表示当节点
u、v
之间有边或连通时为1，否则为
0。
[0015]D.
当网络中有应用传输请求时，使用算法可以搜索出满足请求的路径序列
。
具有经验记忆机制的强化学习路径搜索改进算法描述如下：
[0016][0017][0018]2、
根据技术方案1，提出一种网络应用故障定位和修复方法，其特征在于：
[0019]A.
当网络正常工作时，求出当前所采用的路径和每个节点的访问控制列表
(ACL)
，即任何源和目的地之间的
P
a
和
P
b
，其中对于某源点
s
到某目的地
d
，采用某路由算法从
M
搜索到的路径可以用矩阵
A
＝
[a
ij
]来表示，其中
[0020][0021]使用
A
矩阵中非零元素的有序序列
P
a
来表示这条路径，如
P
a
＝
[a
ij
，
a
jk
，
a
kp
，
...]。
与
A
对应的是安全策略矩阵
B
＝
[b
ij
]，其中：
[0022][0023]同理，也可以使用
B
矩阵中非零元素的有序序列
P
b
来表示这条路径，如
P
b
＝
[b
ij
，
b
jk
，
b
kp
，
...]，并且
|P
b
|≤|P
a
|。
[0024]当一条节点受安全策略约束的网络路径能够支持端到端转发分组流时，应当有
[0025][0026]式
(4)
表示，当某网络路径能够正常通信时，首先要保证某路由算法能够搜索到相邻节点序列以形成路由，其次这些路由节点中对应的安全策略要使分组流与该路径一致，即两个矩阵中角标相同的元素乘积值为
1。
因此，可以分别搜索
P
a
和
P
b
，当式
(5)
结果成立时，则不会出现该网络应用故障，当网络发生某条链路或某个节点单点故障时，
P
a
中的某个元素将会变化，而
P
b
却因无法及时感知而保持不变，这使得式
(5)
的结果为零，进而出现故障
。
[0027本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
根据技术方案1，提出一种网络应用故障定位和修复方法，其特征在于：
A.
当网络正常工作时，求出当前所采用的路径和每个节点的访问控制列表
(ACL)
，即任何源和目的地之间的
P
a
和
P
b
，其中对于某源点
s
到某目的地
d
，采用某路由算法从
M
搜索到的路径可以用矩阵
A
＝
[a
ij
]
来表示，其中使用
A
矩阵中非零元素的有序序列
P
a
来表示这条路径，如
P
a
＝
[a
ij
，
a
jk
，
a
kp
，
...]。
与
A
对应的是安全策略矩阵
B
＝
[b
ij
]
，其中：同理，也可以使用
B
矩阵中非零元素的有序序列
P
b
来表示这条路径，如
P
b
＝
[b
ij
，
b
jk
，
b
kp
，
...]
，并且
|P
b
|≤|P
a
|。
当一条节点受安全策略约束的网络路径能够支持端到端转发分组流时，应当有
p
a
∧p
b
＝
[(a
ij
∧b
ij
)∧(a
jk
∧b
jk
)∧(a
kp
∧b
kp
)∧...]
＝1ꢀꢀꢀꢀꢀꢀ
(5)
式
(4)
表示，当某网络路径能够正常通信时，首先要保证某路由算法能够搜索到相邻节点序列以形成路由，其次这些路由节点中对应的安全策略要使分组流与该路径一致，即两个矩阵中角标相同的元素乘积值为
1。
因此，可以分别搜索
P
a
和
P

【专利技术属性】
技术研发人员：陈鸣，刘文博，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：