一种网络拓扑结构增强方法技术

本发明专利技术提供一种网络拓扑结构增强方法

【技术实现步骤摘要】
一种网络拓扑结构增强方法、装置、电子设备及存储介质


[0001]本专利技术涉及网络拓扑结构增强领域，特别涉及一种网络拓扑结构增强方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]为增强网络拓扑结构的鲁棒性，相关技术通常可基于强化学习方法，利用智能体在网络拓扑结构中自适应地增加边
。
然而，相关技术中的智能体从网络拓扑结构中感知到的信息较少，进而难以有效地对网络拓扑结构进行增强
。

技术实现思路

[0003]本专利技术的目的是提供一种网络拓扑结构增强方法
、
装置
、
电子设备及存储介质，可丰富从网络拓扑结构中感知到的信息，从而可提升对网络拓扑结构进行增强的可靠性
。
[0004]为解决上述技术问题，本专利技术提供一种网络拓扑结构增强方法，包括：利用强化学习的智能体对待增强网络拓扑结构进行多轮动作决策，得到需在所述待增强网络拓扑结构中增加的多条链路；利用所述多条链路对所述待增强网络拓扑结构进行增强；其中，所述智能体在进行每轮所述动作决策时执行：生成与本轮网络拓扑结构对应的表示信息；所述表示信息记录有所述本轮网络拓扑结构中的各网络设备在所述本轮网络拓扑结构中的设备位置信息
、
各所述网络设备与其他网络设备间的设备间特征信息以及所述本轮网络拓扑结构的拓扑结构信息，所述本轮网络拓扑结构相较于上轮网络拓扑结构增加了待连接网络设备或链路，首轮网络拓扑结构为所述待增强网络拓扑结构；根据所述表示信息在所述本轮网络拓扑结构中选择目标设备；当确定所述本轮网络拓扑结构中存在所述待连接网络设备时，在所述目标设备与所述待连接网络设备间设置链路，并清除对所述待连接网络设备的标记，或当确定所述本轮网络拓扑结构中不存在所述待连接网络设备时，将所述目标设备标记为所述待连接网络设备；将设置后的本轮网络拓扑结构作为下轮网络拓扑结构
。
[0005]可选地，在利用强化学习的智能体对待增强网络拓扑结构进行多轮动作决策之前，还包括：利用训练网络拓扑结构和预设鲁棒性评价函数对所述智能体进行训练，以使训练后的所述智能体为所述训练网络拓扑结构带来的鲁棒性提升值大于训练前的所述智能体为所述训练网络拓扑结构带来的鲁棒性提升值；所述鲁棒性提升值为增强后的训练网络拓扑结构对应的鲁棒性值与增强前的训练网络拓扑结构对应的鲁棒性值间的差值，所述鲁棒性值由所述预设鲁棒性评价函数为所述训练网络拓扑结构计算得到
。
[0006]可选地，所述预设鲁棒性评价函数为：
；其中，表示所述预设鲁棒性评价函数，
G
表示网络拓扑结构，表示期望，表示攻击策略，表示基于所述攻击策略从所述网络拓扑结构采样得到的网络设备序列，表示按照所述网络设备序列从所述网络拓扑结构中移除网络设备使得网络拓扑结构剩余的网络设备不连通所需移除的网络设备的比例
。
[0007]可选地，所述训练网络拓扑结构为所述待增强网络拓扑结构
。
[0008]可选地，所述生成与本轮网络拓扑结构对应的表示信息，包括：将所述本轮网络拓扑结构转换为图数据；所述图数据中的顶点和边分别对应所述本轮网络拓扑结构中的网络设备和链路；确定各所述顶点在所述图数据中的顶点位置信息和各所述顶点与其他顶点间的顶点间特征信息；所述顶点的顶点位置信息和顶点间特征信息表示与所述顶点对应的网络设备的设备位置信息和设备间特征信息；利用各所述顶点的顶点位置信息和各所述顶点的顶点间特征信息生成各所述顶点的顶点表示；利用所述图数据的图结构信息构造编码树，并利用所述编码树及各所述顶点表示生成图表示；所述图结构信息表示所述拓扑结构信息；当所述图数据中存在锚顶点时，将所述锚顶点的顶点表示和所述图表示整合为环境表示，或当所述图数据中不存在锚顶点时，将所述锚顶点的默认表示和所述图表示整合为所述环境表示；所述锚顶点表示所述待连接网络设备；将所述顶点表示和所述环境表示组合为所述表示信息
。
[0009]可选地，所述利用各所述顶点的顶点位置信息和各所述顶点的顶点间特征信息生成各所述顶点的顶点表示，包括：将所述顶点的顶点位置信息和所述顶点的顶点间特征信息整合为嵌入向量；利用各所述顶点的邻居顶点的嵌入向量，对各所述顶点的嵌入向量进行注意力机制处理；利用所有所述顶点处理后的嵌入向量，对各所述顶点处理后的嵌入向量再次进行所述注意力机制处理，得到各所述顶点对应的顶点表示
。
[0010]可选地，确定各所述顶点在所述图数据中的顶点位置信息，包括：获取所述图数据对应的拉普拉斯矩阵；利用所述拉普拉斯矩阵生成各所述顶点的嵌入坐标，并将所述嵌入坐标设置为各所述顶点的顶点位置信息；所述嵌入坐标为，
u
为所述顶点，和分别为所述拉普拉斯矩阵的第2个特征值的特征向量和第3个特征值的特征向量
。
[0011]可选地，确定各所述顶点与其他顶点间的顶点间特征信息，包括：确定所述顶点与其邻居顶点间的局部特征；当所述图数据中存在所述锚顶点时，确定所述顶点与所述锚顶点间的相对特征，或当所述图数据中不存在所述锚顶点时，将所述相对特征设置为默认值；
利用所述局部特征和所述相对特征组成所述顶点的顶点间特征信息
。
[0012]可选地，所述确定所述顶点与其邻居顶点间的局部特征，包括：将所述顶点的度数
、
所述邻居顶点的平均度数和所述顶点与其邻居顶点间的聚类系数中的任一种或多种的组合设置为所述局部特征；所述聚类系数为所述顶点与其邻居顶点间实际形成的三角形数量与所述顶点与其邻居顶点间可形成的三角形数量的比值
。
[0013]可选地，所述确定所述顶点与所述锚顶点间的相对特征，包括：将所述顶点与所述锚顶点间的距离
、
所述顶点的度数与所述锚顶点的度数的乘积
、
所述顶点与所述锚顶点间的代数距离和所述顶点与所述锚顶点间的相似度中的任一种或多种的组合设置为所述相对特征；所述代数距离为，
u
为所述顶点，
v
为所述锚顶点；所述相似度为所述顶点与所述锚顶点间的公共邻居顶点在所述顶点和所述锚顶点两者的所有邻居顶点中的占比
。
[0014]可选地，所述编码树中的各个节点对应所述图数据中的一个顶点子集，各所述节点中的根节点的顶点子集包含所有所述顶点，各所述节点中的叶子节点的顶点子集包含一个所述顶点，若节点是节点的孩子节点，则构成的一个划分，其中
、、
分别为节点
、
节点
、
节点的顶点子集，
。
[0015]可选地，所述利用所述图数据的图结构信息构造编码树，包括：利用所述图数据构造初始编码树，并根据所述图数据在所述初始编码树中的结构熵对所述初始编码树进行调整，以使所述结构熵最小，得到所述编码树；所述图结构信息为所述结构熵，所述结构熵表示为：；其中，为所述结构熵，
G
为所述图数据，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种网络拓扑结构增强方法，其特征在于，包括：利用强化学习的智能体对待增强网络拓扑结构进行多轮动作决策，得到需在所述待增强网络拓扑结构中增加的多条链路；利用所述多条链路对所述待增强网络拓扑结构进行增强；其中，所述智能体在进行每轮所述动作决策时执行：生成与本轮网络拓扑结构对应的表示信息；所述表示信息记录有所述本轮网络拓扑结构中的各网络设备在所述本轮网络拓扑结构中的设备位置信息
、
各所述网络设备与其他网络设备间的设备间特征信息以及所述本轮网络拓扑结构的拓扑结构信息，所述本轮网络拓扑结构相较于上轮网络拓扑结构增加了待连接网络设备或链路，首轮网络拓扑结构为所述待增强网络拓扑结构；根据所述表示信息在所述本轮网络拓扑结构中选择目标设备；当确定所述本轮网络拓扑结构中存在所述待连接网络设备时，在所述目标设备与所述待连接网络设备间设置链路，并清除对所述待连接网络设备的标记，或当确定所述本轮网络拓扑结构中不存在所述待连接网络设备时，将所述目标设备标记为所述待连接网络设备；将设置后的本轮网络拓扑结构作为下轮网络拓扑结构
。2.
根据权利要求1所述的网络拓扑结构增强方法，其特征在于，在利用强化学习的智能体对待增强网络拓扑结构进行多轮动作决策之前，还包括：利用训练网络拓扑结构和预设鲁棒性评价函数对所述智能体进行训练，以使训练后的所述智能体为所述训练网络拓扑结构带来的鲁棒性提升值大于训练前的所述智能体为所述训练网络拓扑结构带来的鲁棒性提升值；所述鲁棒性提升值为增强后的训练网络拓扑结构对应的鲁棒性值与增强前的训练网络拓扑结构对应的鲁棒性值间的差值，所述鲁棒性值由所述预设鲁棒性评价函数为所述训练网络拓扑结构计算得到
。3.
根据权利要求2所述的网络拓扑结构增强方法，其特征在于，所述预设鲁棒性评价函数为：；其中，表示所述预设鲁棒性评价函数，
G
表示网络拓扑结构，表示期望，表示攻击策略，表示基于所述攻击策略从所述网络拓扑结构采样得到的网络设备序列，表示按照所述网络设备序列从所述网络拓扑结构中移除网络设备使得网络拓扑结构剩余的网络设备不连通所需移除的网络设备的比例
。4.
根据权利要求2所述的网络拓扑结构增强方法，其特征在于，所述训练网络拓扑结构为所述待增强网络拓扑结构
。5.
根据权利要求1所述的网络拓扑结构增强方法，其特征在于，所述生成与本轮网络拓扑结构对应的表示信息，包括：将所述本轮网络拓扑结构转换为图数据；所述图数据中的顶点和边分别对应所述本轮网络拓扑结构中的网络设备和链路；确定各所述顶点在所述图数据中的顶点位置信息和各所述顶点与其他顶点间的顶点
间特征信息；所述顶点的顶点位置信息和顶点间特征信息表示与所述顶点对应的网络设备的设备位置信息和设备间特征信息；利用各所述顶点的顶点位置信息和各所述顶点的顶点间特征信息生成各所述顶点的顶点表示；利用所述图数据的图结构信息构造编码树，并利用所述编码树及各所述顶点表示生成图表示；所述图结构信息表示所述拓扑结构信息；当所述图数据中存在锚顶点时，将所述锚顶点的顶点表示和所述图表示整合为环境表示，或当所述图数据中不存在锚顶点时，将所述锚顶点的默认表示和所述图表示整合为所述环境表示；所述锚顶点表示所述待连接网络设备；将所述顶点表示和所述环境表示组合为所述表示信息
。6.
根据权利要求5所述的网络拓扑结构增强方法，其特征在于，所述利用各所述顶点的顶点位置信息和各所述顶点的顶点间特征信息生成各所述顶点的顶点表示，包括：将所述顶点的顶点位置信息和所述顶点的顶点间特征信息整合为嵌入向量；利用各所述顶点的邻居顶点的嵌入向量，对各所述顶点的嵌入向量进行注意力机制处理；利用所有所述顶点处理后的嵌入向量，对各所述顶点处理后的嵌入向量再次进行所述注意力机制处理，得到各所述顶点对应的顶点表示
。7.
根据权利要求5所述的网络拓扑结构增强方法，其特征在于，确定各所述顶点在所述图数据中的顶点位置信息，包括：获取所述图数据对应的拉普拉斯矩阵；利用所述拉普拉斯矩阵生成各所述顶点的嵌入坐标，并将所述嵌入坐标设置为各所述顶点的顶点位置信息；所述嵌入坐标为，
u
为所述顶点，和分别为所述拉普拉斯矩阵的第2个特征值的特征向量和第3个特征值的特征向量
。8.
根据权利要求7所述的网络拓扑结构增强方法，其特征在于，确定各所述顶点与其他顶点间的顶点间特征信息，包括：确定所述顶点与其邻居顶点间的局部特征；当所述图数据中存在所述锚顶点时，确定所述顶点与所述锚顶点间的相对特征，或当所述图数据中不存在所述锚顶点时，将所述相对特征设置为默认值；利用所述局部特征和所述相对特征组成所述顶点的顶点间特征信息
。9.
根据权利要求8所述的网络拓扑结构增强方法，其特征在于，所述确定所述顶点与其邻居顶点间的局部特征，包括：将所述顶点的度数
、
所述邻居顶点的平均度数和所述顶点与其邻居顶点间的聚类系数中的任一种或多种的组合设置为所述局部特征；所述聚类系数为所述顶点与其邻居顶点间实际形成的三角形数量与所述顶点与其邻居顶点间可形成的三角形数量的比值
。10.
根据权利要求8所述的网络拓扑结构增强方法，其特征在于，所述确定所述顶点与所述锚顶点间的相对特征，包括：将所述顶点与所述锚顶点间的距离
、
所述顶点的度数与所述锚顶点的度数的乘积
、
所述顶点与所述锚顶点间的代数距离和所述顶点与所述锚顶点间的相似度中的任一种或多
种的组合设置为所述相对特征；所述代数距离为，
u
为所述顶点，
v
为所述锚顶点；所述相似度为所述顶点与所述锚顶点间的公共邻居顶点在所述顶点和所述锚顶点两者的所有邻居顶点中的占比
。11.
根据权利要求5所述的网络拓扑结构增强方法，其特征在于，所述编码树中的各个节点对应所述图数据中的一个顶点子集，各所述节点中的根节点的顶点子集包含所有所述顶点，各所述节点中的叶子节点的顶点子集包含一个所述顶点，若节点是节点的孩子节点，则构成的一个划分，
、、
分别为节点
、
节点
、
节点的顶点子集，
。12.
根据权利要求
11
所述的网络拓扑结构增强方法，其特征在于，所述利用所述图数据的图结构信息构造编码树，包括：利用所述图数据构造初始编码树，并根据所述图数据在所述初始编码树中的结构熵对所述初始编码树进行调整，以使所述结构熵最小，得到所述编码树；所述图结构信息为所述结构熵，所述结构熵表示为：；其中，为所述结构熵，
G
为所述图数据，为所述编码树，为所述编码树中的任一节点，为的父亲节点，，为的顶点子集，
u
为中的顶点，为顶点
u
在所述图数据中的度数
。13.
根据权利要求
12
所述的网络拓扑结构增强方法，其特征在于，所述利用所述图数据构造初始编码树，并根据所述图数据在所述初始编码树中的结构熵对所述初始编码树进行调整，以使所述结构熵最小，得到所述编码树，包括：利用所述图数据构造所述初始编码树；所述初始编码树的高度为2，且所述初始编码树中的每个叶子节点对应所述图数据中的一个顶点；将对所述初始编码树执行第
k
次合并后得到的编码树记为，对中的任意对兄弟节点和进行合并处理，得到多个待选编码树；，所述合并处理为创建新节点，将所述新节点设置为的父亲节点的孩子节点，并将和作为所述新节点的孩子节点；计算各个所述待选编码树相较于的结构熵缩小值；若所述结构熵缩小值中的最大值大于预设阈值，则将所述最大值对应的待选编码树设置为第
k+1
次合并后得到的编码树；若所述结构熵缩小值中的最大值不大于所述预设阈值，则将所述第
k
次合并后得到的编码树设置为所述图数据的编码树
。14.
根据权利要求
11
所述的网络拓扑结构增强方法，其特征在于，所述利用所述编码树及各所述顶点表示生成图表示，包括：
将所述编码树中的第
k
层节点作为待处理节点；；
H
为所述编码树的高度；在确定所述待处理节点为所述叶子节点时，将所述待处理节点对应的顶点所拥有的顶点表示作为所述待处理节点的初始表示，或在确定所述待处理节点为非叶子节点时，将所述待处理节点的孩子节点的最终表示的总和作为所述待处理节点的初始表示；利用所有所述待处理节点构造有权图；任意的待处理节点和待处理节点在所述有权图中有边当且仅当存在顶点和顶点使得所述顶点
u
和所述顶点
v
在所述图数据中有边，所述
、
分别为所述待处理节点和所述待处理节点的顶点子集；利用所述有权图
、
各所述待处理节点的初始表示及图神经网络以如下方式生成各所述待处理节点的最终表示：；其中，为所述待处理节点经第
p
层图神经...

【专利技术属性】
技术研发人员：胡奇夫，李茹杨，邓琪，赵雅倩，李仁刚，
申请(专利权)人：浪潮北京电子信息产业有限公司，
类型：发明
国别省市：