一种高速互连网络拓扑发现方法，装置，介质及高性能计算系统制造方法及图纸

本发明专利技术公开了一种高速互连网络拓扑发现方法，装置，介质及高性能计算系统，其中拓扑发现方法的步骤包括从本节点的网络接口芯片开始读取对端标记信息并加入种子队列，针对种子队列逐步迭代寻找对端标记信息记入邻接表并构建指向该对端网络接口芯片的源路由表表项，最后将邻接表表达的实际拓扑结构和期望拓扑结构进行对比以发现错误的端口连接关系，本发明专利技术还公开前述高速互连网络拓扑发现方法对应的装置、介质及高性能计算系统。本发明专利技术支持快速实现网络拓扑结构发现、支持对实际拓扑结构和期望拓扑结构进行对比，以发现错误的端口连接关系，从而缩短互连网络调试时间、提高互连网络构建效率。

【技术实现步骤摘要】
一种高速互连网络拓扑发现方法，装置，介质及高性能计算系统
本专利技术主要涉及高性能计算系统高速互连网络领域，具体涉及一种高速互连网络拓扑发现方法，装置，介质及高性能计算系统。
技术介绍
高性能计算系统的生命周期主要由三部分构成：一是计算系统的构建时间，包括各个子系统硬件和软件安装、配置、调试、测试等过程；二是计算系统正常运营时间，即计算系统能够为高性能计算应用提供服务的时间；三是系统的故障处理时间，某些轻微的系统故障可以在线诊断并处理，而个别严重故障需要应用下线后处理甚至停机维护。随着计算系统规模的增大，计算系统构建时间占其整个生命周期的比例通常也会增大。高速互连网络是高性能计算系统全局性基础设施，通常由网络接口芯片(NetworkInterfaceChip，简记为NIC)和网络交换芯片(NetworkRoutingChip，简记为NRC)连接而成。高速互连网络是构成计算系统并实现系统中各个计算节点协同工作的关键部件，其复杂性往往使得互连网络构建成为计算系统构建中最耗时间的过程。所以，互连网络子系统的构建时间通常会明显地影响整个计算系统的构建时间。互连网络构建的具体环节通常包括：物理布局设计、拓扑结构检查、网络参数配置和网络调试等。当前，绝大部分高性能计算系统的互连网络采用光电混合互连技术，即第一层次是通过PCB(PrintedCircuitBoard)板内的金属导线实现部分交换芯片端口间的互连，以构成各种交换模块；第二层次是通过电背板实现交换模块上的交换芯片端口与计算主板网络接口间的连接，以及不同交换模块之间的短距离互连；第三层次是通过有源光纤AOC(ActiveOpticalCable)实现交换模块上部分网络芯片端口之间的长距离互连。与通过背板和PCB板上金属线实现交换芯片端口之间的固定连接关系不同，光纤连接在网络构建过程中往往由于人为因素(例如光纤标签贴错、光纤位置插错、光纤连接器未插紧、光纤损坏等)而可能偏离网络拓扑结构的设计预期，这是网络调试阶段必须首先排除的错误。一种高效的方法就是互连网络及其管理工具提供拓扑检查的功能，从而通过比较实际发现的拓扑与设计的拓扑之间的差异，以判断实际拓扑结构的正确性并纠正可能的错误端口连接关系。目前，InfiniBand协议定义了一种互连网络拓扑发现的方法，其主要特征为：(1)支持单一的带内接口访问网络芯片的寄存器；(2)每个网络芯片具有标记芯片唯一性的GUID(GloballyUniqueIdentifier，全球唯一的标记)；(3)芯片的GUID标记由网络生产厂家写入，不支持被管理用户配置。由于每个网络芯片具有全球唯一的GUID标记和基于带内的芯片寄存器访问接口，高性能计算机系统搭建后，网络管理软件通过读取系统中网络芯片的GUID信息，可以获取高性能计算机系统的实际拓扑结构，因此，InfiniBand互连网络具备拓扑结构发现功能。但是，InfiniBand互连网络在拓扑结构检查功能方面存在的问题主要是：(1)由于标记网络芯片唯一性的GUID无法由管理用户根据网络拓扑结构分配并配置到网络芯片，无法获取高性能计算机系统搭建前的期望拓扑结构，因此无法实现拓扑结构检查；(2)由于网络芯片的端口不具备与对端网络芯片交换GUID信息功能，因此其拓扑发现过程无法简单地通过读取网络芯片本地端口寄存器而直接获得其对端网络芯片的GUID信息。因此，需要设计一种完善的互连网络拓扑结构检查装置和方法，既能便于在网络芯片硬件逻辑和网络管理软件实现拓扑结构检查，又能满足网络调测试人员快速检查网络拓扑结构的需求。
技术实现思路
本专利技术要解决的技术问题：针对现有高性能计算系统互连网络基于InfiniBand协议的互连网络拓扑发现技术无法进行互连网络拓扑结构检查的问题，提供一种高速互连网络拓扑发现方法，装置，介质及高性能计算系统，本专利技术支持快速实现网络拓扑结构发现，且支持对实际拓扑结构和期望拓扑结构进行对比以发现错误的端口连接关系，从而缩短互连网络调试时间、提高互连网络构建效率，既能便于在网络芯片硬件逻辑和网络管理软件实现拓扑结构检查，又能满足网络调测试人员快速检查网络拓扑结构的需求。为了解决上述技术问题，本专利技术采用的技术方案为：一种用于高性能计算系统的高速互连网络拓扑发现方法，实施步骤包括：1)初始化种子队列和邻接表为空；2)访问本节点的网络接口芯片中的对端标记信息，并将该对端标记信息中的记录的网络接口芯片加入种子队列；3)构建指向该对端网络接口芯片的源路由表表项，所述源路由表为在管理服务器内存中分配的用来记录管理服务器与各个网络芯片间往返路由路径的数据结构；4)将种子队列中的第一个网络交换芯片作为当前网络交换芯片并从种子队列中删除；5)访问当前网络交换芯片所有端口的对端标记信息；6)取出当前网络交换芯片一个未处理端口的对端标记信息，当该端口的对端标记信息指明该端口连接到的网络交换芯片为NRC芯片时，如果该端口连接到的网络交换芯片的编号CHIP_ID未记入邻接表，则将该端口连接到的网络交换芯片加入种子队列，并构建指向该交换芯片的源路由表表项；如果该端口连接到的网络交换芯片的编号CHIP_ID已记入邻接表，则无需处理；该端口连接到的网络交换芯片是否还有未处理端口，若有则执行步骤6)；否则若有则执行步骤7)；当该端口的对端标记信息指明该端口连接到的网络交换芯片为NIC芯片时，则将该端口连接到的网络交换芯片的CHIP_ID记录到邻接表；7)判断种子队列是否为空，若种子队列非空，则跳转步骤4)；若种子队列为空，则输出记录了所有可达网络芯片各端口的连接信息的邻接表；8)将所述邻接表作为最终得到的实际拓扑结构，将实际拓扑结构和期望拓扑结构进行对比以发现错误的端口连接关系。可选地，步骤8)的详细步骤包括：8.1)载入用户指定的标准拓扑连接文件记为期望拓扑结构；8.2)取出期望拓扑结构信息中未处理的端口连接信息X-Y，其中X和Y分别表示两个网络端口，具体包含<CHIP_TYPE,CHIP_ID,PORT_ID>三元组信息，根据其在实际拓扑结构中的状态分为以下情况：若实际拓扑结构中不存在与X的连接，说明端口X的实际连接断开，输出该错误说明信息；若实际拓扑结构中存在与X的连接，但是连接对方不是Y，说明连接关系错误，输出该错误说明信息；若实际拓扑中存在X-Y的连接，说明连接正确；8.3)判断期望拓扑结构中是否有未处理的端口连接信息，若还有处理的端口连接信息，则跳转执行步骤8.2)；否则，拓扑结构检查结束，退出。此外，本专利技术还提供一种用于高性能计算系统的高速互连网络拓扑发现装置，包括计算机设备，该计算机设备被编程或配置以执行所述用于高性能计算系统的高速互连网络拓扑发现方法的步骤，或者该计算机设备的存储器上存储有被编程或配置以执行所述用于高性能计算系统的高速互连网络拓扑发现方法的计算机程序。此外，本专利技术还提供一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执本文档来自技高网...

【技术保护点】
1.一种用于高性能计算系统的高速互连网络拓扑发现方法，其特征在于实施步骤包括：/n1)初始化种子队列和邻接表为空；/n2)访问本节点的网络接口芯片中的对端标记信息，并将该对端标记信息中的记录的网络接口芯片加入种子队列；/n3)构建指向该对端网络接口芯片的源路由表表项，所述源路由表为在管理服务器内存中分配的用来记录管理服务器与各个网络芯片间往返路由路径的数据结构；/n4)将种子队列中的第一个网络交换芯片作为当前网络交换芯片并从种子队列中删除；/n5)访问当前网络交换芯片所有端口的对端标记信息；/n6)取出当前网络交换芯片一个未处理端口的对端标记信息，当该端口的对端标记信息指明该端口连接到的网络交换芯片为NRC芯片时，如果该端口连接到的网络交换芯片的编号CHIP_ID未记入邻接表，则将该端口连接到的网络交换芯片加入种子队列，并构建指向该交换芯片的源路由表表项；如果该端口连接到的网络交换芯片的编号CHIP_ID已记入邻接表，则无需处理；该端口连接到的网络交换芯片是否还有未处理端口，若有则执行步骤6)；否则若有则执行步骤7)；当该端口的对端标记信息指明该端口连接到的网络交换芯片为NIC芯片时，则将该端口连接到的网络交换芯片的CHIP_ID记录到邻接表；/n7)判断种子队列是否为空，若种子队列非空，则跳转步骤4)；若种子队列为空，则输出记录了所有可达网络芯片各端口的连接信息的邻接表；/n8)将所述邻接表作为最终得到的实际拓扑结构，将实际拓扑结构和期望拓扑结构进行对比以发现错误的端口连接关系。/n...

【技术特征摘要】
1.一种用于高性能计算系统的高速互连网络拓扑发现方法，其特征在于实施步骤包括：
1)初始化种子队列和邻接表为空；
2)访问本节点的网络接口芯片中的对端标记信息，并将该对端标记信息中的记录的网络接口芯片加入种子队列；
3)构建指向该对端网络接口芯片的源路由表表项，所述源路由表为在管理服务器内存中分配的用来记录管理服务器与各个网络芯片间往返路由路径的数据结构；
4)将种子队列中的第一个网络交换芯片作为当前网络交换芯片并从种子队列中删除；
5)访问当前网络交换芯片所有端口的对端标记信息；
6)取出当前网络交换芯片一个未处理端口的对端标记信息，当该端口的对端标记信息指明该端口连接到的网络交换芯片为NRC芯片时，如果该端口连接到的网络交换芯片的编号CHIP_ID未记入邻接表，则将该端口连接到的网络交换芯片加入种子队列，并构建指向该交换芯片的源路由表表项；如果该端口连接到的网络交换芯片的编号CHIP_ID已记入邻接表，则无需处理；该端口连接到的网络交换芯片是否还有未处理端口，若有则执行步骤6)；否则若有则执行步骤7)；当该端口的对端标记信息指明该端口连接到的网络交换芯片为NIC芯片时，则将该端口连接到的网络交换芯片的CHIP_ID记录到邻接表；
7)判断种子队列是否为空，若种子队列非空，则跳转步骤4)；若种子队列为空，则输出记录了所有可达网络芯片各端口的连接信息的邻接表；
8)将所述邻接表作为最终得到的实际拓扑结构，将实际拓扑结构和期望拓扑结构进行对比以发现错误的端口连接关系。


2.根据权利要求1所述的用于高性能计算系统的高速互连网络拓扑发现方法，其特征在于，步骤8)的详细步骤包括：
8.1)载入用户指定的标准拓扑连接文件记为期望拓扑结构；
8.2)取出期望拓扑结构信息中未处理的端口连接信息X-Y，其中X和Y分别表示两个网络端口，具体包含<CHIP_TYPE,CHIP_ID,PORT_ID>三元组信息，根据其在实际拓扑结构中的状态分为以下情况：若实际拓扑结构中不存在与X的连接，说明端口X的实际连接断开，输出该错误说明信息；若实际拓扑结构中存在与X的连接，但是连接对方不是Y，说明连接关系错误，输出该错误说明信息；若实际拓扑中存在X-Y的连接，说明连接正确；
8.3)判断期望拓扑结构中是否有未处理的端口连接信息，若还有处理的端口连接信息，则跳转执行步骤8.2)；否则，拓扑结构检查结束，退出。


3.一种用于高性能计算系统的高速互连网络拓扑发现装置，包括计算机设备，其特征在于，该计算机设备被编程或配置以执行权利要求1或2所述用于高性能计算系统的高速互连网络拓扑发现方法的步骤，或者该计算机设备的存储器上存储有被编程或配置以执行权利要求1或2所述用于高性能计算系统的高速互连网络拓扑发现方法的计算机程序。


4.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有被编程或配置以执行权利要求1或2所述用于高性能计算系统的高速互连网络拓扑发现方法的计算机程序。


5.一种用于应用权利要求1或2所述用于高性能计算系统的高速互连网络拓扑发现方法的高性能计算系统，包括计算节点、交换节点、监控节点，所述计算节点、交换节点、监控节点均通过高速互连网络相连，任意相邻计算节点之间通过一个或多个交换节点相连，每一个计算节点、交换节点均对应有一个监控节点，其特征在于，所述计算节点和交换节点的网络接口芯片中均包含位于端口逻辑层的拓扑发现辅助装置，所述拓扑发现辅助装置包括：
端口标记信息存储模块(11)，用于存储本端标记信息以及对端标记信息，所述本端标记信息包括本网络接口芯片的类型、编号及端口信息，所述对端标记信息包括连接到本网络接口芯片的某个端口的另一本网络接口芯片的类型、编号及端口信息；
端口标记信息控制模块(12)，用于管理本端标记信息及对端标记信息的存储以及进行；
本端标记信息发送模块(13)，用于从端口标记信息控制模块(12)接收链路层控制报文，并根据链路状态启动报文发送至物理链路；
对端标记信息接收模块(14)，用于从物理链路层接收链路层控制报文，并根据报文携带的对端标记信息更新端口标记信息存储模块(11)中存储的对端标记信息的值；
带内访问接口模块(15)，用于接收针对本网络芯片的带内访问的管理请求报文并返回管理响应报文；
带外访问接口模块(16)，用于接收针对本网络芯片的带外访问的管理请求报文并返回管理响应报文；
所述端口标记信息控制模块(12)分别与端口标记信息存储模块(11)、本端标记信息发送模块(13)、对端标记信息接收模块(14)、带内访问接口模块(15)、带外访问接口模块(16)分别相连，所述本端标记信息发送模块(13)、对端标记信息接收模块(14)分别与物理链路相连，所述带内访问接口模块(15)用于与软件层的带内管理服务器软件相连，所述带外访问接口模块(16)用于与软件层的监控板管理软件相连。


6.根据权利要求5所述的高性能计算系统，其特征在于，所述端口标记信息存储模块(11)包含本端标记信息配置寄存器REG_CFG_LOCAL和对端标记信息状态寄存器REG_STA_PEER，所述本端标记信息配置寄存器REG_CFG_LOCAL用来保存本端口的<CHIP_TYPE,CHIP_ID,PORT_ID>信息，所述对端标记信息状态寄存器RE...

【专利技术属性】
技术研发人员：曹继军，徐炜遐，常俊胜，刘路，戴艺，肖灿文，王强，王武芳，徐佳庆，熊泽宇，翦杰，王子聪，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南;43