一种基于MPI的广域高性能计算网络优化方法技术

本发明专利技术公开了一种基于MPI的广域高性能计算网络优化方法，包括如下步骤：创建SCTP‑CMT协议块；将所述STCP‑CMT作为代替TCP协议的模块移植到MPI组件架构的PTL模块中；将更新后的MPI协议栈更新至MPI组件架构；基于更新后的MPI特性，在MPI组件架构的PML模块中创建SCM模块，对更新后的MPI组件架构起到管理作用；对OPEN MPI结构内部的上层接口进行调整，使其兼容新的框架模型。本发明专利技术通过在MPI协议栈中使用SCTP并行多路径传输技术扩展协议代替TCP协议，继而与OPEN MPI相结合，提出了一种新的OPEN MPI框架模型。本发明专利技术对于高性能计算网络的多宿主特性提供了端到端的高效通信，减少了高性能网络中集群处理器之间不必要的通信，可以达到较小的通信时延、较高的频带利用率以及提高通信的可靠性。

【技术实现步骤摘要】
一种基于MPI的广域高性能计算网络优化方法
本专利技术属于通信领域，涉及基于MPI的广域高性能网络在智能交通系统中应用的技术，具体涉及一种基于MPI的广域高性能计算网络优化方法。
技术介绍
随着社会经济的快速发展，我国交通建设的规模及交通系统的复杂性也迅速增加，尤其近几年城市人口增多，汽车数量持续增加，与此同时带来的交通问题也越来越突出，利用智能交通系统解决日益严重的交通问题越来越受到国内外政府、专家的重视。所谓智能交通系统，是将先进的信息技术、数据通讯传输技术、电子传感技术、电子控制技术以及计算机处理技术等有效地集成运用于整个交通运输管理体系，而建立起的一种在大范围内、全方位发挥作用的，实时、准确、高效的综合运输和管理系统，它通过对传统交通系统进行变革，提升交通系统的信息化、智能化、集成化和网络化，从而保障人、车、路与环境之间的相互交流，进而提高交通系统的效率、机动性、安全性、可达性、经济性，达到保护环境，降低能耗的作用。目前，我国有关智能交通系统的各类交通运输管理主体分散在不同地区与主管部门，呈现出条块分割的现象。涉及交通的“有关部门”超过10个，每个部门都有自己的信息化系统，且这些数据信息只存在于垂直业务和单一应用中，与邻近业务系统需要通过大型智能交通系统网络进行共通联动。据调查报告可知，在各城市区域的智能交通系统中时时刻刻有大量的安全信息和车辆状态数据进行传输，数据总量水平在GB/S级别，这些数据需要在全国车联网层面、车辆调度、交警监控系统分析等应用中共享，结合智能交通系统本身强调数据的实时性、计算的高性能的特点，对网络传输性能、数据存储性能、数据分析处理性能都会提出很高的要求。智能交通系统通信网的广域网络部分以SDH系统为主，各级异构网接入的汇聚网部分以太网技术为主，端到端的数据网以TCP/IP为主，构成了以太网+SDH的TCP/IP网络解决方案，大量的研究和测试表明，与高速、高性能计算网络相比，这样一个网络方案在带宽、时延和稳定性方面与充分发挥智能交通系统作用的需求差距很大。高性能计算通常是指并行计算，使用多处理器或者几台计算机集群通过高带宽、低延时的异构网络互联，具有紧密耦合的特性。这些能够在集群主机之间提供极高通信性能的网络称之为高性能计算网络。目前高性能计算网络技术主要的应用场景是数据中心的计算机集群网络，因此应用在智能交通系统环境下可以充分发挥网络的高性能特点。高性能网络中紧密耦合的集群和并行处理器是通过广域网络进行连接，在跨越广域网进行通信时，若使高性能计算网络这种分布式系统高效运行，则通信链路的同步问题需要得到有效的解决。对于高性能计算网络的系统特性，通常所用的编程范式是采用MPI(MessagePassingInterface)标准(消息传递接口)，MPI对种类繁多的并行计算体系结构的便捷式编程提供了基础。目前MPI在广域网的实施主要依赖于TCP，大多数如MPICH-G2、PACX-MPI、FT-MPI、LAM-MPI等MPI模式要实现广域网的分布式计算环境都是通过TCP建立的。但是在智能交通系统系统采用高性能计算网络在广域网中使用基于TCP的MPI协议栈会引起的典型问题就是具有很大的延迟效应以及对可用带宽的频带利用率较低，进而导致进程运行拖延，影响数据的发送与接收。另一个突出的问题是可拓展性，TCP的协议报头不支持对多宿主主机同时建立连接，从而MPI应用程序需要建立大量的TCP连接(1对1的Socket套接字)来与应用程序中的其它进程进行通信，这就会导致操作系统需要维持大量的socket描述符从而影响到系统的整体性能。在MPI应用程序的协议栈上用UDP来代替TCP的问题上有各种方法已经被提出。当广域网中传输的信息数据跨越多个网络接口时，使用UDP也可以通过信息分段化来达到容错率。UDP是一种无连接的传输层协议，可以避免在TCP中存在的”报头过重”引起的延迟较大问题，从而来达到更好的性能。但是，UDP是提供面向事务的简单不可靠信息传送服务，如果在报头增加了可靠性，这种优势荡然无存。因此我们认为智能交通系统使用高性能计算网络在广域网环境下通信时，TCP和UDP并不能与MPI应用程序很好地兼容。OpenMPI是在LAM/MPI,LA-MPI,andFT-MPI的基础上的一种全新的基于构件概念的MPI实现，是基于MPI上开发的一种高性能消息传递库，突出的优点是它的模块化结构更易于集成新的模块，同时支持多路径、多宿主的信息流传递。在OPENMPI点到点通信系统框架中，有两个主要模块是PTL(Point-to-pointTransportLayer)和PML(Point-to-pointManagementLayer)分别对应不同的功能。此外它还内置TEG(点到点通信容错模块)，可以最大限度地提高网络带宽的频带利用率。SCTP(StreamControlTransmissionProtocol，流量控制传输协议)作为一个传输层协议，已经由IETF标准化，采用定向消息传输机制。SCTP兼有TCP及UDP两者的特点，支持多宿主连接，且一个SCTP连接(Association)同时可以支持多个流(stream)，每个流包含一系列用户所需的消息数据(chunk)，从而这些特性使它们能在计算机集群中使用。在网络安全方面，SCTP也增加了防止恶意攻击的措施。SCTP继承了TCP较为完善的拥塞控制功能并改进了TCP的一些不足之处，可以看作是TCP的改进协议。SCTP由于在报文设计时充分的考虑了可扩展性，且SCTP的多宿性也为CMT(ConcurrentMultipathTransfer，多路径并行传输)提供了可能。STCP-CMT是在SCTP基础上提出并行多路径传输(CMT)机制，利用SCTP的多宿特性，完善了SCTP在实际中应用的不足。更适合满足高性能计算网络的分布式系统特性。针对上述在智能交通系统采用高性能计算网络在广域网中使用基于TCP的MPI协议栈会引起的延迟效应、频带利用率较低，进程运行拖延和可拓展性等问题，现在技术中还没有披露过相关的有效解决方法。
技术实现思路
本专利技术的目的在于改善智能交通系统中各个子区域大量车辆通信数据应用高性能计算网络在广域网通信时的高延时和可用带宽的频带利用率较低等问题。为达到上述目的，本专利技术提出的技术方案是一种基于MPI的广域高性能计算网络优化方法，包括如下步骤：步骤1：创建SCTP-CMT协议块；步骤2：将所述STCP-CMT作为代替TCP协议的模块移植到MPI组件架构的PTL模块中；步骤3：将更新后的MPI协议栈更新至MPI组件架构；步骤4：基于更新后的MPI特性，在MPI组件架构的PML模块中创建SCM模块，对更新后的MPI组件架构起到管理作用；步骤5：对OPENMPI结构内部的上层接口进行调整，使其兼容新的框架模型。进一步，步骤1中，创建SCTP-CMT协议块具体包括调用MPI_INIT程序，完成程序所有初始化工作，设置内部传输协议为SCTP-CMT，建立起运行的环境。进一步，步骤2中，将STCP-CMP移植到MPI组件架构的PTL模块中具体包括：在文件系统中定位检查点映像文件，并根据MPI任务使用的STCP-CMP协议块，重新建立每个MPI任务的本文档来自技高网...

【技术保护点】
一种基于MPI的广域高性能计算网络优化方法，其特征在于，包括如下步骤：步骤1：创建SCTP‑CMT协议块；步骤2：将所述STCP‑CMT作为代替TCP协议的模块移植到MPI组件架构的PTL模块中；步骤3：将更新后的MPI协议栈更新至MPI组件架构；步骤4：基于更新后的MPI特性，在MPI组件架构的PML模块中创建SCM模块，对更新后的MPI组件架构起到管理作用；步骤5：对OPEN MPI结构内部的上层接口进行调整，使其兼容新的框架模型。

【技术特征摘要】
1.一种基于MPI的广域高性能计算网络优化方法，其特征在于，包括如下步骤：步骤1：创建SCTP-CMT协议块；步骤2：将所述STCP-CMT作为代替TCP协议的模块移植到MPI组件架构的PTL模块中；步骤3：将更新后的MPI协议栈更新至MPI组件架构；步骤4：基于更新后的MPI特性，在MPI组件架构的PML模块中创建SCM模块，对更新后的MPI组件架构起到管理作用；步骤5：对OPENMPI结构内部的上层接口进行调整，使其兼容新的框架模型。2.根据权利要求1所述的基于MPI的广域高性能计算网络优化方法，其特征在于步骤1中，创建SCTP-CMT协议块具体包括调用MPI_INIT程序，完成程序所有初始化工作，设置内部传输协议为SCTP-CMT，建立起运行的环境。3.根据权利要求1所述的基于MPI的广域高性能计算网络的优化方法，其特征在于步骤2中，将STCP-CMP移植到MPI组件架构的PTL模块中具体包括：在文件系统中定位检查点映像文件，并根据MPI任务使用的STCP-CMP协议块，重新建立每个MPI任务的PTL模块，最后调用cr_restart函数恢复任务的执行，当MPI任务从cr_c...

【专利技术属性】
技术研发人员：赵海涛，唐紫浩，沈箬怡，于洪苏，朱洪波，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32