一种基于网卡直连的全互连通信方法及装置制造方法及图纸

本发明专利技术提出一种基于网卡直连的全互连通信装置及方法，涉及并行通信网络领域，该装置包括：多个计算单元、多个网卡、通信中间件；所述计算单元，用于运行系统软件和应用程序，负责提供计算服务；所述网卡，用于提供数据传输服务，负责实现各个计算单元彼此间的通信；所述通信中间件，用于向应用提供调用接口，并且屏蔽底层的网络互联结构；其中所述通信中间件位于所述计算单元中，所述计算单元连接多个所述网卡，所述计算单元之间通过所述网卡进行通信。本发明专利技术在小规模系统内采用全互连，剔除了交换机成本开销；其次以太网采用存储转发机制实现交换，交换机会带来较大的延时开销，采用直连方式，消除了交换延时，减少了通信延迟时间。

【技术实现步骤摘要】

本专利技术涉及并行通信网络领域，特别是涉及一种基于网卡直连的全互连通信方法及装置。
技术介绍
目前主流的并行通信系统多采用网卡与交换机的方案。在这种方案中，每个计算单元需配备各自的网卡，然后将网卡连接到交换机上，由于不同节点上的网卡都连接在同一交换机上，从而利用交换机实现了各个计算单元间的互连。随着网卡性能的增加，对交换机的要求也越来越高，而当前的高端交换机如万兆交换机、Infiniband交换机等价格昂贵，针对小规模的通信系统显著的增加了互连成本。基于当前的互连架构，通信过程首先从发送端网卡开始，其次经过交换机，最后到达接收端网卡，在通信过程中必须经过交换机，由于交换机需要处理通信数据包的路由转发，从而增加了通信的延迟开销，同时，交换机在转发数据包时，会存在排队和阻塞的现象，这在某些情况下，将严重地降低系统的性能，此外，由于所有的网卡都连接在交换机上，交换机存在单点故障的问题，交换机的故障将导致整个并行系统的不可用。
技术实现思路
针对现有技术的不足，本专利技术提出一种基于网卡直连的全互连通信方法及装置。本专利技术提出一种基于网卡直连的全互连通信装置，包括:多个计算单元、多个网卡、通信中间件；所述计算单元，用于运行系统软件和应用程序，负责提供计算服务；所述网卡，用于提供数据传输服务，负责实现各个计算单元彼此间的通信；所述通信中间件，用于向应用提供调用接口，并且屏蔽底层的网络互联结构；其中所述通信中间件位于所述计算单元中，所述计算单元连接多个所述网卡，所述计算单元之间通过所述网卡进行通信。所述的基于网卡直连的全互连通信装置，所述计算单元包括处理器与内存，所述处理器支持多种指令集，所述内存容量无限制。所述的基于网卡直连的全互连通信装置，所述网卡提供单端口或者多端口网卡支持。所述的基于网卡直连的全互连通信装置，所述通信中间件负责初始化和管理多块网卡，提供各计算单元间的通信服务，并向上层提供统一的调用接口。所述的基于网卡直连的全互连通信装置，所述通信中间件包括通信管理模块，用于初始化多块网卡，并为每块网卡分配相应的物理地址；通信抽象模块，用于向上层提供单一的通信网络结构，根据上层通信相应的目标地址，选择网卡，将数据发送到目标方；通信接口模块，用于在通信抽象模块的基础上，为上层应用提供兼容的网络接口支持，并将用户的请求转化为对抽象模块的调用，从而实现用户应用间的通信。所述的基于网卡直连的全互连通信装置，所述通信管理模块包括加载网卡驱动，并且根据全局的拓扑互连关系，分配相应的物理地址。本专利技术还提供一种实施于所述装置的基于网卡直连的全互连通信方法，包括:步骤1，为网卡分配网卡地址，网卡间通过所述网卡地址进行相互通信；步骤2，根据所述网卡地址与网卡间的映射关系，初始化通信中间件，建立通信中间件中的互连映射关系；步骤3，所述通信中间件根据上层网络数据的目标地址与所述互联映射关系，选择网卡，将网络数据包发送到目标网卡，从而完成数据的通信。所述的基于网卡直连的全互连通信方法，所述步骤2与所述步骤3之间还包括，所述通信中间件初始化完成后，应用通过调用所述通信中间件实现数据的通信，其中调用所述通信中间件中的通信接口，并填写目标地址与所传输的数据信息。所述的基于网卡直连的全互连通信方法，还包括所述目标网卡在接收到数据后，通知所述通信中间件，所述通信中间件获取消息到达的通知。所述的基于网卡直连的全互连通信方法，还包括所述通信中间件通知所述应用，告知数据到达的信息，并将数据提交给所述应用。由以上专利技术可知，本专利技术的优点在于:首先由于高性能交换机成本较高，因此在小规模系统内采用全互连，剔除了交换机成本开销；其次以太网采用存储转发机制实现交换，交换机会带来较大的延时开销，采用直连方式，消除了交换延时，减少了通信延迟时间，对高性能计算可以获得性能上的改善；最后全互连架构是最理想的互连结构，完全不存在阻塞和排队现象，可以获得最佳的通信性能，同时也是最可靠的网络结构，满足系统容错的需求。【附图说明】图1为基于网卡直连的全互连通信架构；图2为通信中间件架构；图3为通信流程图。其中附图标记为:计算单元I处理器11内存12网卡2通信中间件3通信管理模块31通信抽象模块32通信接口模块33步骤110/120/130/140/150/160/170。【具体实施方式】为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术的一种基于网卡直连的全互连通信方法及装置进行进一步详细说明，应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。本专利技术的目的在于提供一种基于网卡直连的全互连通信系统，它通过网卡直连，将不同的计算单元连接起来。通过N个计算单元，每个计算单元配备(N-1)块网卡，可以实现计算单元间的全互连，同时，基于全互连通信系统，通信中间件管理多块网卡并向上层应用屏蔽底层网卡互连的细节，从而向上层提供方便、高效的通信服务。下面结合上述目的，详细说明本专利技术基于网卡直连的全互连通信系统，图1给出了本专利技术基于网卡直连的全互连通信架构，包括:计算单元1，其功能主要运行系统软件和应用程序，负责提供计算服务。其包括处理器11和内存12等，其通过加载操作系统，并运行应用程序来提供服务。本专利技术不对计算单元中的处理器类型加以限制，其可以支持X86，MIPS和ARM等处理器，图中通用处理器的数目为M，本专利技术亦不对处理器的具体数目加以限制。同样，本专利技术不对内存的类型和大小加以限制。[0040当前第1页1 2 本文档来自技高网...

【技术保护点】
一种基于网卡直连的全互连通信装置，其特征在于，包括：多个计算单元、多个网卡、通信中间件；所述计算单元，用于运行系统软件和应用程序，负责提供计算服务；所述网卡，用于提供数据传输服务，负责实现各个计算单元彼此间的通信；所述通信中间件，用于向应用提供调用接口，并且屏蔽底层的网络互联结构；其中所述通信中间件位于所述计算单元中，所述计算单元连接多个所述网卡，所述计算单元之间通过所述网卡进行通信。

【技术特征摘要】

【专利技术属性】
技术研发人员：安学军，李强，曹政，刘小丽，安仲奇，霍志刚，张佩珩，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京;11