一种高效的面向长消息计算机网络通信方法，当不同计算机间的进程需要进行长消息传递时，进行如下步骤的操作：①预留小部分物理内存作为共享通信缓冲区；②发送方进程从预留的空闲物理内存申请共享通信缓冲区；③把网络接口映射到用户空间，使发送方进程能够直接访问网络接口；④发送方进程把待发数据拷贝到共享通信缓冲区；⑤在发送方进程把部分待发数据拷贝到共享通信缓冲区后，发送方网卡通过DMA把发送方共享通信缓冲区的数据写入到网卡发送缓冲区；⑥接收方网卡在部分数据写入共享通信缓冲区后，请求通信软件处理；⑦通信软件向上层的接收方进程发送数据已接收到的信号，请求接收方进程处理；⑧接收方进程拷贝共享通信缓冲区中的数据到目的地址。本发明专利技术的技术效果是：减少了网卡多次启动DMA的开销，显著加快了长消息的通信速率；又采用用户态内存拷贝与网卡DMA流水并行的方法，减少内存拷贝的代价。
【技术实现步骤摘要】
本专利技术涉及一种通信方法，尤其涉及。
技术介绍
为了解决高速网络传输大数据过程中需要很多次拷贝数据到通信缓冲区的问题， 目前多数系统采用用户态通信机制与“零拷贝”技术。也就是在数据传输时把用户态的虚拟地址转变为对应的物理地址，并且把它锁定，然后把物理地址传递给网卡，以便进行DMA (Direct Memory Access，直接内存访问)方式的数据传输。上述这种方式实现了通信过程中数据的零拷贝，去除了数据在内存的拷贝时间。 但是，在系统负载很高的情况下(比如CPU与内存利用率均达到90%以上)，通信效率大约为72% 80%之间，达不到轻载时的数值(实验测试表明，在两个计算节点没有运行大型任务的情况下，节点间带宽效率最高可以达到90%以上，这实际上是在系统负载很低的情况下获得的)，该数值与系统的负载特别是内存的利用率很有关系。通过进一步的仔细分析，我们发现在内存利用率很高的情况下，如果发送的消息较长，则采用用户态通信机制或 “零拷贝”技术通信时，需要多次启动DMA，占用的时间很多。其原因在于当系统内存利用率很高时，整个物理内存的大块连续物理内存空间就非常少，多数是一些零散的页面，这时如果应用程序发送的消息较长，则该消息在物理内存的真实位置非常分散，也就是该消息所在的物理内存页面是不连续的，因此当网卡采用DMA方式发送该消息时，必然需要多次启动DMA从内存读取数据，这在发送方是很耗费时间的；同样的道理，当系统内存利用率很高并且接收的消息比较大时，接收方应用程序也只能提供给网卡绝大多数零散的物理内存页面，因此接受方的网卡也必然需要多次启动DMA把数据写入内存，这在接收方也是很耗费时间的。
技术实现思路
本专利技术的目的在于提供了，是为了解决长消息在传输过程中需要多次启动DMA的难题，具体地说在操作系统启动时预留一部分物理内存区；通信时，可由应用程序和网卡共享该物理内存区。为了减小数据拷贝带来的影响，应用程序与网卡对共享内存区的操作采用了流水并行的技术，也就是让应用程序数据拷贝的大部分时间与网卡DMA的时间重叠，因此整个长消息通信过程中，真正耗费在数据拷贝操作上的时间并不多，比“零拷贝”通信机制多次启动DMA的开销要小得多。本专利技术是这样来实现的，，其特征在于当不同计算机间的进程需要进行长消息传递时，进行如下步骤的操作①为了预留物理内存，在Linux操作系统启动的配置文件中指定系统启动时初始化物理内存的数量，这样在系统重启后就可以预留部分物理内存；②发送方进程从预留的空闲物理内存申请共享通信缓冲区；③通信软件从预留的物理内存为发送方进程分配所需共享通信缓冲区，并把分配的该段内存映射到用户空间，这样发送方进程就可以获得该内存的虚拟地址并且访问该共享通信缓冲区，同时把网络接口映射到用户空间，使发送方进程能够直接访问网络接口 ； 发送方进程把待发数据拷贝到 共享通信缓冲区，在部分数据拷贝到共享通信缓冲区后，启动发送操作，这里我们采用了流水并行的技术，使待发数据到共享通信缓冲区的拷贝操作，与共享通信缓冲区数据到网卡发送缓冲区的写入操作同时进行，这样可以把用户态数据拷贝的部分时间隐藏在网卡DMA把数据写入网卡发送缓冲区的时间之中，由于物理内存速度快于PCI速度，这样不会出现速度不匹配的现象； 发送方网卡通过DMA把发送方共享通信缓冲区的数据写入到网卡发送缓冲区；@接收方网卡通过DMA把网卡接收缓冲区的数据写入接受方共享通信缓冲区，在部分数据写入共享通信缓冲区后，向上层发送数据已接收到的信号，请求通信软件处理；(2)通信软件对网卡发送的“数据已接收到的信号”作相应处理，然后向上层的接收方进程发送数据已接收到的信号，请求接收方进程处理；@接收方进程拷贝共享通信缓冲区中的数据到目的地址，类似于发送方，这里接收方也采用了流水并行的技术，使共享通信缓冲区到目的地址的拷贝操作，与网卡接收缓冲区到共享通信缓冲区数据的写入操作同时进行，这样在接收方也可以把用户态数据拷贝的部分时间隐藏在网卡通过DMA把数据写入共享通信缓冲区的时间之中。在接收方，由于内存速度快于PCI速度，因此需要仔细设计，计算好共享通信缓冲区到目的地址的拷贝时间与网卡通过DMA把数据写入共享通信缓冲区的时间，以防止在并行操作过程中出现错误。本专利技术提出了一种物理内存预留共享的通信方法，能够提供通信过程中所需的大块连续物理内存，使分散在物理内存中的长消息拷贝入连续的预留物理内存空间，从而启动一次或者少数几次DMA，即可将长消息全部送入网卡，从而减少了网卡多次启动DMA的开销，显著加快了长消息的通信速率。为了减小内存拷贝的开销，又采用用户态内存拷贝与网卡DMA流水并行的方法，用以减少内存拷贝的代价。本专利技术的技术效果是该方法为了提高面向长消息的计算机网络通信性能，提出了一种物理内存预留共享的通信方法，在Linux操作系统启动的配置文件中指定系统启动时初始化物理内存的数量，这样在系统重启后就可以保留小部分物理内存，从而能够提供通信过程中所需的大块连续物理内存，使分散在物理内存中的长消息拷贝入连续的预留物理内存空间，从而启动一次或者少数几次DMA，即可将长消息全部送入网卡。用内存拷贝的代价，减少了网卡多次启动DMA的开销，显著加快了长消息的通信速率；又采用用户态内存拷贝与网卡DMA流水并行的方法，减少内存拷贝的代价。附图说明图1为本专利技术的面向长消息的计算机网络通信方法的数据传输过程。具体实施例方式本专利技术是这样实现的，图1说明了在长消息通信过程中，从发送方到接收方的传输过程(双方事先必须建立连接)，主要包括以下几个步骤1)发送方进程从预留的空闲物理内存申请共享通信缓冲区；2)通信软件从预留的物理内存分配所需内存，并把分配的该段内存映射到用户空间， 这样发送方进程就可以获得该内存的虚拟地址并且访问该共享通信缓冲区。同时把网络接口映射到用户空间，使发送方进程能够直接访问网络接口；3)发送方进程把待发数据拷贝到共享通信缓冲区，在部分数据拷贝到共享通信缓冲区后，启动发送操作。这里我们采用了流水并行的技术，使待发数据到共享通信缓冲区的拷贝操作与共享通信缓冲区数据到网卡发送缓冲区的写入操作部分并行进行，这样可以把用户态数据拷贝的部分时间隐藏在网卡DMA把数据写入网卡发送缓冲区的时间之中。由于物理内存速度快于PCI速度(在我们测试的系统上，DDR266的内存理论带宽为2100MB/s，而32 位33Mhz的PCI理论带宽为133MB/S)，这样不会出现速度不匹配的现象。4)发送方网卡通过DMA把发送方共享通信缓冲区的数据写入网卡发送缓冲区；5)接收方网卡通过DMA把网卡接收缓冲区的数据写入接受方共享通信缓冲区；6)接收方网卡在部分数据写入共享通信缓冲区后，向上层发送数据已接收到的信号， 请求通信软件处理；7)通信软件对网卡发送的数据已接收到的信号作相应处理，然后向接收方进程发送数据已接收到的信号，请求接收方进程处理；接收方进程拷贝共享通信缓冲区中的数据到目的地址。这里接收方也采用了流水并行的技术，使共享通信缓冲区到目的地址的拷贝操作与网卡接收缓冲区到共享通信缓冲区数据的写入操作部分并行进行，这样在接收方也可以把用户态数据拷贝的部分时间隐藏在网卡通过DMA把数据写入共享通信缓冲区的时间之中。在本文档来自技高网...
【技术保护点】
１． 一种高效的面向长消息计算机网络通信方法，其特征在于当不同计算机间的进程需要进行长消息传递时，进行如下步骤的操作：①为了预留物理内存，在Ｌｉｎｕｘ操作系统启动的配置文件中指定系统启动时初始化物理内存的数量，这样在系统重启后就可以预留部分物理内存；②发送方进程从预留的空闲物理内存申请共享通信缓冲区；③通信软件从预留的物理内存为发送方进程分配所需共享通信缓冲区，并把分配的该段内存映射到用户空间，这样发送方进程就可以获得该内存的虚拟地址并且访问该共享通信缓冲区，同时把网络接口映射到用户空间，使发送方进程能够直接访问网络接口；发送方进程把待发数据拷贝到共享通信缓冲区，在部分数据拷贝到共享通信缓冲区后，启动发送操作，这里我们采用了流水并行的技术，使待发数据到共享通信缓冲区的拷贝操作，与共享通信缓冲区数据到网卡发送缓冲区的写入操作同时进行，这样可以把用户态数据拷贝的部分时间隐藏在网卡ＤＭＡ把数据写入网卡发送缓冲区的时间之中，由于物理内存速度快于ＰＣＩ速度，这样不会出现速度不匹配的现象； 发送方网卡通过ＤＭＡ把发送方共享通信缓冲区的数据写入到网卡发送缓冲区；接收方网卡通过ＤＭＡ把网卡接收缓冲区的数据写入接受方共享通信缓冲区，在部分数据写入共享通信缓冲区后，向上层发送数据已接收到的信号，请求通信软件处理；通信软件对网卡发送的“数据已接收到的信号”作相应处理，然后向上层的接收方进程发送数据已接收到的信号， 请求接收方进程处理；接收方进程拷贝共享通信缓冲区中的数据到目的地址，类似于发送方，这里接收方也采用了流水并行的技术，使共享通信缓冲区到目的地址的拷贝操作，与网卡接收缓冲区到共享通信缓冲区数据的写入操作同时进行，这样在接收方也可以把用户态数据拷贝的部分时间隐藏在网卡通过ＤＭＡ把数据写入共享通信缓冲区的时间之中。...
【技术特征摘要】
【专利技术属性】
技术研发人员：曾小荟，曾国荪，罗文浪，刘君瑞，冯萍，徐烽涛，康继昌，冷明，
申请(专利权)人：曾小荟，
类型：发明
国别省市：36
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。