数据处理方法和装置制造方法及图纸

本发明专利技术提供了一种数据处理方法和装置。该方法包括：获取当前待处理数据的数据量，其中，当前待处理数据包括当前执行远程直接数据存取RDMA操作的输入输出I/O数据；若当前待处理数据的数据量大于第一预定阈值，则直接在与当前待处理数据对应的页面地址上执行当前待处理数据的RDMA操作；若当前待处理数据的数据量小于等于第一预定阈值，则通过预先建立的数据传输通道在接收设备中的页面地址上执行当前待处理数据的RDMA操作。通过本发明专利技术，解决了现有技术中RDMA只能通过底层协议栈多次交互，多次拷贝来传输数据的方式执行RDMA操作所导致的数据处理效率较低的问题，进而达到了提高数据处理效率的效果。

Data processing method and apparatus

The present invention provides a data processing method and apparatus. The method comprises: acquiring the data to be processed data, including the data to be processed, including the currently executing remote direct data access operation RDMA I/O data input and output data to be processed; if the current amount of data is greater than a first predetermined threshold directly in the execution of the current data to be processed and the RDMA operating current corresponding to the data to be processed the address of the page; if the pending data is less than or equal to a first predetermined threshold, through the data transmission channel is established beforehand in the receiving apparatus on the execution of the current page address to be processed according to the number of RDMA operations. The invention solves the existing RDMA technology only through the underlying protocol stack multiple interactions, data processing efficiency of multiple copies of data transmission to the manner in which the RDMA operation is performed in the low, and to improve the effect of data processing efficiency.

【技术实现步骤摘要】
数据处理方法和装置
本专利技术涉及通信领域，具体而言，涉及一种数据处理方法和装置。
技术介绍
随着用户数据的不断膨胀，信息技术的兴起。各种通信设备间的带宽越来越大。PCIe(PCI-Express)链路作为一种节点内主流的高速传输协议被广泛的应用。在不断提高带宽的同时，PCIe协议逐步开始从节点内中央处理器(CPU,CentralProcessingUnit)和外部设备之间的互联协议中走出来，利用PCIe的非透明桥(NTB，NonTransparentbridge)技术，PCIe协议可以支持节点间的高速互联，互联的节点间通过NTB进行地址域的隔离。经过NTB的地址映射后，本节点上的DMA引擎通过访问NTB映射过来的虚拟地址，就可以实现对对端的节点上的内存的访问。虽然通过NTB和存储器直接访问(DMA，DirectMemoryAcess)技术，PCIe协议物理上实现了直接访问对端节点上的内存，但是这离高效的节点间的数据交互还有一些距离。具体来说，由于PCIe的远程直接数据存取RDMA(RDMA，RemoteDirectMemoryAcess)操作只在发送节点上进行，因而PCIe在与对端本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：获取当前待处理数据的数据量，其中，所述当前待处理数据包括当前执行远程直接数据存取RDMA操作的输入输出I/O数据；若所述当前待处理数据的数据量大于第一预定阈值，则直接在与所述当前待处理数据对应的页面地址上执行所述当前待处理数据的所述RDMA操作；若所述当前待处理数据的数据量小于等于所述第一预定阈值，则通过预先建立的数据传输通道在接收设备中的所述页面地址上执行所述当前待处理数据的所述RDMA操作。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取当前待处理数据的数据量，其中，所述当前待处理数据包括当前执行远程直接数据存取RDMA操作的输入输出I/O数据；若所述当前待处理数据的数据量大于第一预定阈值，则直接在与所述当前待处理数据对应的页面地址上执行所述当前待处理数据的所述RDMA操作；若所述当前待处理数据的数据量小于等于所述第一预定阈值，则通过预先建立的数据传输通道在接收设备中的所述页面地址上执行所述当前待处理数据的所述RDMA操作。2.根据权利要求1所述的方法，其特征在于，在直接在与所述当前待处理数据对应的页面地址上执行所述当前待处理数据的所述RDMA操作之前，还包括：从本地的页面地址缓存池中直接获取所述页面地址，其中，所述页面地址缓存池用于缓存一个或多个页面地址。3.根据权利要求2所述的方法，其特征在于，在从本地的页面地址缓存池中直接获取所述页面地址之前，包括：检测所述页面地址缓存池中缓存的页面地址数量；若所述页面地址数量小于等于第二预定阈值，则通过所述数据传输通道获取新的页面地址。4.根据权利要求3所述的方法，其特征在于，所述通过所述数据传输通道获取新的页面地址包括：将用于请求获取所述页面地址的获取请求作为待传输数据通过所述数据传输通道发送给所述接收设备；获取所述接收设备发送的所述页面地址；添加所述页面地址到所述页面地址缓存池中。5.根据权利要求1所述的方法，其特征在于，所述通过预先建立的数据传输通道在接收设备中的所述页面地址上执行所述当前待处理数据的所述RDMA操作包括：将所述当前待处理数据作为待传输数据通过所述数据传输通道直接发送给所述接收设备，并保存在所述数据传输通道在所述接收设备的通道缓存器中，以使所述接收设备利用所述通道缓存器中的所述当前待处理数据在所述页面地址上执行所述RDMA操作。6.根据权利要求5所述的方法，其特征在于，所述接收设备利用所述通道缓存器中的所述当前待处理数据在所述页面地址上执行所述RDMA操作包括：所述接收设备将所述通道缓存器中的所述当前待处理数据拷贝到与所述页面地址对应页面内存中。7.根据权利要求1所述的方法，其特征在于，在获取当前待处理数据的数据量之前，还包括：在发送设备与所述接收设备之间建立所述数据传输通道，其中，所述数据传输通道连接所述发送设备中的控制队列与所述接收设备中的环形队列，其中，所述控制队列包括用于控制所述环形队列中数据状态变化的控制信息。8.根据权利要求7所述的方法，其特征在于，所述在发送设备与所述接收设备之间建立所述数据传输通道包括：在所述控制队列及所述环形队列中分别设置用于指示队列中数据状态变化的指针，其中，所述控制队列与所述环形队列中的所述指针所指示的位置同步变化；其中，所述指针包括：队列头指针、队列尾指针及队列接收指针，其中，所述队列尾指针与所述队列头指针之间的数据用于表示所述接收设备尚未确认接收的数据；所述队列接收指针与所述队列尾指针之间的数据用于表示所述接收设备已确认接收，且尚未处理的数据。9.根据权利要求8所述的方法，其特征在于，所述控制队列与所述环形队列中的所述指针所指示的位置同步变化包括：在所述发送设备执行发送操作时，所述控制队列的所述队列头指针将向前移动N个数据字节，并将所述队列头指针所指示的位置将同步到所述接收设备的所述环形队列中，其中，所述N为大于等于1的自然数；在所述接收设备执行接收操作时，所述环形队列的所述队列尾指针将向前移动M个数据字节，并将所述队列尾指针所指示的位置同步到所述发送设备的所述控制队列中，其中，M≤N，M为大于等于1的自然数；其中，在所述发送设备的所述控制队列中所述队列尾指针移动到所述队列头指针时，更新所述队列接收指针的位置。10.一种数据处理方法，其特征在于，包括：在发送设备获取到的当前待处理数据的数据量大于第一预定阈值时，接收所述发送设备直接在与所述当前待处理数据对应的页面地址上执行所述当前待处理数据的远程直接数据存取RDMA操作，其中，所述当前待处理数据包括当前执行所述RDMA操作的输入输出I/O数据；在所述当前待处理数据的数据量小于等于所述第一预定阈值时，接收通过预先建立的数据传输通道在接收设备中的所述页面地址上执行所述当前待处理数据的所述RDMA操作。11.根据权利要求10所述的方法，其特征在于，在接收所述发送设备直接在与所述当前待处理数据对应的页面地址上执行所述当前待处理数据的所述RDMA操作之前，还包括：接收所述发送设备发送的用于请求获取所述页面地址的获取请求；响应所述获取请求发送所述页面地址。12.根据权利要求10所述的方法，其特征在于，所述通过预先建立的数据传输通道在与所述当前待处理数据对应的页面地址上执行所述当前待处理数据的所述RDMA操作包括：接收所述当前待处理数据；将所述待处理数据保存在所述数据传输通道在所述接收设备的通道缓存器中；将所述通道缓存器中的所述当前待处理数据一次拷贝到与所述页面地址对应页面内存中。13.根据权利要求10所述的方法，其特征在于，还包括：预先在发送设备与所述接收设备之间建立所述数据传输通道，其中，所述数据传输通道连接所述发送设备中的控制队列与所述接收设备中的环形队列，其中，所述控制队列包括用于控制所述环形队列中数据状态变化的控制信息。14.根据权利要求13所述的方法，其特征在于，所述在发送设备与所述接收设备之间建立所述数据传输通道包括：在所述控制队列及所述环形队列中分别设置用于指示队列中数据状态变化的指针，其中，所述控制队列与所述环形队列中的所述指针所指示的位置同步变化；其中，所述指针包括：队列头指针、队列尾指针及队列接收指针，其中，所述队列尾指针与所述队列头指针之间的数据用...

【专利技术属性】
技术研发人员：刘卯银，秦长鹏，戴庆军，牛克强，张翼，舒坦，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东,44