一种数据处理系统及方法技术方案

本申请提供一种数据处理系统及方法。数据处理系统包括：至少一个第一节点和至少一个第二节点，其中至少一个第一节点和至少一个第二节点基于用户态协议栈通信。第一节点，被配置为：基于用户态协议栈，接收来自应用端的数据处理请求，基于应用端的数据处理请求，向至少一个第二节点发送数据请求；第二节点，被配置为：基于用户态协议栈，接收第一节点发送的数据请求，并且各自通过DMA或者所述第二节点之间通过RDMA对第一节点发送的数据请求进行处理。如此改进数据通信从而避免性能损耗及提升整体系统性能。整体系统性能。整体系统性能。

【技术实现步骤摘要】
一种数据处理系统及方法


[0001]本申请涉及计算机
，具体涉及网络通信和数据库
，尤其涉及一种数据处理系统及方法。

技术介绍

[0002]随着互联网技术和网络通信技术的发展，数据库作为核心的底层基础设施也保持了迅速的增长。常见的一种数据库是关系型数据库，也就是将数据按照关系模型进行组织和管理以及使用结构化查询语言(structured query language，SQL)做各种关系运算得到检索结果。此外存在时序型数据库、图数据库、文档型数据库、键值(key
‑
value，KV)数据库等。根据数据库内部处理事务的方式，数据库还可以分成单机数据库和分布式数据库。单机数据库一般在一个节点上完成数据库事务。分布式数据库一般通过多个节点协调完成数据库事务也叫做分布式事务或者说在分布式环境下处理事务。面对海量数据需要存储的要求，单机数据库一般通过纵向扩展例如增加磁盘存储空间和内存等，分布式数据库一般通过横向扩展例如增加新的机器或者新的节点。但是，随着需要存储的数据规模日益增加，需要通过数据库来完成的数据库事务的需求也复杂多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理系统，其特征在于，所述数据处理系统包括：至少一个第一节点和至少一个第二节点，其中所述至少一个第一节点和所述至少一个第二节点基于用户态协议栈通信；所述第一节点，被配置为：基于所述用户态协议栈，接收来自应用端的数据处理请求，基于所述应用端的数据处理请求，向所述至少一个第二节点发送数据请求；所述第二节点，被配置为：基于所述用户态协议栈，接收第一节点发送的所述数据请求，并且各自通过直接内存访问DMA或者所述第二节点之间通过远程直接内存访问RDMA对所述第一节点发送的数据请求进行处理。2.根据权利要求1所述的数据处理系统，其特征在于，所述第一节点还配置为：基于所述用户态协议栈，根据所述应用端的数据处理请求协调所述第二节点，从而使得所述第二节点各自通过DMA或者使得所述第二节点之间通过RDMA对所述第一节点发送的数据请求进行处理。3.根据权利要求1所述的数据处理系统，其特征在于，所述至少一个第一节点基于所述用户态协议栈进行的数据通信涉及所述至少一个第一节点的操作系统的用户空间，并且不涉及所述操作系统的内核空间。4.根据权利要求1所述的数据处理系统，其特征在于，所述数据处理系统是分布式数据库，所述第一节点是协调节点CN，所述第二节点是数据节点DN，所述CN可协调所述DN从而使得所述DN各自通过DMA或者所述DN之间通过RDMA对所述CN发送的数据请求进行处理。5.根据权利要求4所述的数据处理系统，其特征在于，所述用户态协议栈包括以堆栈形式固化的传输控制协议/互联协议TCP/IP协议。6.根据权利要求1所述的数据处理系统，其特征在于，所述数据处理系统是单机数据库，所述第一节点是本地数据节点，所述第二节点是相对于所述应用端的另一应用端。7.根据权利要求6所述的数据处理系统，其特征在于，所述用户态协议栈包括以堆栈形式固化的局域网通信协议或者内部总线通信协议。8.根据权利要求1所述的数据处理系统，其特征在于，所述用户态协议栈从多种预设用户态协议栈中选择。9.根据权利要求1所述的数据处理系统，其特征在于，所述用户态协议栈通过代理通信库进行接口封装，所述代理通信库用于自适应选择用于所述第一节点和所述第二节点之间通信的用户态协议栈。10.根据权利要求9所述的数据处理系统，其特征在于，所述代理通信库还用于对TCP/IP协议栈和RDMA进行接口封装。11.根据权利要求9所述的数据处理系统，其特征在于，所述代理通信库包括统一化通信模型接口。12.一种数据处理方法，其特征在于，所述数据处理方法应用于数据处理系统，所述数...

【专利技术属性】
技术研发人员：吕温，
申请(专利权)人：超聚变数字技术有限公司，
类型：发明
国别省市：