基于RDMA的分布式流计算节点数据同步方法及系统技术方案

本申请公开了一种基于RDMA的分布式流计算节点数据同步方法及系统，涉及服务器的技术领域，包括流计算节点包括至少一个发送计算节点和至少一个接收计算节点，应用于发送计算节点，在所述发送计算节点和所述接收计算节点均配置RDMA协议网卡，并开启RDMA协议；调用反压模块读取所述接收计算节点中的空余容量；响应于所述空余容量小于所述待发送数据量，根据所述空余容量切分待发送数据为小于所述空余容量的数据块；发送所述数据块至所述接收计算节点，完成数据同步。本申请减少了在节点内部的数据复制。根据RDMA协议，数据由数据库数据源节点直接由用户态缓存发送到目标节点的缓存区，提升了数据同步传输的速度。提升了数据同步传输的速度。提升了数据同步传输的速度。

【技术实现步骤摘要】
基于RDMA的分布式流计算节点数据同步方法及系统


[0001]本申请涉及服务器的
，具体涉及一种基于RDMA的分布式流计算节点数据同步方法及系统。

技术介绍

[0002]目前，分布式流计算系统核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。当前业界主流Flink是一款分布式流计算引擎，它可以用来做批处理，即处理静态的数据集、历史的数据集，也可以用来做流处理，即实时地处理一些实时数据流，实时地产生数据的结果，也可以用来做一些基于事件的应用。
[0003]分布式流计算引擎是由两部分组成的，分别是管理节点和计算节点，分布式流计算引擎架构遵行主从架构设计原则，管理节点是运行在主节点上，计算节点是运行在从节点上的，所有组件之间通信连接，其通信的内容包括任务的状态和检查点触发等信息。客户端负责将任务提交到集群，与主节点构建Akka连接，然后将任务提交到主节点，通过主节点之间进行交互获取任务执行状态。客户端提交任务可以命令行方式或者通过使用Flink端口提交。主节点负责整个Flink集群任务的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于RDMA的分布式流计算节点数据同步方法，流计算节点包括至少一个发送计算节点和至少一个接收计算节点，所述方法应用于发送计算节点，其特征在于，所述方法包括：在所述发送计算节点和所述接收计算节点均配置RDMA协议网卡，并开启RDMA协议；调用反压模块读取所述接收计算节点中的空余容量；响应于所述空余容量小于所述待发送数据量，根据所述空余容量切分待发送数据为小于所述空余容量的数据块；发送所述数据块至所述接收计算节点，完成数据同步。2.根据权利要求1所述的基于RDMA的分布式流计算节点数据同步方法，其特征在于，所述方法还包括：响应于所述空余容量大于等于所述待发送数据量；则直接发送所述待发送数据至所述接收计算节点。3.根据权利要求1所述的基于RDMA的分布式流计算节点数据同步方法，其特征在于，所述方法还包括：若所述发送计算节点未配置所述RDMA协议网卡；则通过TCP/IP协议发送待发送数据至所述接收计算节点。4.根据权利要求3所述的基于RDMA的分布式流计算节点数据同步方法，其特征在于，发送所述数据块至所述接收计算节点，之后还包括：步骤S0：调用反压模块继续读取所述接收计算节点反馈的当前空余容量，根据所述当前空余容量切分剩余数据，发送切分后的剩余数据至所述接收计算节点；重复步骤S0，直到所有待发送数据完成发送。5.根据权利要求4所述的基于RDMA的分布式流计算节点数据同步方法，其特征在于，调用反压模块读取所述接收计算节点中的空余容量，具体包括：在所述反压模块中增加支持RDMA协议的数据读写接口；通过所述数据读写接口中的发送函数调用RDMA协议参数，发送所述发送函数至所述接收计算节点的RDMA缓存中；以供所述接收计算节点从所述RDMA缓存中...

【专利技术属性】
技术研发人员：胡德鹏，王萌，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：