基于UDP协议的网内聚合纠删码恢复系统及方法技术方案

一种基于UDP协议的网内聚合纠删码恢复系统，包括：可编程交换系统(P4EC)、设置于目标节点的辅助进程模块和设置于发送方节点的发送方进程模块，本发明专利技术使用可编程交换系统替代由存储节点来进行的数据聚合处理以连接所有存储节点，从而可以在传输过程中聚合所有块数据。通过可编程交换机有效地将N个网络流聚合为一个网络流，实现纠删码的恢复过程，减少网络传输瓶颈的影响并减轻目标节点CPU的负载。此外，本发明专利技术使用基于UDP的自定义协议，与基于TCP的解决方案相比，增加有效吞吐量。并且可以适应当前大数据中心的各种数据分布模型。适应当前大数据中心的各种数据分布模型。适应当前大数据中心的各种数据分布模型。

【技术实现步骤摘要】
基于UDP协议的网内聚合纠删码恢复系统及方法


[0001]本专利技术涉及的是一种分布式文件处理领域的技术，具体是一种基于UDP协议的网内聚合纠删码恢复系统及方法。

技术介绍

[0002]现代数据中心使用纠删码对存储的数据进行编码，以提供更低的存储开销的方式来保证数据可靠性。现阶段所使用的最主流的纠删码是Reed
‑
Solomon码(RS码)。大部分的纠删码会将数据分割成块独立的数据块。它的优点是在数据发生丢失的情况下，可以通过将多个剩余数据块传输到单个目标节点来聚合后的数据。但是，数据的恢复速度很大程度上受限于接收机的网络带宽，并且在恢复过程需要接收节点执行大量的计算和需要内存缓冲来存储计算的中间数据。特别是对于一些CPU性能及核数量有限的存储节点来说，以上的缺点尤为明显。于是我们可以将纠删码计算移动到交换机里执行，其可以不在受到网络传输瓶颈的影响，并能减轻存储节点CPU的负载。近年来，提出网内聚合(In
‑
Network Aggregation)数据恢复方案，但已有的方案在性能和网络适应性方面存在不足，主要本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于UDP协议的网内聚合纠删码恢复系统，其特征在于，包括：可编程交换系统、设置于目标节点的辅助进程模块和设置于发送方节点的发送方进程模块，其中：辅助进程模块将本地的分布式文件系统的恢复请求以恢复请求的形式转发至若干发送节点并等待来自可编程交换系统的聚合后的数据；发送方进程模块根据辅助进程的恢复请求，从本地操作系统中读取数据块并发送至可编程交换系统；可编程交换系统对来自发送方节点的取数据块中的数据字节进行聚合后，以数据包形式根据基于UDP的自定义协议发送至目标节点；所述的可编程交换系统，包括：控制模块、解析器、路由表模块、校验和模块、元数据管理模块和字节处理器，其中：控制模块通过字节处理器进行聚合处理，当参与计算的数据块满足数量时将聚合后的数据直接转发至目标节点，否则将得到的临时结果先存储于寄存器；解析器根据网络协议信息解析协议头上的每个字段检测自定义协议的数据包；路由表模块根据网络地址和交换机端口之间的映射，将数据包转发到正确的目的地；校验和模块根据数据包更新UDP校验和字段；元数据管理模块根据数据包索引和块号字段，通过位图来记录每个索引已经接收到的数据块的计数，判断当前数据包是否为给定索引的最后一个数据包；字节处理器根据索引和块号信息，对单个数据字节执行聚合处理，并将临时结果存储在对应的寄存器中；所述的自定义协议包括：基于UDP协议头的额外设置的3字节协议头以及64字节的数据。2.根据权利要求1所述的基于UDP协议的网内聚合纠删码恢复系统，其特征是，所述的辅助进程模块通过监听模式检测当发生丢包时，将向所有的发送方进程模块发送数据包重传请求；所述的数据包重传请求包括：待发送的数据块的名称和数据包丢失的索引的UDP包。3.根据权利要求1所述的基于UDP协议的网内聚合纠删码恢复系统，其特征是，所述的临时结果是指：数量不满足N个的数据块进行系数乘法和求和得到的结果，其中N为RS参数，当少于N个块的数据输出至可编程交换系统时，计算结果被暂时存储在交换机上直到接收到其他块的数据；所述的聚合处理对接收到的每个数据字节的结果存储在交换机内部寄存器中，该计算具体包括：系数乘法计算和求和计算，其中：系数乘法计算将每个接收到的字节与发送方相关的系数相乘，其结果的获取方法是通过查询已经存在于交换机内存中的2珐6
×
2珐6字节乘法表来得到，因此，该运算只需要一次内存查找；求和计算将乘法的结果与存储在交换机寄存器中的值相加，当求和结果是临时结果则存储回寄存器，否则转发到目标节点。4.根据权利要求1所述的基于UDP协议的网内聚合纠删码恢复系统，其特征是，所述的监听模式是指：在恢复过程启动后，辅助进程模块通过向所有发...

【专利技术属性】
技术研发人员：沈耀，劭阳，王克，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：