硬件保障的数据可靠传输系统、控制方法、设备及终端技术方案

本发明专利技术属于硬件可靠传输技术领域，公开了一种硬件保障的数据可靠传输系统、控制方法、设备及终端，所述硬件保障的数据可靠传输系统包括存储在片内的元数据和缓存数据的片外存储器，并通过bitmap建立映射关系；所述元数据在发送端与接收端独立维护，用于记录数据的读写类型，读标记数据从远端传输到本地，写标记数据从本地传输到远端；所述发送端与接收端个持有大容量片外储存器，用于数据备份和乱序重组。本发明专利技术新的丢帧检测机制，可以降低检测丢帧带来的时间延迟；合并多个数据包的响应，提高网络带宽利用率；基于元数据结构提出选择重传机制，在丢包时不会引起严重的性能下降；同时支持多个连接的大包乱序重组和数千个左右的连接数。的连接数。的连接数。

Reliable data transmission system, control method, equipment and terminal guaranteed by hardware

【技术实现步骤摘要】
硬件保障的数据可靠传输系统、控制方法、设备及终端


[0001]本专利技术属于硬件可靠传输
，尤其涉及一种硬件保障的数据可靠传输系统、控制方法、设备及终端。

技术介绍

[0002]目前，数据中心网络瓶颈愈发突出，具有网络卸载引擎的智能网卡得到规模部署。卸载引擎网卡需要通过硬件来保证数据的可靠传输，为了保存数据的传输状态，需要消耗较多的片内存储器资源，因此现有的卸载引擎网卡通常采用Go
‑
Bank
‑
N的重传机制，即在检测到丢帧后，将丢帧的的数据包后所有的数据进行重传输。由于网络中的路径节点和网络转发单元的延迟，数据流有可能乱序到达，采用Go
‑
Bank
‑
N的重传机制不能支持数据乱序重组，并且存在在丢包时效率低下问题，在1％丢包率时会导致卸载引擎吞吐量接近于0。
[0003]现有的硬件可靠传输方案大都仅采用数据包序列号机制和确认应答机制。硬件维护有一个数据发送窗口，窗口大小决定了发送节点可以连续发送的未确认的数据包数量，在窗口最早的数据包得到确认后，窗口可以滑动以回收旧的序列号和分配新的可用数据包序列号。现有的应答机制采用显式应答机制，即每个数据包都必须得到一个显式的确认响应。此外，硬件资源中会记录首个未确认的包序列号，在检测到该数据包丢失后，通过PCIe链路重新访问主存储器，将后续的所有数据包进行重传输。
[0004]同时，现有的硬件保障可靠传输机制仅通过定时器和确认应答机制的配合来检测数据包丢失，在网络中不够灵活，并且由于定时器存在的时延，在丢包时会进一步增大网络的时延，而基于硬件的可靠传输一般面向时间敏感网络。应用的请求数据量可能较大，可以跨多个数据包，现有的硬件保障可靠传输机制需要为每一个数据包进行确认应答，在一定程度上浪费了网络的带宽利用率。
[0005]现有的硬件保障可靠传输机制受片内存储器资源限制，在检测到丢帧时采用Go
‑
Bank
‑
N的重传机制，这在丢帧时会引起严重的性能下降。现有的硬件保障可靠传输机制不支持网络数据包的乱序重组。收到网络路径和网络节点转发单元的影响，网络数据有可能乱序到达，但是应用是循序使用数据的，因此必须在硬件上进行乱序包重组。现有的一些机制是对乱序的数据包进行重传输，这会导致性能和延迟的恶化。现有的硬件保障可靠传输机制没有针对发送数据进行备份，在收到重传输请求时，需要通过PCIe链路重新读取主存储器，这会占用一定的PCIe带宽，同时导致时间延迟变大。现有的硬件保障可靠传输机制受限制与硬件资源，仅能支持一千个左右的连接。
[0006]通过上述分析，现有技术存在的问题及缺陷为：
[0007](1)由于网络中的路径节点和网络转发单元的延迟，数据流有可能乱序到达，采用Go
‑
Bank
‑
N的重传机制不能支持数据乱序重组，并且存在在丢包时效率低下问题，在1％丢包率时会导致卸载引擎吞吐量接近于0。
[0008](2)现有的硬件保障可靠传输机制仅通过定时器和确认应答机制的配合来检测数据包丢失，在网络中不够灵活，并且由于定时器存在的时延，在丢包时会进一步增大网络的
时延，而基于硬件的可靠传输一般面向时间敏感网络。
[0009](3)现有的硬件保障可靠传输机制应用的请求数据量可能较大，需要为每一个数据包进行确认应答，浪费了网络的带宽利用率；同时不支持网络数据包的乱序重组；或是对乱序的数据包进行重传输，这会导致性能和延迟的恶化。
[0010](4)现有的硬件保障可靠传输机制没有针对发送数据进行备份，在收到重传输请求时需要通过PCIe链路重新读取主存储器，会占用PCIe带宽，导致时间延迟变大；同时受限制与硬件资源，仅能支持一千个左右的连接。

技术实现思路

[0011]针对现有技术存在的问题，本专利技术提供了一种硬件保障的数据可靠传输系统、控制方法、设备及终端。
[0012]本专利技术是这样实现的，一种硬件保障的数据可靠传输系统，所述硬件保障的数据可靠传输系统包括存储在片内的元数据和缓存数据的片外存储器，并通过bitmap建立映射关系。
[0013]其中，所述元数据在发送端与接收端独立维护，用于记录数据的读写类型，读标记数据从远端传输到本地，写标记数据从本地传输到远端；
[0014]所述发送端与接收端个持有一片大容量片外储存器，用于数据备份和乱序重组；当对应序列号标记为读时，数据源在远端，对应存储器的缓存单元用于数据包缓存和包重组；当对应序列号标记为写时，数据源在本地，对应存储器的缓存单元用于数据包备份。
[0015]进一步，所述元数据用于维护滑动窗口中每个序列号对应的元数据包状态，包括确认响应标识、读写标识、首帧标识和末帧标识四个状态；每组元数据记录一个连接状态，通过维护多组元数据，进而实现在一台主机上与不同远程主机建立多个连接；所述元数据的索引通过数据包序列号(PSN)和滑动窗口大小求余数获得，即PSN Mod(滑动窗口的值)，其中PSN是数据的包序列号，滑动窗口大小是一个可配置的值，Mod是求余数操作。
[0016]进一步，所述储存器地址空间被分为多个组，每个组对应元数据的一个组；存储器上的每个组被分为多个缓存单元，每个缓存单元大小等于网络的PMTU，每个组内持有的缓存单元数目等于连接的滑动窗口数目；
[0017]所述片外储存器的每个缓存单元与所述元数据中的每个数据包一一对应，缓存单元在片外存储器中的索引根据数据包序列号和滑动窗口求余获得。
[0018]进一步，所述元数据检测到丢帧的方法包括：数据帧在脉冲定时器到来时仍未得到确认标识；在确认标识上产生“缝隙”，表示后发送的数据已经到达，之前的数据可能已经丢失。
[0019]进一步，所述元数据在收到请求时，为远端返回确认；对于跨越多个数据包的写请求，通过分组码和序列号的组合确认合并；其中数据包中可以携带四种标记首帧标记、中间帧标记、尾帧标记和单帧标记，将四种标记命名为分组码，元数据中只记录首帧标识和末帧标识。
[0020]进一步，所述元数据在检测到丢帧时，通过NAK请求远端重传输数据包，NAK消息携带丢失数据帧的序列号；远端的片外存储器通过序列号索引到数据的备份地址，并发起重传输。
[0021]本专利技术的另一目的在于提供一种应用所述的硬件保障的数据可靠传输系统的硬件保障的数据可靠传输系统的控制方法，所述硬件保障的数据可靠传输系统的控制方法包括以下步骤：
[0022]步骤一，通过bitmap建立存储在片内的元数据和缓存数据的片外存储器的映射关系；
[0023]步骤二，利用元数据在发送端与接收端独立维护，并记录数据的读写类型，读标记数据从远端传输到本地，写标记数据从本地传输到远端；
[0024]步骤三，利用发送端与接收端个持有的大容量片外储存器进行数据备份和乱序重组；
[0025]步骤四，当对应序列号标记为读时，数据源在远端，对应存储器的缓存单元用于数据包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种硬件保障的数据可靠传输系统，其特征在于，所述硬件保障的数据可靠传输系统包括存储在片内的元数据和缓存数据的片外存储器，并通过bitmap建立映射关系；其中，所述元数据在发送端与接收端独立维护，用于记录数据的读写类型，读标记数据从远端传输到本地，写标记数据从本地传输到远端；所述发送端与接收端个持有一片大容量片外储存器，用于数据备份和乱序重组；当对应序列号标记为读时，数据源在远端，对应存储器的缓存单元用于数据包缓存和包重组；当对应序列号标记为写时，数据源在本地，对应存储器的缓存单元用于数据包备份。2.如权利要求1所述的硬件保障的数据可靠传输系统，其特征在于，所述元数据用于维护滑动窗口中每个序列号对应的元数据包状态，包括确认响应标识、读写标识、首帧标识和末帧标识四个状态；每组元数据记录一个连接状态，通过维护多组元数据，进而实现在一台主机上与不同远程主机建立多个连接；所述元数据的索引通过数据包序列号和滑动窗口大小求余操作获得，即PSN Mod(滑动窗口大小值)，其中PSN是数据包序列号，滑动窗口大小是一个可配置的值，Mod是求余数操作。3.如权利要求1所述的硬件保障的数据可靠传输系统，其特征在于，所述储存器地址空间被分为多个组，每个组对应元数据的一个组；存储器上的每个组被分为多个缓存单元，每个缓存单元大小等于网络的PMTU，每个组内持有的缓存单元数目等于连接的滑动窗口数目；所述片外储存器的每个缓存单元与所述元数据中的每个数据包一一对应，缓存单元在片外存储器中的索引通过数据包序列号和滑动窗口大小求余操作获得。4.如权利要求1所述的硬件保障的数据可靠传输系统，其特征在于，所述元数据检测到丢帧的方法包括：数据帧在脉冲定时器到来时仍未得到确认标识；在确认标识上产生“缝隙”，表示后发送的数据已经到达，之前的数据可能已经丢失。5.如权利要求1所述的硬件保障的数据可靠传输系统，其特征在于，所述元数据在收到请求时，为远端返回确认；对于跨越多个数据包的写请求，通过分组码和序列号的组合确认合并；其中数据包中可以携带四种标记首帧标记、中间帧标记、尾帧标记和单帧标记，将四种标记命名为分组码，元数据中只记录首帧标识和末帧标识。6.如权利要求1所述的硬件保障的数据可靠传输系统，其特征在于，所述元数据在检测到丢帧时，通过NAK请求远端重传输数据包...

【专利技术属性】
技术研发人员：潘伟涛，殷建飞，邱智亮，张陇疆，韩冰，王钱江，王浩，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：