基于强化学习和流编码驱动的低时延分组传输方法及系统技术方案

本发明专利技术涉及无线通信技术领域，具体涉及基于强化学习和流编码驱动的低时延分组传输方法及系统。本发明专利技术公开了基于强化学习和流编码驱动的低时延分组传输方法并在QUIC中实现。该方法利用SC取代了QUIC传统的基于重传的损失恢复机制，在不需要分组重传的情况下提供低延迟的损失恢复，有效改善了NTNs中的高端到端有序递送时延问题。本发明专利技术提出了基于强化学习RL的拥塞控制算法LBE。该算法通过跟踪识别ACK来识别系统状态并采用SARSA算法进行学习。通过利用ε

【技术实现步骤摘要】
基于强化学习和流编码驱动的低时延分组传输方法及系统


[0001]本专利技术涉及无线通信
，具体涉及基于强化学习和流编码驱动的低时延分组传输方法及系统。

技术介绍

[0002]非地面网络(Non
‑
Terrestrial Networks,NTNs)在即将到来的6G网络中将发挥重要作用。在NTNs中，长距离有损链路将无处不在。作为影响端到端应用体验的关键因素之一，这些场景中的传输层协议设计至关重要。
[0003]目前广泛使用的传输控制协议(Transmission Control Protocol,TCP)在NTNs中面临两个问题，即低链路利用率问题和高端到端有序递送时延问题。前者是由TCP的拥塞控制算法(Congestion Control Algorithm,CCA)造成的。经典的CCA使用两个阶段，即慢启动(Slow start,SS)和避免拥塞避免(Congestion Avoidance,CA)来调整拥塞窗口(Congestion window,CWND)，这是决定链路利用率的主要因素。在NTNs中，由于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于强化学习和流编码驱动的低时延分组传输方法，其特征在于，包含以下步骤：S1：QUIC连接初始化，QUIC连接初始化过程中发送端和接收端将进行流编码参数的初始化；发送端的流编码参数包括所传输文件大小、待发送的源分组数、伽罗华域大小、传输分组大小、发送修复分组的频率以及随机编码系数种子；当所请求文件大小和待发送的源分组数均为0，表示分组是陆续到达并没有确定的大小；接收端的流编码参数包括伽罗华域大小、传输分组大小、发送修复分组的频率以及随机编码系数种子；S2：应用程序将需要发送的数据以字节的形式传递到QUIC发送端中；S3：在QUIC的发送端，其会检查拥塞窗口和流控窗口是否还有剩余，当拥塞窗口或流控窗口没有剩余，则会重复执行S3；S4：当拥塞控制和流量控制都允许传输数据时，QUIC发送端生成分组并进行加密；经过加密后的QUIC分组被输入到SCEncoder模块中；考虑一个发送缓冲区，按到达时间对从QUIC发送到UDP的分组进行排序后的数据包被称为源分组，并表示为s0,s1,
…
每个s具有相同的大小，在附加必要的报头SCheader后，适应底层网络的最大传输单元MTU；S5：QUIC发送端基于当前流编码的目标码率选择是从缓冲区中发送一个源分组或者是发送一个修复分组；S6：分组通过一个NTNs网络达到接收端；接收端将接收到的分组解码并提交到QUIC；SCDecoder会去除接收到分组的SCheader并递送到QUIC；解码器初始状态为有序状态，若其有序状态被打断则意味着发生分组丢失，解码器随即进入失序状态并被激活；在有序传输中断后，解码器被激活并通过一个被称为解码窗口DW的弹性窗口来缓冲接收到的源分组和修复分组；在接收到足够数量的修复分组后，解码器恢复DW中所有丢失的源分组，然后将恢复的源分组转发给QUIC并恢复到有序状态；无论解码器是否激活，后续到达的分组仍遵循默认设置被递送到QUIC中，使得QUIC及时向发送端反馈ACK分组；S7：发送端对所述ACK分组进行处理，估计往返时间RTT，已确认分组数和链路丢包率；LBE拥塞控制算法根据所述已确认分组数和往返时间RTT更新链路拥塞窗口；SC编码器根据所述链路丢包率自适应调整流编码的目标码率；S8：重复S4至S7直到数据传输结束。2.根据权利要求1所述的基于强化学习和流编码驱动的低时延分组传输方法，其特征在于，采用基于SC的无重传的损失分组恢复机制；当出现随机分组丢失时，接收端不会等待重传而是激活解码器；解码器会尝试使用后续接收到的修复分组来恢复丢失的分组；SC的编码解码过程如下：SCEncoder模块提供SC的编码功能，生成的QUIC分组被输入到SCEncoder模块中并根据其类型做不同的操作；所述QUIC分组类型包括当分组丢失时需要重传的分组和不需要重传的分组；仅保护当分组丢失时需要重传的QUIC分组；对于要保护的分组SCEncoder将其作为一段抽象的字节流并在其开头添加SCheader，之后传递到UDP发送队列；所述被保护的分组经过SCEncoder后被称为源分组；对于不被保护的分组SCEncoder直接将其传递到UDP发送队列；发送端基于当流编码的目标码率选择是否发送修复分组；所述修复分组为已经发送的源分组的线性组合；令i
seq
表示最近一次发送的源分组的ID，初始化i
seq
＝
‑
1，每当发送一个源分组后，i
seq
加1；修复分组表示为：
其中c
k
为ID为k的修复分组；g
k,i
为从有限域中随机提取的流编码系数，k＝0，1，2，3
···
为修复分组的编号；w
s
对应目前发送队列中最早的源分组的编号；初始化w
s
＝0，根据接收端的反馈，将从队列中移除已确认接收到的原始分组，此时w
s
将会进行更新；令w
e
＝i
seq
，[w
s
，w
e
]称为当前修复分组的编码窗；SCDecoder模块提供流编码传输的解码功能；接收端将所有接收到的分组输入SCDecoder中；SCDecoder会去除接收到的源分组的SCheader并递送到QUIC会话中，如若发生分组丢失则激活解码器并利用接收到的修复分组进行数据恢复；令i
ord
表示最新的有序传输分组编号，初始化i
ord
＝
‑
1，解码器初始状态为有序状态；如果解码器下一个接收的源分组不是s
iord+1
则意味着有序传输被中断，解码器进入失序状态；此时解码器将缓冲收到的分组并尝试解码；缓冲分组是无序源分组，其编号大于i
ord
+1或修复分组，其中w
e
＞i
ord
+1；令又令为接收到的最大源分组；称为解码器当前的DW；随着缓冲的分组增多，窗口可能会增长即增长；解码器使用高斯消元法进行解码，即动态构建线性方程组AS＝B并执行在线前向消去，其中A和B的行分别是缓冲的分组的编码系数和编码信息符号；当解码成功时，解码窗中的解码出的源分组全部被传输到上层应用，解码器恢复到有序状态，有序传输以重新开始；当解码器激活时，后续达到的分组仍会和之前一样被转发到上层；当QUIC会话接收到分组后向发送端反馈ACK分组。3.根据权利要求2所述的基于强化学习和流编码驱动的低时延分组传输方法，其特征在于，采用基于链路丢包率的自适应FEC算法动态调整FEC码率；采用基于当前损失率的自适应算法来调整FEC码率，该算法在当前损失率之外添加额外的修复分组来确保解码时间不接近无穷大；FEC码率定义为修复分组的数量与所有发送的分组数量的比值，公式为：其中，S
i
和R
i
...

【专利技术属性】
技术研发人员：李业，于见昊，邱守乾，石瑞涵，高锐锋，
申请(专利权)人：南通大学，
类型：发明
国别省市：