自适应地数据通道批量调节方法及系统技术方案

本发明专利技术提供了一种自适应地数据通道批量调节方法及系统，包括：参数设置步骤：设置通道测量方法和超参数；测量步骤：测量通道指标和状态；计算步骤：计算通道批量大小；调整步骤：调整通道批量大小。本发明专利技术实现了一种通用机制，自适应地调节通道的批量大小，在确保通道吞吐率尽量高的同时，获得尽量小的数据时延。获得尽量小的数据时延。获得尽量小的数据时延。

【技术实现步骤摘要】
自适应地数据通道批量调节方法及系统


[0001]本专利技术涉及数据传输
，具体地，涉及一种自适应地数据通道批量调节方法及系统。

技术介绍

[0002]本专利技术讨论的数据通道(Data Channel，以下简称通道)包括进程间的数据传输机制和进程内的数据传输机制。
[0003]1.进程间的数据传输机制，譬如使用TCP(或者UDP)建立的socket数据传输通道，又譬如使用IPC(Inter
‑
process communicat ion)建立的数据传输通道，又譬如内核态和用户态传输网络数据的Ring Buffer等。这些机制可以在同一台主机上(或者容器、虚拟机)的进程间不经过网络传输数据，可以是不同主机(或者容器、虚拟机)的进程间经过网络传输数据。
[0004]2.进程内的数据交换机制，譬如Golang的Channel机制，Rust标准库的同步MPSC(mult iple producer s ingle consumer)通道，Rust的tokio的异步MPSC通道，其他语言或系统的类似实现等。
...

【技术保护点】

【技术特征摘要】
1.一种自适应地数据通道批量调节方法，其特征在于，包括：参数设置步骤：设置通道测量方法和超参数；测量步骤：测量通道指标和状态；计算步骤：计算通道批量大小；调整步骤：调整通道批量大小。2.根据权利要求1所述的自适应地数据通道批量调节方法，其特征在于，所述参数设置步骤包括：设置处理间隔、设置数据延时测量方法、设置通道状态判断阈值和设置通道批量调节步进算法。3.根据权利要求2所述的自适应地数据通道批量调节方法，其特征在于，所述超参数包括：优化模式：分为全局优化和分段优化，所述全局优化仅仅定义一种步进算法，所述分段优化为不同的通道状态定义不同步进算法；步进算法：根据吞吐率特征、使用特征和时延特征，连同步进增量和历史数据，计算出一个调节批量大小的变化值；步进增量：用于产生变化值。4.根据权利要求1所述的自适应地数据通道批量调节方法，其特征在于，所述测量步骤包括：测量通道吞吐率、测量通道容量、测量通道使用量、测量通道利用率、判断通道状态、测量数据延时和获取通道批量大小。5.根据权利要求1所述的自适应地数据通道批量调节方法，其特征在于，所述计算步骤包括：输入参数：输入参数包括吞吐率特征、使用特征和时延特征、步进增量、通道状态和通道批量大小；优化模式判断：根据设置的优化模式选取对应的步进算法；通道状态判断：对于分段优化模式，进一步选取对应的步进算法；执行步进算法：输出为调节批量大小的变化值；更新历史数据：更新和缓存历史数据；计算调优值：最优的批量调优值实际等于当前通道的批量大小+变化值。6.一种自适应...

【专利技术属性】
技术研发人员：蔡晓华，杨光辉，
申请(专利权)人：上海天旦网络科技发展有限公司，
类型：发明
国别省市：