基于智能网卡设备实现的数据流传输加速方法及其系统技术方案

本申请公开了一种基于智能网卡设备实现的数据流传输加速方法及其系统，其通过包含一维卷积层的时序编码器分别对预定时间段内的多个预定时间点的待传输数据量以及用户空间接收到的数据量进行编码以得到第一特征向量和第二特征向量，通过作为过滤器的卷积神经网络对获取预定时间段内的多个预定时间点的智能网卡的计算资源的多个第一剩余量和服务器内核资源的多个第二剩余量进行编码以得到计算资源特征矩阵，然后将第一特征向量与第二特征向量之间的差分特征向量的高维特征分布映射到计算资源特征矩阵的高维特征空间以得到分类特征向量，并通过分类器得到用于表示分配给智能网卡的数据传输比例的概率值，用以实现提高数据流传输速度。提高数据流传输速度。提高数据流传输速度。

【技术实现步骤摘要】
基于智能网卡设备实现的数据流传输加速方法及其系统


[0001]本申请涉及网络数据传输
，且更为具体地，涉及一种基于智能网卡设备实现的数据流传输加速方法及其系统。

技术介绍

[0002]现有的大部分网络数据传输都是在服务器端完成的，这严重占用了服务器端的系统资源且传输性能较差。例如，在Linux架构的系统中，linux内核的网络驱动会在中断内收集数据包并保存在内核空间的内存中，网络驱动会将数据包推给内核的协议栈，数据包在内核的协议栈内一层层的封装解析处理，最后处理过的数据再从内核空间拷贝到用户空间(User Space)，找到所需要应用的软件之中。
[0003]在上述数据传输方案中，中断处理机制中会出现同一数据拆分成上下文的情况，需要进行2次的上下文转换标注，对系统系性能有影响。并且，最后处理好的数据包需要从内核空间内存拷贝到用户空间内存，这个过程会产生延时和系统开销，量级过大会导致系统性能降低。

技术实现思路

[0004]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于智能网卡设备实现的数据流传输加速系统、方法和电子设备，其通过包含一维卷积层的时序编码器分别对预定时间段内的多个预定时间点的待传输数据量以及用户空间接收到的数据量进行编码以得到第一特征向量和第二特征向量，通过作为过滤器的卷积神经网络对获取预定时间段内的多个预定时间点的智能网卡的计算资源的多个第一剩余量和服务器内核资源的多个第二剩余量进行编码以得到计算资源特征矩阵，然后将第一特征向量与第二特征向量之间的差分特征向量的高维特征分布映射到计算资源特征矩阵的高维特征空间以得到分类特征向量，并通过分类器得到用于表示分配给智能网卡的数据传输比例的概率值，用以实现提高数据流传输速度。
[0005]根据本申请的一个方面，提供了一种基于智能网卡设备实现的数据流传输加速方法，其包括：
[0006]获取预定时间段内的多个预定时间点的待传输数据量以及所述预定时间段内的多个预定时间点的用户空间接收到的数据量；
[0007]获取所述预定时间段内的多个预定时间点的智能网卡的计算资源的多个第一剩余量和服务器内核资源的多个第二剩余量；
[0008]将所述预定时间段内的多个预定时间点的待传输数据量以及所述预定时间段内的多个预定时间点的用户空间接收到的数据量分别通过包含一维卷积层的时序编码器以得到第一特征向量和第二特征向量；
[0009]计算所述第一特征向量与所述第二特征向量之间的差分特征向量；
[0010]将所述预定时间段内的多个预定时间点的智能网卡的计算资源的多个第一剩余
量和服务器内核资源的多个第二剩余量分别排列为第一输入向量和第二输入向量，并计算所述第一输入向量与所述第二输入向量的转置向量之间的乘积以得到计算资源关联矩阵；
[0011]将所述计算资源关联矩阵通过作为过滤器的卷积神经网络以得到计算资源特征矩阵；
[0012]分别对所述差分特征向量和所述计算资源特征矩阵进行特征分布校正以得到校正后差分特征向量和校正后计算资源特征矩阵；
[0013]将所述校正后计算资源特征矩阵与所述校正后差分特征向量进行相乘以将所述校正后差分特征向量的高维特征分布映射到所述校正后计算资源特征矩阵的高维特征空间以得到分类特征向量；以及
[0014]将所述特征向量通过分类器以得到概率值，所述概率值用于表示分配给智能网卡的数据传输比例。
[0015]在上述基于智能网卡设备实现的数据流传输加速方法中，将所述预定时间段内的多个预定时间点的待传输数据量以及所述预定时间段内的多个预定时间点的用户空间接收到的数据量分别通过包含一维卷积层的时序编码器以得到第一特征向量和第二特征向量，包括：
[0016]将所述预定时间段内的多个预定时间点的待传输数据量以及所述预定时间段内的多个预定时间点的用户空间接收到的数据量分别按照时间维度排列为传输数据向量和接收数据向量；
[0017]使用所述时序编码器的全连接层对所述传输数据向量和所述接收数据向量进行全连接编码以提取所述传输数据向量中各个位置的特征值的高维隐含特征和所述接收数据向量中各个位置的特征值的高维隐含特征；以及
[0018]使用所述时序编码器的一维卷积层分别对所述传输数据向量和所述接收数据向量进行一维卷积编码以提取所述传输数据向量中各个位置的特征值间的关联的高维隐含关联特征和所述接收数据向量中各个位置的特征值间的关联的高维隐含关联特征。
[0019]在上述基于智能网卡设备实现的数据流传输加速方法中，计算所述第一特征向量与所述第二特征向量之间的差分特征向量，包括：
[0020]计算所述所述第一特征向量与所述第二特征向量之间的按位置差分以得到所述差分特征向量。
[0021]在上述基于智能网卡设备实现的数据流传输加速方法中，将所述计算资源关联矩阵通过作为过滤器的卷积神经网络以得到计算资源特征矩阵，包括：
[0022]使用所述作为过滤器的卷积神经网络的各层在层的正向传递中分别对输入数据进行卷积处理、沿通道维度的池化处理和非线性激活处理以由所述作为过滤器的卷积神经网络的最后一层输出所述计算资源特征矩阵，其中，所述作为过滤器的卷积神经网络的第一层的输入为所述计算资源关联矩阵。
[0023]在上述基于智能网卡设备实现的数据流传输加速方法中，分别对所述差分特征向量和所述计算资源特征矩阵进行特征分布校正以得到校正后差分特征向量和校正后计算资源特征矩阵，包括：
[0024]基于以所述差分特征向量中各个位置的特征值为幂的自然指数函数值与所述差分特征向量中该位置的特征值的倒数之间的差值，对所述差分特征向量中各个位置的特征
值进行基于规则的结构化理解以得到所述校正后差分特征向量；以及
[0025]基于以所述计算资源特征矩阵中各个位置的特征值为幂的自然指数函数值与所述计算资源特征矩阵中该位置的特征值的倒数之间的差值，对所述计算资源特征矩阵中各个位置的特征值进行基于规则的结构化理解以得到所述校正后计算资源特征矩阵。
[0026]在上述基于智能网卡设备实现的数据流传输加速方法中，基于以所述差分特征向量中各个位置的特征值为幂的自然指数函数值与所述差分特征向量中该位置的特征值的倒数之间的差值，对所述差分特征向量中各个位置的特征值进行基于规则的结构化理解以得到所述校正后差分特征向量，包括：以如下公式来计算对所述差分特征向量中各个位置的特征值进行基于规则的结构化理解以得到所述校正后的差分特征向量，所述公式为：
[0027][0028]其中v
i
是所述差分特征向量的每个位置的特征值，v
′
i
为所述校正后的差分特征向量的每个位置的特征值。
[0029]在上述基于智能网卡设备实现的数据流传输加速方法中，基于以所述计算资源特征矩阵中各个位置的特征值为幂的自然指数函数值与所述计算资源特征矩阵中该位置的特征值的倒数之间的差值，对所述计算资源特征矩阵中各个位置的特征值本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于智能网卡设备实现的数据流传输加速方法，其特征在于，包括：获取预定时间段内的多个预定时间点的待传输数据量以及所述预定时间段内的多个预定时间点的用户空间接收到的数据量；获取所述预定时间段内的多个预定时间点的智能网卡的计算资源的多个第一剩余量和服务器内核资源的多个第二剩余量；将所述预定时间段内的多个预定时间点的待传输数据量以及所述预定时间段内的多个预定时间点的用户空间接收到的数据量分别通过包含一维卷积层的时序编码器以得到第一特征向量和第二特征向量；计算所述第一特征向量与所述第二特征向量之间的差分特征向量；将所述预定时间段内的多个预定时间点的智能网卡的计算资源的多个第一剩余量和服务器内核资源的多个第二剩余量分别排列为第一输入向量和第二输入向量，并计算所述第一输入向量与所述第二输入向量的转置向量之间的乘积以得到计算资源关联矩阵；将所述计算资源关联矩阵通过作为过滤器的卷积神经网络以得到计算资源特征矩阵；分别对所述差分特征向量和所述计算资源特征矩阵进行特征分布校正以得到校正后差分特征向量和校正后计算资源特征矩阵；将所述校正后计算资源特征矩阵与所述校正后差分特征向量进行相乘以将所述校正后差分特征向量的高维特征分布映射到所述校正后计算资源特征矩阵的高维特征空间以得到分类特征向量；以及将所述特征向量通过分类器以得到概率值，所述概率值用于表示分配给智能网卡的数据传输比例。2.根据权利要求1所述的基于智能网卡设备实现的数据流传输加速方法，其中，将所述预定时间段内的多个预定时间点的待传输数据量以及所述预定时间段内的多个预定时间点的用户空间接收到的数据量分别通过包含一维卷积层的时序编码器以得到第一特征向量和第二特征向量，包括：将所述预定时间段内的多个预定时间点的待传输数据量以及所述预定时间段内的多个预定时间点的用户空间接收到的数据量分别按照时间维度排列为传输数据向量和接收数据向量；使用所述时序编码器的全连接层对所述传输数据向量和所述接收数据向量进行全连接编码以提取所述传输数据向量中各个位置的特征值的高维隐含特征和所述接收数据向量中各个位置的特征值的高维隐含特征；以及使用所述时序编码器的一维卷积层分别对所述传输数据向量和所述接收数据向量进行一维卷积编码以提取所述传输数据向量中各个位置的特征值间的关联的高维隐含关联特征和所述接收数据向量中各个位置的特征值间的关联的高维隐含关联特征。3.根据权利要求2所述的基于智能网卡设备实现的数据流传输加速方法，其中，计算所述第一特征向量与所述第二特征向量之间的差分特征向量，包括：计算所述所述第一特征向量与所述第二特征向量之间的按位置差分以得到所述差分特征向量。4.根据权利要求3所述的基于智能网卡设备实现的数据流传输加速方法，其中，将所述计算资源关联矩阵通过作为过滤器的卷积神经网络以得到计算资源特征矩阵，包括：
使用所述作为过滤器的卷积神经网络的各层在层的正向传递中分别对输入数据进行卷积处理、沿通道维度的池化处理和非线性激活处理以由所述作为过滤器的卷积神经网络的最后一层输出所述计算资源特征矩阵，其中，所述作为过滤器的卷积神经网络的第一层的输入为所述计算资源关联矩阵。5.根据权利要求4所述的基于智能网卡设备实现的数据流传输加速方法，其中，分别对所述差分特征向量和所述计算资源特征矩阵进行特征分布校正以得到校正后差分特征向量和校正后计算资源特征矩阵，包括：基于以所述差分特征向量中各个位置的特征值为幂的自然指数函数值与所述差分特征向量中该位置的特征值的倒数之间的差值，对所述差分特征向量中各个位置的特征值进行基于规则的结构化理解以得到所述校正后差分特征向量；以及基于以所述计算资源特征矩阵中各个位置的特征值为幂的自然指数函数值与所述计算资源特征矩阵中该位置的特征值的倒数之间的差值，对所述计算资源特征矩阵中各个位置的特征值进行基于规则的结构化理解以得到所述校正后计算资源特征矩阵。6.根据权利要求5所述的基于智能网卡设备实现的数据流传输加速方法，其中，基于以所述差分特征向量中各个位置的特征值为幂的自然指数函数值与所述差分特征向量中该位置的特征值的倒数之间的差值，对所述差分特征向量中各个位置的特征值进行基于规则的结构化理解以得到所述校正后...

【专利技术属性】
技术研发人员：孙宏涛，王捷，
申请(专利权)人：赛诺信致软件技术北京有限公司，
类型：发明
国别省市：