一种基于SDN的面向分布式机器学习的流量调度方法技术

本发明专利技术公开了一种基于SDN的面向分布式机器学习的流量调度方法。方法为：在分布式机器学习场景下，从时间和空间两个维度进行考虑，从时间方面，若已知数据流的截止时限，使用基于最早截止最短剩余时间优先的优先级算法确定数据流的优先级；若未知时，使用基于最少获得服务优先级算法确定数据流的优先级；从而缩短流平均完成时间；从空间方面，利用改进的果蝇算法，将同源同宿、具有相同优先级的数据流进行聚合，采用改进的果蝇算法计算最佳路由，从而最小化平均负载均衡程度，提升带宽的利用率。本发明专利技术适用于分布式机器学习场景中，在最小化平均完成时间的同时，提升了带宽利用率，实现了负载平衡。实现了负载平衡。实现了负载平衡。

【技术实现步骤摘要】
一种基于SDN的面向分布式机器学习的流量调度方法


[0001]本专利技术涉及人工智能
，特别是一种基于SDN的面向分布式机器学习的流量调度方法。

技术介绍

[0002]近年来，以机器学习为基础的人工智能技术全面爆发，在计算机视觉、语音识别以及无人驾驶等领域取得巨大成功。随着互联网数据量呈现指数级的增长，以及训练模型的日益复杂，使得模型精度得到显著提高，与此同时也大大增加了机器学习模型训练所需的时间和资源，使得依靠单个GPU，无法在短时间范围内将模型训练至收敛。因此，机器学习训练的分布式化实现已成为解决大规模数据场景的重要手段。
[0003]分布式机器学习通过将计算分散到多个计算节点上，以减少每个计算节点的计算量，节省训练时间，这些计算节点之间需要相互通信来同步模型参数。通常计算节点数量的增加意味着计算时间的减少，但与此同时，参数同步所需的通信时间也会增加。因此，解决计算和通信时间的不平衡问题，以降低分布式系统的通信计算时间比成，为一个关键问题。
[0004]软件定义网络(SDN)将数据的转发和控制进行分离，使得每个交换设备本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于SDN的面向分布式机器学习的流量调度方法，其特征在于，包括以下步骤：步骤1、边缘层交换机接收并检测数据流，根据数据流是否具有先验知识，选择不同的优先级算法；步骤2、基于多级反馈队列，建立优先级的离散化框架；步骤3、将流经相同源交换机、目的交换机以及具有相似优先级的数据流进行聚合，得到聚合流F
s,d
＝{F1,F2,...,F
n
}；步骤4、使用改进的果蝇优化调度算法，以平均负载均衡程度为目标，获得聚合流的最优调度路径；步骤5、由SDN控制器根据最优调度路径，下发流量表给SDN交换机，由交换机执行对应的路由策略，实现流量调度。2.根据权利要求1所述的基于SDN的面向分布式机器学习的流量调度方法，其特征在于，步骤1所述的边缘层交换机接收并检测数据流，根据数据流是否具有先验知识，选择不同的优先级算法，具体如下：边缘层交换机接收并检测数据流，根据数据流是否具有先验知识，即已知数据流的截止时限，选择不同的优先级算法：若已知数据流的截止时限，则使用基于最早截止最短剩余时间优先的优先级算法，确定数据流的优先级；若未知数据流的截止时限，则使用基于最少获得服务优先级算法，确定数据流的优先级。3.根据权利要求2所述的基于SDN的面向分布式机器学习的流量调度方法，其特征在于，所述的基于最早截止最短剩余时间优先的优先级算法，公式如下：其中，p(f
n
)表示数据流f
n
的优先级，D(f
n
)、R(f
n
)和d(f
n
)表示数据流的截止时限、松弛时间和带宽需求，其中松弛时间R(f
n
)＝D(f
n
)
‑
period，period表示通过SDN控制器获取到的从数据流发出时刻到当前时刻的时间间隔，d(f
n
)＝v(f
n
)
×
8/(C
×
1000)，其中v(f
n
)表示数据流f
n
的传输速率，C表示链路容量。4.根据权利要求1所述的基于SDN的面向分布式机器学习的流量调度方法，其特征在于，步骤2所述的基于多级反馈队列，建立优先级的离散化框架，具体如下：维护k个优先级队列(Q1,Q2,...,Q
k
)，用四个生命周期事件期间采取的行动来决定数据流的优先级：到达：如果有可用资源时，新数据流启动时进入最高优先级队列Q1；活动：当数据流的优先级超过队列阈值时，数据流将从Q
i
降级到Q
i
‑1；饥饿：如果数据流被抢占时间过长，重置数据流的优先级；完成：数据流完成后将数据流从当前队列中删除。5.根据权利要求1所述的基于SDN的面向分布式机器学习的流量调度方法，其特征在于，步骤3所述的将流经相同源交换机、目的交换机以及具有相似优先级的数据流进行聚合，得到聚合流F
s,d

【专利技术属性】
技术研发人员：黄婵颖，李伟琦，李千目，颜克冬，肖杉，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：