【技术实现步骤摘要】
一种基于严格优先级的协同流量调度数值模拟方法与系统
[0001]本专利技术属于计算机网络流量调度
，尤其涉及一种基于严格优先级的协同流量调度数值模拟方法与系统。
技术介绍
[0002]在网络设备不断进化和发展的同时，数据中心或者分布式计算环境的软硬件和数据传输规模也在持续发展和扩张。为了解决具备严格依赖关系的协同流量的传输问题，减少协同流量的总体传输时间和平均传输时间，研究人员开始使用深度强化学习等人工智能模型进行流量调度策略的学习和验证。
[0003]搭建针对分布式计算场景的训练和测试环境成本高昂，且训练时间受样本大小的影响较为严重，对于少则百万次的模型训练来讲，是一个不得不解决的现实问题，尤其是人工智能模型调参的范围较大且多根据经验对最优参数的网格式搜索，则更加要解决训练的环境问题。
[0004]因此，亟需提出一种基于严格优先级的协同流量调度数值模拟方法，对传输过程进行数学建模，并允许用户自定义配置策略，以提升了实验效率，降低了实验成本。
技术实现思路
[0005]本专利技术的目的是...
【技术保护点】
【技术特征摘要】
1.一种基于严格优先级的协同流量调度数值模拟方法，其特征在于，所述方法具体包括以下步骤：采集分布式计算任务的实时执行状态数据、计算阶段用时估测值；基于严格优先级模拟并存储软件可定义交换机出端口中的流量传输队列；配置无前置依赖任务列表，模拟分布式计算环境中各个计算节点当前在执行的计算任务处理过程，存储待执行的计算任务信息和/或正在执行的计算任务信息；基于分布式计算任务的实时执行状态数据和计算阶段用时估测值，查找符合无前置计算约束条件的计算任务和传输任务；将无前置计算约束条件的计算任务和传输任务分别添加到无前置依赖任务列表和基于严格优先级的传输任务队列中，并获取整体作业用时。2.根据权利要求1所述的基于严格优先级的协同流量调度数值模拟方法，其特征在于，采集分布式计算任务的实时执行状态数据、计算阶段用时估测值包括：分布式计算任务的实时执行状态数据为分布式计算任务各计算阶段及传输阶段依赖关系的邻接矩阵；将各阶段计算任务的用时估测值记为计算任务用时估测向量。3.根据权利要求1所述的基于严格优先级的协同流量调度数值模拟方法，其特征在于，基于严格优先级模拟并存储软件可定义交换机出端口中的流量传输队列包括：根据实体交换设备支持优先级队列的个数设置优先级队列数量，其中每个优先级队列存储了对应优先级的传输任务信息，对于相同优先级的不同协同流量传输任务，采用先进先出的原则在优先级队列内排队；其中，传输任务信息通过任务名称和剩余传输流量值组成的二元组表示。4.根据权利要求1或3所述的基于严格优先级的协同流量调度数值模拟方法，其特征在于，基于严格优先级模拟并存储软件可定义交换机出端口中的流量传输队列还包括：每次挑选优先级最高的队列中的第一个任务作为当前的传输任务，并将当前传输任务对应的剩余传输流量值与网络带宽之比作为当前传输任务的传输耗时。5.根据权利要求2所述的基于严格优先级的协同流量调度数值模拟方法，其特征在于，查找符合无前置计算约束条件的计算任务包括：根据分布式计算作业结构各计算阶段及传输阶段依赖关系的邻接矩阵判断计算任务是否满足无前置计算约束条件；其中，邻接矩阵的行向量row
i
表示第i个计算任务的出度数据，所述邻接矩阵的列向量col
i
表示第i个计算任务的入度数据；对于第i个计算任务，满足行向量中的元素和不为零且列向量中的元素和为零，则第i个计算任务满足无前置计算约束条件。6.根据权利要求1所述的基于严格优先级的协同流量调度数值模拟方法，其特征在于，查找符合无前置计算约束条件的传输任务，并将无前置计算约束条件的传输任务添加到基于严格优先级的传输任务队列中包括：当传输任务队列为空时，从无前置依赖任务列表中取最小计算任务时间对应的计算任务，并将所述计算任务对应的出度传输任务添加至基于严格优先级的传输任务队列中；当传输任务队列不为空时，从基于严格优先级的传输任务队列取出的当前协同流量传输任务，并计算当前协同流量传输任务的剩余传输时间；比较...
【专利技术属性】
技术研发人员：梁元，肖戈扬，邹涛，衣晓玉，张汝云，冯前，蒋忞昊，何源浩，
申请(专利权)人：之江实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。