【技术实现步骤摘要】
一种流量拥塞前置的分布式计算流量仿真系统与方法
[0001]本专利技术属于分布式计算流量仿真
，尤其涉及一种流量拥塞前置的分布式计算流量仿真系统与方法。
技术介绍
[0002]随着各种业务场景的数据规模越来越大，采用分布式集群计算技术进行业务数据的计算、分析和存储变得十分常见且普遍，在数据中心网络场景中，各任务内部不同任务阶段产生的流量和不同任务之间产生的流量在超出网络带宽的情况下会形成网络拥塞，此时若超出网络自身的缓存能力则会造成丢包的后果，对于数据包完整敏感度较高的场景来说，则可能会造成计算结果错误或者部分重传延误时间，在网络设备中添加外置缓存组件则成本较高且技术尚未大范围推行，在很大程度上并不能作为成熟的解决方案。
[0003]尤其是网络设备若采取严格优先级模式，上述问题则更加需要解决。
技术实现思路
[0004]本专利技术的目的是针对现有技术不足，提出了一种流量拥塞前置的分布式计算流量仿真系统与方法。
[0005]本专利技术是通过以下技术方案来实现的：本专利技术实施例的第一方面提...
【技术保护点】
【技术特征摘要】
1.一种流量拥塞前置的分布式计算流量仿真系统，其特征在于，所述系统包括：发收包终端组件，用于接收并处理仿真系统参数，得到分布式计算任务的依赖关系矩阵以及计算阶段耗时向量，选择监听端口，并进行初始化；协同流量传输任务线程构建组件，用于在分布式计算任务开始时和任一协同流量传输结束时，基于分布式计算任务的依赖关系矩阵和计算阶段耗时向量构建一计算模拟线程，在计算模拟线程唤醒后获取流量传输策略以创建协同流量传输任务线程；协同流量任务管理器，通过协同流量传输任务线程池完成协同流量任务的管理；环境监听组件，用于监听端口并接收包括协同流量传输完成的确认报文、可编程交换设备中流量高于设定报警阈值时的降速预警报文在内的报文；数据面可编程交换机组件，自定义设置报警阈值，基于报警阈值和任务优先级进行拥塞预警并配置基于任务优先级的网络资源。2.根据权利要求1所述的流量拥塞前置的分布式计算流量仿真系统，其特征在于，发收包终端初始化组件接收的系统参数包括：任务优先级、分布式计算任务对应的主键序号；发收包终端初始化组件对接收的系统参数进行处理的过程包括：根据分布式计算任务对应的主键序号以获取分布式计算任务计算节点之间的依赖关系、协同流量的统计特征，其中协同流量的统计特征包括总流量大小、并行度和报文方差，将依赖关系以及协同流量的流量特征进行标准化处理，得到分布式计算任务的依赖关系矩阵以及需要耗时的计算阶段耗时向量。3.根据权利要求1所述的流量拥塞前置的分布式计算流量仿真系统，其特征在于，发收包终端初始化组件选择监听端口的过程包括：在服务器的可用端口范围内随机选取处于空闲状态的端口，使得每个独立的分布式计算任务进程拥有独立的监听端口；并将选取的端口号作为协同流量报文协议头中的一个字段，及可编程交换机和收包终端反馈报文的目的地址。4.根据权利要求1或2所述的流量拥塞前置的分布式计算流量仿真系统，其特征在于，所述协同流量传输任务线程构建组件具体包括：协同流量传输任务线程构建组件在分布式计算任务开始和某一协同流量F
ij
传输结束时通过分析分布式计算任务的依赖关系矩阵M，得到当前可执行的计算阶段任务编号j，并在计算阶段耗时向量C中获取该计算阶段的计算耗时C
j
；基于依赖关系矩阵M和计算阶段的计算耗时C
j
创建一计算模拟线程用来处理该计算阶段；在计算模拟线程被唤醒后，获取流量传输策略并创建所有计算阶段发出的协同流量的传输任务线程，将创建的协同流量的传输任务线程添加到协同流量任务管理器线程池中。5.根据权利要求1所述的流量拥塞前置的分布式计算流量仿真系统，其特征在于，所述协同流量传输任务线程池中包括若干协同流量的传输线程；其中，每个协同流量的传输线程的信息包括：协同流量编号、起始和/或终止逻辑端点、协同流量大小、剩余任务数值、监听端口信息、任务...
【专利技术属性】
技术研发人员：梁元，衣晓玉，何源浩，肖戈扬，邹涛，张汝云，蒋忞昊，冯前，
申请(专利权)人：之江实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。