中间处理约束下的异构网络资源配置方法技术

本发明专利技术提出一种中间处理约束下的异构网络资源配置方法，包括：分别获取每个数据流的截止时间和资源需求量，并根据每个数据流的截止时间和资源需求量为每个数据流设置对应的评价分数，根据评价分数对数据流进行排序，以为每个中间节点生成对应的偏好列表；获取异构网络的网络拓扑信息，计算数据流经过中间节点的传输路径长度；将每个中间节点的服务名额初始化为1，并在数据流与中间节点之间进行双向匹配，以得到每个中间节点的准服务名单；根据准服务名单得到中间节点和数据流的映射关系，并结合中间节点对应的偏好列表对数据流进行顺序调度。本发明专利技术实现了数据密集型应用在中间处理约束下的低延迟及高性能，达到资源最优配置和最佳网络性能。

【技术实现步骤摘要】

本专利技术涉及网络资源管理
，特别涉及一种中间处理约束下的异构网络资 源配置方法。
技术介绍
异构网络中的实时大数据应用通常基于大量感知数据的分析和处理，根据系统反 馈做出相应决策。传统的不加选择地将初始感知数据上传到服务器的方式，不仅导致低效， 而且极大地浪费网络资源，甚至造成网络拥塞和业务失效等后果。因此，一种可行的方式， 则是充分利用网络节点的处理能力，将初始数据在节点上进行处理后，再将结果传送到服 务器。然而，异构网络中的节点之间的能力差异、分级处理模式、以及负载均衡等因素，催生 出一种新的需求，即越来越多的特殊工作流要求在其源到目的之间的路径上的某个中间节 点上进行处理（例如尺寸裁剪、格式转换、去噪处理等），即中间处理约束。中间处理节点 (简称中间节点）通常是专用的、高性能的、具有充足资源（例如CPU、GPU、内存等）的机 器。 另一方面，一个软实时的应用包括多个数据流。由于流之间具有相互依赖性一一 某些流必须在其它流完成之后才能进行处理，因此，流期望的完成时间也各有差异，即每个 流的截止时间不同。同时，对于软实时应用，其包含的流即使在截止时间之后才完成，这个 流依然是有效的。在这个背景下，优化软实时应用的延迟则意味着最小化所有流的总延迟。 而传统的解决方案要么只关注路由优化，寻找最短的传输路径，以减少数据的传 输延迟；要么只关注流的调度次序，以减少流在处理节点上的排队时间。由于流的完成时间 由路由延迟、排队时间和处理时间三部分组成，任何单一角度的优化，都无法实现系统资源 的全局最优配置。因此，全局优化要求同时考虑路由与调度两个角度。路由角度的问题是 如何将中间节点分配给流，而调度角度的问题则是哪些流应该被优先地处理。
技术实现思路
本专利技术旨在至少在一定程度上解决上述相关技术中的技术问题之一。 为此，本专利技术的目的在于提出一种，该 方法从调度和路由两个角度进行联合优化，以最小化数据密集型应用的延迟，实现了数据 密集型应用在中间处理约束下的低延迟及高性能，达到资源最优配置和最佳网络性能。 为了实现上述目的，本专利技术的实施例提出了一种中间处理约束下的异构网络资源 配置方法，包括以下步骤：S1 :分别获取每个数据流的截止时间和资源需求量，并分别根据 每个数据流的截止时间和资源需求量为每个数据流设置对应的评价分数，并根据所述评价 分数对所述数据流进行排序，以为每个中间节点生成对应的偏好列表；S2 :获取所述异构 网络的网络拓扑信息，并根据所述网络拓扑信息计算所述数据流经过所述中间节点的传输 路径长度；S3 :将每个所述中间节点的服务名额初始化为1，并在所述数据流与中间节点之 间进行双向匹配，以得到每个所述中间节点的准服务名单；S4 :根据每个所述中间节点的 准服务名单得到所述中间节点和数据流的映射关系，根据所述映射关系和所述中间节点对 应的偏好列表对所述数据流进行顺序调度。 另外，根据本专利技术上述实施例的还可以 具有如下附加的技术特征： 在一些示例中，所述S2进一步包括：根据所述网络拓扑信息计算所有数据流的源 节点到中间节点之间的最短路径长度，以及所述中间节点到所有流的目的节点之间的最短 路径长度；根据所述所有数据流的源节点到中间节点之间的最短路径长度和所述中间节点 到所有流的目的节点之间的最短路径长度得到所述数据流经过所述中间节点的传输路径 长度。 在一些示例中，其中，所述中间节点的传输路径长度为所述所有数据流的源节点 到中间节点之间的最短路径长度和所述中间节点到所有流的目的节点之间的最短路径长 度之和。 在一些示例中，所述步骤S3进一步包括：S31 :对所述中间节点进行排序，以为每 个数据流生成对应的偏好列表；S32 :每个数据流向其对应的偏好列表上的第一个中间节 点提出申请；S33 :每个所述中间节点判断向其提出申请的数据流的数量是否超过该中间 节点的可服务名额，如果是，则根据该中间节点对应的偏好列表剔除可服务名额之外的数 据流，并将可服务名额之内的数据流加入其准服务名单中，并将所述中间节点的可服务名 额加1。 在一些示例中，在所述步骤S33之后，还包括：S34 :如果所有数据流均集中在一个 中间节点的准服务名单内，则执行所述步骤S4,否则，执行所述步骤S31。 在一些示例中，在所述步骤S33中，还包括：如果每个所述中间节点判断向其提出 申请的数据流的数量未超过该中间节点的可服务名额，则直接将所述数据流加入所述中间 节点的准服务名单。 在一些示例中，所述步骤S31，进一步包括：S311 :根据每个所述中间节点对应的 偏好列表和每个中间节点当前的准处理名单计算每个数据流在每个中间节点上期望的完 工时间；S312 :根据所述期望的完工时间和所述数据流经过所述中间节点的传输路径长度 为每个所述中间节点设置一个评价分数，并根据所述评价分数对所述中间节点进行排序， 以为每个所述数据流生成对应的偏好列表。 在一些示例中，所述步骤S311进一步包括：S3111 :判断所述中间节点的准处理名 单上是否存在数据流；S3112 :如果所述中间节点的准处理名单上不存在所述数据流，则将 所述数据流添加至所述中间节点的准处理名单；S3113 :根据所述中间节点对应的偏好列 表得到所述数据流在所述中间节点上的调度次序，并计算所述数据流的处理时间和期望的 排队时间，并根据所述数据流的处理时间和期望的排队时间得到所述数据流期望的完工时 间。 在一些示例中，其中，所述数据流期望的完工时间为所述数据流的处理时间和期 望的排队时间之和。 根据本专利技术实施例的，基于经典的匹配 理论，采用逐步提升名额的循环迭代机制，根据流和中间节点之间的相互偏好性，提出了流 和中间节点之间的双向匹配框架，以达到路由与调度的融合，即从调度和路由两个角度进 行联合优化，以最小化数据密集型应用的延迟，实现了数据密集型应用在中间处理约束下 的低延迟及高性能，从而达到资源最优配置和最佳网络性能。另外，本专利技术可以适用于比较 广泛的场景，如智慧城市、智能工厂和云数据中心等，因此适用范围广。 本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变 得明显，或通过本专利技术的实践了解到。【附图说明】 本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变 得明显和容易理解，其中： 图1是本专利技术一个实施例的的流程图； 图2是本专利技术一个实施例的数据流完成时间组成部当前第1页1 2 3 4 本文档来自技高网...

【技术保护点】
一种中间处理约束下的异构网络资源配置方法，其特征在于，包括以下步骤：S1：分别获取每个数据流的截止时间和资源需求量，并分别根据每个数据流的截止时间和资源需求量为每个数据流设置对应的评价分数，并根据所述评价分数对所述数据流进行排序，以为每个中间节点生成对应的偏好列表；S2：获取所述异构网络的网络拓扑信息，并根据所述网络拓扑信息计算所述数据流经过所述中间节点的传输路径长度；S3：将每个所述中间节点的服务名额初始化为1，并在所述数据流与中间节点之间进行双向匹配，以得到每个所述中间节点的准服务名单；S4：根据每个所述中间节点的准服务名单得到所述中间节点和数据流的映射关系，根据所述映射关系和所述中间节点对应的偏好列表对所述数据流进行顺序调度。

【技术特征摘要】

【专利技术属性】
技术研发人员：徐恪，李彤，刘昕，沈蒙，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11