本发明专利技术公开了关于网络数据的延迟调度方法，包括以下步骤：步骤A：启动作业管理器开始作业；步骤B：在节点管理器估算当前作业的本地性资源信息；步骤C：RM更新本地性资源列表，找出各作业获取本地性资源所需要的最短时间；步骤D：根据最短时间的比较判断各个作业是否值得等待；步骤E：若步骤D的结果是：值得等待，则继续执行等待策略；若步骤D的结果是：不值得等待，则直接调度非本地任务。
【技术实现步骤摘要】
本专利技术涉及互联网领域，具体而言，涉及。
技术介绍
MapReduce在本文中简写为map，MapReduce是Google提出的一种并行计算模型，其开源版本Hadoop被Yahoo和Facebook等公司使用，广泛应用于web服务、数据挖掘和文本处理领域，研宄表明，在hadoop集群中，超过80%的作业时间小于10分钟，Facebook和Microsoft也存在同样的情况，在国内的，例如淘宝网，80%的作业响应时间小于4分钟，任务执行时间小于20s。因此，短作业环境下的作业调度，对云平台的吞吐率和服务质量非常重要。对于目前普通作业而言，由于输入数据大，传输时间长，为获取更好的本地性而进行短时间等待的策略能提高作业的本地性和响应时间，但对于短作业而言，由于数据量小，任务执行时间短，不合理的等待反而会影响其作业性能，造成系统吞吐率下降。
技术实现思路
本专利技术的主要目的在于提供一种热点视频信息推送方法，以解决现有技术中向用户推送信息不准确的问题。为了实现上述目的，提供了。，包括以下步骤: 步骤A:启动作业管理器开始作业； 步骤B:在节点管理器估算当前作业的本地性资源信息； 步骤C:RM更新本地性资源列表，找出各作业获取本地性资源所需要的最短时间； 步骤D:根据最短时间的比较判断各个作业是否值得等待； 步骤E:若步骤D的结果是:值得等待，则继续执行等待策略；若步骤D的结果是:不值得等待，则直接调度非本地任务。本专利技术的设计思路是:数据的非本地化计算和为了获得更好的本地性而等待过长都会浪费计算资源，当节点请求到达时，该节点若没有该作业的所需数据，而delay算法在等待次数未达到阀值钱，需要一直跳过新的任务请求，直到具有本地性的节点出现才进行任务分配。如果能够提前对系统中该作业的未处理数据和空闲计算资源情况作出预测，判断出在未来某一时间段内是否出现符合该作业要求的本地性资源以进行合理调度，则可以避免集群资源浪费。本专利技术就是采用上述设计思想进行设计，例如:当节点I请求到来时，系统会根据当前作业I的本地性资源列表进行判断，如果未来某一段时间内，作业I有本地性资源到来，则调度作业2的任务给节点1，否则立即调度作业I任务给节点1，避免其等待时间过长。作业管理器包括资源管理器和节点管理器，资源管理器和节点管理器之间采用心跳通?目O节点管理器包括多个节点，每个节点包括多个作业。设任意一个节点i上的作业J正在运行map任务，其已完成的进度为Pm，则剩余进度为1-Pm，设该任务已运行的时间为Tm，则该Map任务剩余时间Tl可以有下式计算得出:Tl= (l-Pm)Tm/Pm0步骤B的具体过程为:节点管理器对任意一个节点i上的作业J正在执行的任务进行监控，作业管理器在通过匪启动任务时，将该作业J在匪上未处理任务集合记为Si，当每次匪向资源管理器发生心跳前，匪都需要统计下个周期记为Th ;map任务记为t，其剩余时间记为Tl ;则下个心跳周期内，节点i能够产生的作业J的本地资源集合为Ri，Ri=Si Π Di {Di e t|t.Tl < Th};匪获得其上运行的作业的本地性资源集合后，通过心跳反馈给RM用以进行本地性资源预测。将对应的本地性资源信息给资源管理器，资源管理器更新其所有的本地性资源集合，各作业从本地性资源按照剩余时间从大到小排序，找出最快结束的容器时间，设为Tmin，设Tb为一个作业所耗费的传输时间，BI为该作业的数据量，Bh为带宽，则Tb=Bl/Bh ；若Tmin小于Tb，则说明延迟值得等待，相反则说明一个作业传输时间内，没有本地性资源到达，应调度非本地性任务。【附图说明】图1为资源管理器与各个节点之间的通讯示意图。图2为延迟调度方法过程图。【具体实施方式】需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将结合实施例来详细说明本专利技术。为了实现上述目的，提供了。，包括以下步骤: 步骤A:启动作业管理器开始作业； 步骤B:在节点管理器估算当前作业的本地性资源信息； 步骤C:RM更新本地性资源列表，找出各作业获取本地性资源所需要的最短时间； 步骤D:根据最短时间的比较判断各个作业是否值得等待； 步骤E:若步骤D的结果是:值得等待，则继续执行等待策略；若步骤D的结果是:不值得等待，则直接调度非本地任务。本专利技术的设计思路是:数据的非本地化计算和为了获得更好的本地性而等待过长都会浪费计算资源，当节点请求到达时，该节点若没有该作业的所需数据，而delay算法在等待次数未达到阀值钱，需要一直跳过新的任务请求，直到具有本地性的节点出现才进行任务分配。如果能够提前对系统中该作业的未处理数据和空闲计算资源情况作出预测，判断出在未来某一时间段内是否出现符合该作业要求的本地性资源以进行合理调度，则可以避免集群资源浪费。本专利技术就是采用上述设计思想进行设计，例如:当节点I请求到来时，系统会根据当前作业I的本地性资源列表进行判断，如果未来某一段时间内，作业I有本地性资源到来，则调度作业2的任务给节点1，否则立即调度作业I任务给节点1，避免其等待时间过长。作业管理器包括资源管理器和节点管理器，资源管理器和节点管理器之间采用心跳通?目O节点管理器包括多个节点，每个节点包括多个作业。设任意一个节点i上的作业J正在运行map任务，其已完成的进度为Pm，则剩余进度为1-Pm，设该任务已运行的时间为Tm，则该Map任务剩余时间Tl可以有下式计算得出:Tl= (l-Pm)Tm/Pm0步骤B的具体过程为:节点管理器对任意一个节点i上的作业J正在执行的任务进行监控，作业管理器在通过匪启动任务时，将该作业J在匪上未处理任务集合记为Si，当每次匪向资源管理器发生心跳前，匪都需要统计下个周期记为Th ;map任务记为t，其剩余时间记为Tl ;则下个心跳周期内，节点i能够产生的作业J的本地资源集合为Ri，Ri=Si Π Di {Di e t|t.Tl < Th};匪获得其上运行的作业的本地性资源集合后，通过心跳反馈给RM用以进行本地性资源预测。将对应的本地性资源信息给资源管理器，资源管理器更新其所有的本地性资源集合，各作业从本地性资源按照剩余时间从大到小排序，找出最快结束的容器时间，设为Tmin，设Tb为一个作业所耗费的传输时间，BI为该作业的数据量，Bh为带宽，则Tb=Bl/Bh ；若Tmin小于Tb，则说明延迟值得等待，相反则说明一个作业传输时间内，没有本地性资源到达，应调度非本地性任务。【主权项】1.，其特征在于:包括以下步骤: 步骤A:启动作业管理器开始作业； 步骤B:在节点管理器估算当前作业的本地性资源信息； 步骤C:RM更新本地性资源列表，找出各作业获取本地性资源所需要的最短时间； 步骤D:根据最短时间的比较判断各个作业是否值得等待； 步骤E:若步骤D的结果是:值得等待，则继续执行等待策略；若步骤D的结果是:不值得等待，则直接调度非本地任务。2.根据权利要求1所述的，其特征在于:作业管理器包括资源管理器和节点管理器，资源管理器和节点管理器之间采用心跳通信。3.根据权利要求2所述的，其特征在于:节点管理器包括多个节点，每个节点包括多个作业。4.根据权利要求3所述的，其特本文档来自技高网...
【技术保护点】
关于网络数据的延迟调度方法，其特征在于：包括以下步骤：步骤A：启动作业管理器开始作业；步骤B：在节点管理器估算当前作业的本地性资源信息；步骤C：RM更新本地性资源列表，找出各作业获取本地性资源所需要的最短时间；步骤D：根据最短时间的比较判断各个作业是否值得等待；步骤E：若步骤D的结果是：值得等待，则继续执行等待策略；若步骤D的结果是：不值得等待，则直接调度非本地任务。
【技术特征摘要】
【专利技术属性】
技术研发人员：严澜，
申请(专利权)人：成都创行信息科技有限公司，
类型：发明
国别省市：四川;51
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。