任务调度的方法及装置、分布式任务执行系统制造方法及图纸

本发明专利技术提供了任务调度的方法及装置、分布式任务执行系统，该方法，包括：当接收到请求节点发来的任务请求时，执行：确定每个任务的当前任务规模；确定执行每个所述任务的节点的当前第一数量；根据每个所述任务的当前任务规模和每个所述任务对应的所述当前第一数量，确定每个所述任务的当前权重；按照每个所述任务的当前权重，为所述请求节点分配目标任务。本发明专利技术提供了任务调度的方法及装置、分布式任务执行系统，能够提高工作效率。

【技术实现步骤摘要】
任务调度的方法及装置、分布式任务执行系统
本专利技术涉及计算机
，特别涉及任务调度的方法及装置、分布式任务执行系统。
技术介绍
随着互联网信息的急速膨胀，以及大数据行业的飞速发展，各项和互联网数据有关的服务逐渐增多，互联网数据在很多方面都得到了广泛应用。这些互联网数据，一般通过分布式爬虫来获取。在利用分布式爬虫获取互联网数据时，一般按照以下方式进行任务调度：为每个任务分配同样数量的节点，由各个节点完成数据采集。举例来说，在整个系统中有10个节点，有两个任务需要处理，任务1需要下载1个链接中的数据，任务2需要下载100个链接中的数据，按照现有的任务调度的方案，为任务1分配5个节点，为任务2分配5个节点。通过上述描述可见，现有的任务调度的方案中，需要下载的链接数量较多的大任务与需要下载的链接数量较少的小任务被分配的节点的数量是相同，造成小任务能够较快的完成，而大任务却需要消耗大量时间，整个采集过程的工作效率较低。
技术实现思路
本专利技术实施例提供了任务调度的方法及装置、分布式任务执行系统，能够提高工作效率。第一方面，本专利技术实施例提供了一种任务调度的方法，包括：当接收到请求节点发来本文档来自技高网...

【技术保护点】
一种任务调度的方法，其特征在于，包括：当接收到请求节点发来的任务请求时，执行：确定每个任务的当前任务规模；确定执行每个所述任务的节点的当前第一数量；根据每个所述任务的当前任务规模和每个所述任务对应的所述当前第一数量，确定每个所述任务的当前权重；按照每个所述任务的当前权重，为所述请求节点分配目标任务。

【技术特征摘要】
1.一种任务调度的方法，其特征在于，包括：当接收到请求节点发来的任务请求时，执行：确定每个任务的当前任务规模；确定执行每个所述任务的节点的当前第一数量；根据每个所述任务的当前任务规模和每个所述任务对应的所述当前第一数量，确定每个所述任务的当前权重；按照每个所述任务的当前权重，为所述请求节点分配目标任务。2.根据权利要求1所述的方法，其特征在于，所述确定每个任务的当前任务规模，包括：确定每个所述任务中当前等待下载的链接的当前第二数量；所述根据每个所述任务的当前任务规模和每个所述任务对应的所述当前第一数量，确定每个所述任务的当前权重，包括：根据所述当前第一数量和所述当前第二数量，利用公式一确定每个所述任务的当前权重，其中，所述公式一为：其中，Wi为第i个任务的当前权重，Ni为第i个任务的当前第一数量，Li为第i个任务的当前第二数量，a大于1。3.根据权利要求1所述的方法，其特征在于，进一步包括：预先设置已发送队列和任务队列；在所述按照每个所述任务的当前权重，为所述请求节点分配目标任务之后，进一步包括：将所述目标任务中当前等待下载的至少一个链接保存到所述任务队列中；进一步包括：当所述请求节点从所述任务队列中获取至少一个待处理链接时，将所述至少一个待处理链接转移到所述已发送队列中；进一步包括：当接收到所述请求节点发来的处理完成信号时，将所述处理完成信号对应的所述待处理链接从所述已发送队列中删除；进一步包括：实时判断所述已发送队列中是否存在存储时间超过第一预设时长的超时待处理链接，如果存在，则将所述超时待处理链接转移到所述任务队列中；和/或，所述按照每个所述任务的当前权重，为所述请求节点分配目标任务，包括：按照每个所述任务的当前权重，确定所述目标任务；将所述目标任务的标识发送给所述请求节点，以使所述请求节点根据所述目标任务的标识获取所述目标任务；和/或，所述按照每个所述任务的当前权重，为所述请求节点分配目标任务，包括：将所述当前权重最大的任务作为所述目标任务，将所述目标任务分配给所述请求节点。4.根据权利要求2所述的方法，其特征在于，进一步包括：接收各个节点周期性发来的心跳信号；进一步包括：针对每个节点，周期性判断距离当前节点的最近一次的心跳信号的时间长度是否超过第二预设时长，如果是，则确定所述当前节点没有执行任何任务。5.根据权利要求4所述的方法，其特征在于，所述任务请求中包括：所述请求节点的前一次被分配的任务的信息；进一步包括：根据所述任务请求中的所述前一次被分配的任务的信息，确定所述前一次被分配的任务；在所述针对每个节点，周期性判断距离当前节点的最近一次的心跳信号的时间长度是否超过第二预设时长之后，进一步包括：当距离所述当前节点的最近一次的心跳信号的时间长度没有超过所述第二预设时长时，确定所述当前节点为活动的节点；所述按照每个所述任务的当前权重，为所述请求节点分配目标任务，包括：根据公式二，确定权重阈值，其中，所述公式二为：其中，T为所述权重阈值，n为所述活动的节点的数量；确定各个所述任务的当前权重中的最大值与所述前一次被分配的任务的当前权重的差值；判断所述差值是否大于等于所述权重阈值，如果是，则将所述当前权重最大的任务作为所述目标任务，将所述目标任务分配给所述请求节点，否则，保持所述请求节点执行所述前一次被分配的任务。6.一种任...

【专利技术属性】
技术研发人员：杨照通，
申请(专利权)人：山东浪潮云服务信息科技有限公司，
类型：发明
国别省市：山东,37