一种任务调度方法和装置制造方法及图纸

本申请提供了一种任务调度方法和装置，该方法包括：接收任务执行节点的任务获取请求，该任务获取请求用于请求采集任务，该采集任务用于采集网络中信息节点的状态变化数据；确定当前时刻待调度的多个采集任务的优先级顺序；依据优先级顺序，从该多个采集任务中确定当前待分配的至少一个目标采集任务；将该至少一个目标采集任务分配给该任务执行节点。该方法和装置可以提高数据采集的有效性。

Task scheduling method and device

This application provides a task scheduling method and device. The method includes: obtaining the request receiving task execution node task, the task request used to request acquisition task, the acquisition task for state change of the data in the network information collection node; determining a plurality of acquisition task in the current moment to be scheduled according to priority order; the order of priority, determining at least one target acquisition task at present to be allocated from the plurality of acquisition tasks; the at least one target acquisition task assigned to the task execution node. The method and device can improve the effectiveness of data acquisition.

【技术实现步骤摘要】

本申请涉及数据采集
，更具体的说是涉及一种任务调度方法和装置。
技术介绍
随着网络技术的发展，用户可以采用微博或者网络发帖的形式在网络上发表信息。在用户发表信息之后，该用户或者其他用户还可以对该消息进行转发、评论等操作，使得信息的网络状态一直处于持续的变化中。在大数据时代，需要监控这些信息的状态变化，以采集这些信息的状态变化所产生的数据。然而硬件以及网络资源有限的前提下，有些信息的状态可能无法被及时采集，这样就可能使得一些有价值的信息的状态无法被及时采集，从而导致数据采集的有效性差，进而可能影响到大数据分析。
技术实现思路
有鉴于此，本申请提供了一种任务调度方法和装置，以提高数据采集的有效性。为实现上述目的，本申请提供如下技术方案：一种任务调度方法，包括：接收任务执行节点的任务获取请求，所述任务获取请求用于请求采集任务，所述采集任务用于采集网络中信息节点的状态变化数据；确定当前待调度的多个采集任务的优先级顺序；依据所述优先级顺序，从所述多个采集任务中确定当前待分配的至少一个目标采集任务；将所述至少一个目标采集任务分配给所述任务执行节点。优选地，在所述确定当前时刻待调度的多个采集任务的优先级顺序之前，还包括：获取所述多个采集任务所对应的信息节点的特征信息，所述特征信息包括所述信息节点的生成时间；针对每个所述采集任务，基于所述采集任务对应的信息节点的生成时刻距离当前时刻的时长，确定所述采集任务的优先级，得到所述多个采集任务的优先级顺序。优选地，所述基于所述采集任务对应的信息节点的生成时刻距离当前时刻的时长，确定所述采集任务的优先级，包括：按照如下公式，确定所述采集任务的优先级u：u＝-u0/m*(t-t0-m)(t0<t<t0+m)；其中，t0为所述采集任务对应的信息节点的生成时刻；u0为预先设置的第一起始优先值；t为当前时刻；m为预先设定的信息节点的最大监控时长。优选地，在所述确定当前时刻待调度的多个采集任务的优先级顺序之前，还包括：获取所述多个采集任务所对应的信息节点的特征信息，所述特征信息包括信息节点所属的话题类型；依据所述信息节点所属的话题类型，确定所述话题类型的优先级变化规则；基于当前时刻以及所述优先级变化规则，确定当前时刻所述采集任务的优先级，得到所述多个采集任务的优先级顺序。优选地，所述基于当前时刻以及所述优先级变化规则，确定当前时刻所述采集任务的优先级，包括：按照如下公式，确定所述采集任务的优先级s：s＝s0/m1*(t+m1-t1)，t1-m1<t<t1；或者，s＝-s0/m2*(t-t1-m2)，t1<t<t1+m2；其中，s0为预先设置的第二起始优先值；t为当前时刻；t1为信息节点中所包含的关键事件的发生时刻；m1和m0分别为所述关键事件的发生时刻之前的第一设定时长以及所述发生时刻之后的第二设定时长。优选地，在所述确定当前时刻待调度的多个采集任务的优先级顺序之前，还包括：获取所述多个采集任务所对应的信息节点的特征信息，所述特征信息包括所述信息节点的生成时间以及信息节点所属的话题类型；依据所述信息节点所属的话题类型，确定所述话题类型的优先级变化规则；基于所述采集任务对应的信息的生成时刻、当前时刻以及所述优先级变化规则，确定当前时刻所述采集任务的优先级，得到所述多个采集任务的优先级顺序。优选地，所述基于所述采集任务对应的信息的生成时刻、当前时刻以及所述优先级变化规则，确定所述采集任务当前的优先级，包括：按照如下公式，确定所述采集任务的优先级y：y＝u*s其中，u＝-u0/m0*(t-t0-m)，t0<t<t0+m；s＝s0/m1*(t+m1-t1)，t1-m1<t<t1；或者，s＝-s0/m2*(t-t1-m2)，t1<t<t1+m2；其中，t0为所述采集任务对应的信息节点的生成时刻；u0为预先设置的第一起始优先值；s0为预先设置的第二起始优先值；t为当前时刻；t1为信息节点中所包含的关键事件的发生时刻；m为预先设定的信息节点的最大监控时长，m1和m0分别为所述关键事件的发生时刻之前的第一设定时长以及所述发生时刻之后的第二设定时长。优选地，在所述得到所述多个采集任务的优先级顺序之后，还包括：存储所述多个采集任务的优先级顺序。优选地，在所述存储所述多个采集任务的优先级顺序之后，还包括：当检测到所述采集任务的优先级更新后，利用更新后的所述采集任务的优先级替换当前时刻之前存储的所述采集任务的优先级。另一方面，本申请还提供了一种任务调度装置，包括：请求接收单元，用于接收任务执行节点的任务获取请求，所述任务获取请求用于请求采集任务，所述采集任务用于采集网络中信息节点的状态变化数据；优先级确定单元，用于确定当前待调度的多个采集任务的优先级顺序；任务确定单元，用于依据所述优先级顺序，从所述多个采集任务中确定当前待分配的至少一个目标采集任务；任务分配单元，用于将所述至少一个目标采集任务分配给所述任务执行节点。优选地，还包括：特征获取单元，用于在所述优先级确定单元确定当前时刻待调度的多个采集任务的优先级顺序之前，获取所述多个采集任务所对应的信息节点的特征信息，所述特征信息包括所述信息节点的生成时间；优先级计算单元，用于针对每个所述采集任务，基于所述采集任务对应的信息节点的生成时刻距离当前时刻的时长，确定所述采集任务的优先级，得到所述多个采集任务的优先级顺序。优选地，还包括：特征获取单元，用于在所述优先级确定单元确定当前时刻待调度的多个采集任务的优先级顺序之前，获取所述多个采集任务所对应的信息节点的特征信息，所述特征信息包括信息节点所属的话题类型；规则确定单元，用于依据所述信息节点所属的话题类型，确定所述话题类型的优先级变化规则；优先级计算单元，用于基于当前时刻以及所述优先级变化规则，确定当前时刻所述采集任务的优先级，得到所述多个采集任务的优先级顺序。优选地，还包括：特征获取单元，用于在所述优先级确定单元确定当前时刻待调度的多个采集任务的优先级顺序之前，获取所述多个采集任务所对应的信息节点的特征信息，所述特征信息包括所述信息节点的生成时间以及信息节点所属的话题类型；规则确定单元，用于依据所述信息节点所属的话题类型，确定所述话题类型的优先级变化规则；优先级计算单元，用于基于所述采集任务对应的信息的生成时刻、当前时刻以及所述优先级变化规则，确定当前时刻所述采集任务的优先级，得到所述多个采集任务的优先级顺序。经由上述的技术方案可知，在本申请实施例中，调度节点接收到任务执行节点的任务调度请求之后，会确定待调取的多个采集任务的优先级顺序，这样，重要的信息节点的状态变化数据对应的采集任务可以设置为优先级顺序靠前的采集任务，这样，在按照优先级顺序，为任务执行节点分配至少一个目标采集任务，从而使得重要的信息节点对应的采集任务被优先分配，进而可以优先采集重要的信息节点的状态变化数据，有利于提高采集到的数据的有效性。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本文档来自技高网...

【技术保护点】
一种任务调度方法，其特征在于，包括：接收任务执行节点的任务获取请求，所述任务获取请求用于请求采集任务，所述采集任务用于采集网络中信息节点的状态变化数据；确定当前待调度的多个采集任务的优先级顺序；依据所述优先级顺序，从所述多个采集任务中确定当前待分配的至少一个目标采集任务；将所述至少一个目标采集任务分配给所述任务执行节点。

【技术特征摘要】
1.一种任务调度方法，其特征在于，包括：接收任务执行节点的任务获取请求，所述任务获取请求用于请求采集任务，所述采集任务用于采集网络中信息节点的状态变化数据；确定当前待调度的多个采集任务的优先级顺序；依据所述优先级顺序，从所述多个采集任务中确定当前待分配的至少一个目标采集任务；将所述至少一个目标采集任务分配给所述任务执行节点。2.根据权利要求1所述的方法，其特征在于，在所述确定当前时刻待调度的多个采集任务的优先级顺序之前，还包括：获取所述多个采集任务所对应的信息节点的特征信息，所述特征信息包括所述信息节点的生成时间；针对每个所述采集任务，基于所述采集任务对应的信息节点的生成时刻距离当前时刻的时长，确定所述采集任务的优先级，得到所述多个采集任务的优先级顺序。3.根据权利要求2所述的方法，其特征在于，所述基于所述采集任务对应的信息节点的生成时刻距离当前时刻的时长，确定所述采集任务的优先级，包括：按照如下公式，确定所述采集任务的优先级u：u＝-u0/m*(t-t0-m)(t0<t<t0+m)；其中，t0为所述采集任务对应的信息节点的生成时刻；u0为预先设置的第一起始优先值；t为当前时刻；m为预先设定的信息节点的最大监控时长。4.根据权利要求1所述的方法，其特征在于，在所述确定当前时刻待调度的多个采集任务的优先级顺序之前，还包括：获取所述多个采集任务所对应的信息节点的特征信息，所述特征信息包括信息节点所属的话题类型；依据所述信息节点所属的话题类型，确定所述话题类型的优先级变化规则；基于当前时刻以及所述优先级变化规则，确定当前时刻所述采集任务的优先级，得到所述多个采集任务的优先级顺序。5.根据权利要求4所述的方法，其特征在于，所述基于当前时刻以及所述优先级变化规则，确定当前时刻所述采集任务的优先级，包括：按照如下公式，确定所述采集任务的优先级s：s＝s0/m1*(t+m1-t1)，t1-m1<t<t1；或者，s＝-s0/m2*(t-t1-m2)，t1<t<t1+m2；其中，s0为预先设置的第二起始优先值；t为当前时刻；t1为信息节点中所包含的关键事件的发生时刻；m1和m0分别为所述关键事件的发生时刻之前的第一设定时长以及所述发生时刻之后的第二设定时长。6.根据权利要求1所述的方法，其特征在于，在所述确定当前时刻待调度的多个采集任务的优先级顺序之前，还包括：获取所述多个采集任务所对应的信息节点的特征信息，所述特征信息包括所述信息节点的生成时间以及信息节点所属的话题类型；依据所述信息节点所属的话题类型，确定所述话题类型的优先级变化规则；基于所述采集任务对应的信息的生成时刻、当前时刻以及所述优先级变化规则，确定当前时刻所述采集任务的优先级，得到所述多个采集任务的优先级顺序。7.根据权利要求6所述的方法，其特征在于，所述基于所述采集任务对应的信息的生成时刻、当前时刻以及所述优先级变化规则，确定所述采集任务当前的优先级，包括：按照如下公式，确定所述采集任务的优先级y：y＝u*s其中，u＝-u0/m0*(t...

【专利技术属性】
技术研发人员：赵剑，蔡龙军，秦刚，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京;11