基于大数据平台的任务可视化发布方法及系统技术方案

本申请实施例提供一种基于大数据平台的任务可视化发布方法及系统，对任务发布阶段内多个待发布任务进行任务可视化分配时的初始化任务资源进行源数据调取，生成源数据知识图谱，依据各个待发布任务信息和各个可视化分配挖掘信息分别提取的相应待发布任务的目标发布知识向量序列，确定各个待发布任务之间的任务联动置信度以及各个待发布任务分别对应的可联动指标，依据生成的各个任务联动置信度和各个可联动指标，从各个待发布任务中确定联动发布任务，通过空域评估模态上各个待发布任务之间的任务联动置信度和时域评估模态上各个待发布任务分别对应的可联动指标来确定联动发布任务，可提高联动发布任务的分析准确性，进而提高后续任务发布的效率。进而提高后续任务发布的效率。进而提高后续任务发布的效率。

【技术实现步骤摘要】
基于大数据平台的任务可视化发布方法及系统


[0001]本申请涉及大数据
，具体而言，涉及一种基于大数据平台的任务可视化发布方法及系统。

技术介绍

[0002]大数据平台指的是使用了Hadoop、Spark、Storm、Flink、Blink等这些分布式、实时或者离线计算框架，并在上面运行各种计算任务（如大数据挖掘任务发布）的平台。建设大数据平台的最终目的是服务于业务需求，解决现有业务问题或者创造新的机会。当前，对于大数据平台而言可能会定期规划多个待发布任务，然而相关技术中针对每个待发布任务都是独立进行任务可视化分配后进行发布的，缺乏针对每个待发布任务的联动属性分析，导致任务发布效率较低。

技术实现思路

[0003]有鉴于此，本申请的目的在于提供一种基于大数据平台的任务可视化发布方法及系统，通过空域评估模态上各个待发布任务之间的任务联动置信度和时域评估模态上各个待发布任务分别对应的可联动指标，来确定联动发布任务，可提高联动发布任务的分析准确性，进而提高后续任务发布的效率。
[0004]依据本申请的第一方面，提供一种基于大数据平台的任务可视化发布方法，应用于基于大数据平台的任务可视化发布系统，所述方法包括：对任务发布阶段内多个待发布任务进行任务可视化分配时的初始化任务资源进行源数据调取，生成源数据知识图谱，所述源数据知识图谱包含所述多个待发布任务分别对应的知识节点数据；对生成的各个知识节点数据进行可视化分配挖掘，生成所述各个知识节点数据分别相关的待发布任务信息和可视化分配挖掘信息；依据生成的各个待发布任务信息和各个可视化分配挖掘信息，分别提取相应待发布任务的目标发布知识向量序列；依据生成的各个目标发布知识向量序列，确定各个待发布任务之间的任务联动置信度以及所述各个待发布任务分别对应的可联动指标；依据生成的各个任务联动置信度和各个可联动指标，从所述各个待发布任务中确定联动发布任务，其中，确定的所述联动发布任务用于进行任务联动发布。
[0005]在第一方面的一种可能的实施方式中，所述可视化分配挖掘信息至少包含任务关联事件数据和分配配置数据，则所述依据生成的各个待发布任务信息和各个可视化分配挖掘信息，分别提取相应待发布任务的目标发布知识向量序列，包括：针对各个待发布任务中的每个待发布任务，依据该待发布任务的任务信息和分配配置数据，获取该待发布任务的任务画像向量；依据全局任务场景事件数据和所述任务关联事件数据，生成该待发布任务的先验
知识向量，所述全局任务场景事件数据是将该待发布任务的任务关联事件数据和分配配置数据进行融合生成的；基于设定的注意力机制序列，依据所述全局任务场景事件数据和所述任务关联事件数据，生成该待发布任务的注意力向量；依据所述任务画像向量、所述先验知识向量和所述注意力向量，生成该待发布任务的目标发布知识向量序列。
[0006]在第一方面的一种可能的实施方式中，所述依据该待发布任务的任务信息和分配配置数据，获取该待发布任务的任务画像向量，包括：从该待发布任务的任务信息中，提取任务标签、任务所属分区、任务所属业务节点和任务优先级；从该待发布任务的分配配置数据中，提取目标配置指向位置，所述目标配置指向位置为预置时空域内，该待发布任务的任务触发次数大于目标次数的指向位置；将所述任务标签、所述任务所属分区、所述任务所属业务节点、所述任务优先级和所述目标配置指向位置中的至少一个向量序列，输出为所述任务画像向量。
[0007]在第一方面的一种可能的实施方式中，所述依据所述全局任务场景事件数据和所述任务关联事件数据，生成该待发布任务的先验知识向量，包括：依据所述任务关联事件数据，分析所述任务发布阶段中各个关联任务发布阶段内，该待发布任务正向触发的频率、负向触发的频率、正权重分配的频率、负权重分配的频率；依据所述全局任务场景事件数据，分析所述任务发布阶段中各个关联任务发布阶段内，该待发布任务请求的大数据服务量、发布的时间跨度、发布所调度的模块数量、任务发布的频率、任务发布所采用的节点数量；将所述正向触发的频率、所述负向触发的频率、所述正权重分配的频率、所述负权重分配的频率、所述待发布任务请求的大数据服务量、所述发布的时间跨度、所述发布所调度的模块数量、所述任务发布的频率、所述任务发布所采用的节点数量中的至少一个，输出为所述先验知识向量。
[0008]在第一方面的一种可能的实施方式中，所述基于设定的注意力机制序列，依据所述全局任务场景事件数据和所述任务关联事件数据，生成该待发布任务的注意力向量，包括：针对所述注意力机制序列中的一个注意力机制，依据所述一个注意力机制对应的全局任务场景事件数据或任务关联事件数据，分析所述任务发布阶段中各个关联任务发布阶段内，所述一个注意力机制对应的注意力活动，并依据分析结果，生成该待发布任务的注意力向量。
[0009]在第一方面的一种可能的实施方式中，所述依据生成的各个目标发布知识向量序列，确定所述各个待发布任务之间的任务联动置信度，包括：依据所述各个目标发布知识向量序列包含的各个标的发布知识向量，确定一种或多种发布知识标签；针对所述一种或多种发布知识标签，按照一种发布知识标签，对所述各个待发布任务进行聚类，并依据聚类数据，确定偏离聚类的差异化发布任务；
依据生成的各个聚类数据，分别确定生成的各个差异化发布任务各自在各个聚类数据中的显性参数值，生成所述各个差异化发布任务各自对应的显性参数值序列；依据生成的各个显性参数值序列，分别确定所述各个聚类数据中，所述各个差异化发布任务各自相对于非差异化发布任务的任务联动置信度，并将所述各个差异化发布任务各自相对于非差异化发布任务的任务联动置信度，输出为所述各个待发布任务之间的任务联动置信度。
[0010]在第一方面的一种可能的实施方式中，所述依据生成的各个目标发布知识向量序列，确定各个待发布任务分别对应的可联动指标，包括：将所述各个目标发布知识向量序列和所述各个待发布任务的历史目标发布知识向量序列，加载到满足模型收敛条件的任务联动决策模型中；依据各个历史目标发布知识向量序列，采用所述任务联动决策模型，决策所述各个待发布任务的任务联动决策信息；依据各个决策的任务联动决策信息和相应待发布任务的实际任务联动信息，确定相应待发布任务的可联动指标，所述实际任务联动信息是依据相应待发布任务对应的目标发布知识向量序列中包含的标的发布知识向量确定的。
[0011]在第一方面的一种可能的实施方式中，所述依据生成的各个任务联动置信度和各个可联动指标，从所述各个待发布任务中确定联动发布任务，包括以下操作中的任意一种：将所述各个任务联动置信度中大于第一目标置信度的任务联动置信度对应的待发布任务，输出为联动发布任务，所述第一目标置信度是依据所述各个任务联动置信度确定的；将所述各个可联动指标中大于第二目标置信度的可联动指标对应的待发布任务，输出为联动发布任务，所述第二目标置信度是依据所述各个可联动指标确定的；将所述各个任务联动置信度中大于所述第一目标置信度，且所述各个可联动指标中大于所述第二目标置信度的待发布任务，输出为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据平台的任务可视化发布方法，其特征在于，所述方法包括：对任务发布阶段内多个待发布任务进行任务可视化分配时的初始化任务资源进行源数据调取，生成源数据知识图谱，所述源数据知识图谱包含所述多个待发布任务分别对应的知识节点数据；对生成的各个知识节点数据进行可视化分配挖掘，生成所述各个知识节点数据分别相关的待发布任务信息和可视化分配挖掘信息；依据生成的各个待发布任务信息和各个可视化分配挖掘信息，分别提取相应待发布任务的目标发布知识向量序列；依据生成的各个目标发布知识向量序列，确定各个待发布任务之间的任务联动置信度以及所述各个待发布任务分别对应的可联动指标；依据生成的各个任务联动置信度和各个可联动指标，从所述各个待发布任务中确定联动发布任务，其中，确定的所述联动发布任务用于进行任务联动发布。2.根据权利要求1所述的基于大数据平台的任务可视化发布方法，其特征在于，所述可视化分配挖掘信息至少包含任务关联事件数据和分配配置数据，则所述依据生成的各个待发布任务信息和各个可视化分配挖掘信息，分别提取相应待发布任务的目标发布知识向量序列，包括：针对各个待发布任务中的每个待发布任务，依据该待发布任务的任务信息和分配配置数据，获取该待发布任务的任务画像向量；依据全局任务场景事件数据和所述任务关联事件数据，生成该待发布任务的先验知识向量，所述全局任务场景事件数据是将该待发布任务的任务关联事件数据和分配配置数据进行融合生成的；基于设定的注意力机制序列，依据所述全局任务场景事件数据和所述任务关联事件数据，生成该待发布任务的注意力向量；依据所述任务画像向量、所述先验知识向量和所述注意力向量，生成该待发布任务的目标发布知识向量序列。3.根据权利要求2所述的基于大数据平台的任务可视化发布方法，其特征在于，所述依据该待发布任务的任务信息和分配配置数据，获取该待发布任务的任务画像向量，包括：从该待发布任务的任务信息中，提取任务标签、任务所属分区、任务所属业务节点和任务优先级；从该待发布任务的分配配置数据中，提取目标配置指向位置，所述目标配置指向位置为预置时空域内，该待发布任务的任务触发次数大于目标次数的指向位置；将所述任务标签、所述任务所属分区、所述任务所属业务节点、所述任务优先级和所述目标配置指向位置中的至少一个向量序列，输出为所述任务画像向量。4.根据权利要求2所述的基于大数据平台的任务可视化发布方法，其特征在于，所述依据所述全局任务场景事件数据和所述任务关联事件数据，生成该待发布任务的先验知识向量，包括：依据所述任务关联事件数据，分析所述任务发布阶段中各个关联任务发布阶段内，该待发布任务正向触发的频率、负向触发的频率、正权重分配的频率、负权重分配的频率；依据所述全局任务场景事件数据，分析所述任务发布阶段中各个关联任务发布阶段
内，该待发布任务请求的大数据服务量、发布的时间跨度、发布所调度的模块数量、任务发布的频率、任务发布所采用的节点数量；将所述正向触发的频率、所述负向触发的频率、所述正权重分配的频率、所述负权重分配的频率、所述待发布任务请求的大数据服务量、所述发布的时间跨度、所述发布所调度的模块数量、所述任务发布的频率、所述任务发布所采用的节点数量中的至少一个，输出为所述先验知识向量。5.根据权利要求2所述的基于大数据平台的任务可视化发布方法，其特征在于，所述基于设定的...

【专利技术属性】
技术研发人员：柳宁波，周怡，宋少鸿，
申请(专利权)人：苏州盈天地资讯科技有限公司，
类型：发明
国别省市：