作业调度和监测制造技术

可以借助于用户界面来呈现数据转换作业的视图。在基于作业之间的数据依赖性选择作业之后，随后可以自动标识相关作业。也可以确定和呈现执行状态，使得能够区分例如成功和失败的作业执行。此外，无法成功执行的作业运行的选择可以触发失败或被预测无法成功执行的相关作业运行的标识。

【技术实现步骤摘要】
【国外来华专利技术】作业调度和监测
技术介绍
处理大量数据或所谓的大数据以收集有价值的见解首先涉及转换数据。通过创建、调度和执行一个或多个作业，数据被转换成可用于由商业智能端点(诸如仪表板)发布或消耗的形式。在该上下文中，作业是包括一个或多个转换操作的针对数据的工作单元。通常，作业由数据开发者、数据架构师、商业智能架构师等手动编码。随后，作业可以被调度和执行。
技术实现思路
以下呈现简化的总结，以便提供对所公开的主题的一些方面的基本理解。这个总结不是一个广泛的概述。其并非意图标识关键/至关重要的要素，也并非意图描绘所要求保护的主题的范围。其唯一目的是以简化的形式呈现一些概念，作为稍后呈现的更详细描述的序言。简言之，主题公开涉及作业调度和监测。作业可以被调度用于执行，并且产生可视化，其允许用户查看和与作业调度和执行交互。根据一方面，响应于作业的选择，可以基于数据依赖性自动确定一个或多个相关作业。随后，可以突出显示所选择的作业以及相关作业。也可以确定和呈现执行状态，例如，使得能够区分成功和失败的作业执行。此外，响应于选择失败的作业运行，可以标识一个或多个相关的失败作业运行或被预测为失败的作业运行。可以随后突出显示所选择的失败的作业运行和相关的失败的作业运行或者被预测为失败的作业运行。为了实现前述和相关目的，本文中结合以下描述和附图描述要求保护的主题的某些说明性方面。这些方面指示可以实践主题的各种方式，所有这些方式都意图在所要求保护的主题的范围内。当结合附图考虑时，从下面的详细描述中，其他的优点和新颖特征可以变得显而易见。附图说明图1是作业系统的框图。图2是代表性用户界面组件的框图。图3是代表性调度组件的框图。图4是代表性调度器组件的框图。图5是代表性监测器组件的框图。图6是用于作业驱动的调度和监测的界面的示例性屏幕截图。图7是区分相关作业的界面的示例性屏幕截图。图8是区分相关作业失败的界面的示例性屏幕截图。图9是产生图表视图并且区分相关作业和数据的界面的示例性屏幕截图。图10是用于数据驱动的调度和监测的界面的示例性屏幕截图。图11是作业系统的框图。图12是调度和监测作业的方法的流程图。图13是区分相关作业的方法的流程图。图14是区分成功和失败的作业执行的方法的流程图。图15是支持对调度链进行故障排除的方法的流程图。图16是区分相关作业和数据集的流程图。图17是作业的数据驱动处理的方法的流程图。图18是示出用于主题公开的各方面的合适的操作环境的示意性框图。具体实施方式下面的细节总体上涉及作业调度和监测。作业对应于至少一个数据转换操作。可以例如结合调度以及监测作业的执行来在界面中的显示上呈现一个或多个作业。例如，可以在时间线视图上呈现作业，以指示要在何时执行作业，作业已经在何时被执行，以及作业的执行时间长度。可以选择作业，其后基于作业之间的数据依赖性自动标识相关作业并且将其呈现给用户。相关作业可以包括依赖于所选择的作业的作业和/或所选择的作业所依赖的作业。这有助于用户有效地获取有关作业调度的信息和与该信息交互。除了数据依赖性信息之外，可以捕获执行状态，使得能够区分被执行或被预测为成功执行的作业与失败或被预测为失败的作业。此外，可以选择失败的作业运行，其后可以基于数据依赖性、状态和调度信息来自动标识失败或被预测为失败的相关作业运行。随后，可以突出显示所选择的失败的作业运行、相关的失败的作业运行、或者被预测为失败的作业运行。因此，提供了对调度链进行故障排除的方便的方法。此外，附加视图也可以至少利用依赖性数据。例如，作业或作业管线的图表可以采用依赖性信息来标识作业家族(lineage)，作业家族包括由选择作业使用的作业和数据集以及依赖于选择作业的作业和数据源。这些和其他方面至少帮助用户有效地调度和监测作业执行以及减少错误。现在参考附图更详细地描述主题公开的各个方面，其中相同的附图标记通常始终指代相同或相应的元件。然而，应当理解，附图和与其有关的详细描述并非意图将所要求保护的主题限制于所公开的特定形式。相反，其意图在于涵盖落入所要求保护的主题的精神和范围内的所有修改、等同物和替代物。首先参考图1，示出了作业系统100。作业系统100提供用于包括数据转换操作的作业的调度、执行和监测的装置。作业系统包括用户界面组件110、数据储存库120、调度器组件130、执行组件140和监测器组件150。用户界面组件110被配置为允许用户查看、规定和控制作业。在一个实例中，用户界面110被配置为提供定义作业或作业管线的机制。作为该定义的一部分，可以规定一个或多个关系，包括作业所依赖的一个或多个数据集以及由作业产生的输出数据集。包括数据依赖性信息的作业可以被保存在作为计算机可读存储介质的数据储存库120中。调度器组件130被配置为鉴于关于作业以及作业之间的关系规定的调度来调度作业用于执行。调度可以被提供给用户界面用于显示，并且用户可以与调度交互以获取特定信息并且可选地修改调度。调度器组件130启动由执行组件140的作业处理。执行组件140可以包括使得作业能够在计算机上执行的软件和硬件资源的集合。作业执行的结果可以存储在数据储存库120中。此外，监测器组件150可以监测由执行组件140的作业执行。例如，监测器组件150可以标识作业状态，诸如执行失败还是成功。此外，监测器组件150可以获取关于处理作业的计算资源利用率。由监测器组件150获取的数据或信息可以存储在数据储存库120中，并且被使得可用于用户界面组件110用于呈现。图2更详细地描绘了代表性用户界面组件110。用户界面组件110包括作者组件210和调度组件220。作者组件210被配置为允许用户规定作业和包括一组一个或多个相关作业的管线，其中第一作业的输出可选地向第二作业提供输入。根据实施例，作者组件210可以提供用于图表化地创作作业和管线的交互式视觉工作区或画布。例如，数据集可以被表示为圆柱体并且通过箭头连接到表示作业的立方体，作业消耗数据集并且产生修改后的数据集。基本上，用户可以绘制数据集和作业之间的关系图。这导致可以节省与理解关系并且最终规定管线相关的时间的直观的体验。根据其他方面，作者组件210可以被实现为接受程序代码的代码编辑器或者规定作业和作业之间的关系的一个或多个对话框。调度组件220被配置为呈现关于调度作业用于执行和监测执行的可视化。将注意力转向图3，更详细地示出了代表性调度组件220以便于清楚和理解。调度组件220包括视图组件310、更新组件320、相关作业组件330、修改组件340和日志组件350。视图组件310被配置为呈现被调度用于执行的作业的至少一个视图。根据一方面，视图可以对应于对按照执行的时间排序的一组作业进行可视化的时间线，执行包括调度的执行和完成的执行。这样的时间线还可以使得作业执行的长度能够被可视化。更新组件320被配置为关于作业执行来更新由视图组件310产生的可视化或者使得由视图组件310产生的可视化最新。例如，更新组件320可以改变可视化以反映已经执行的作业。在一个实施例中，更新组件320可以与视图组件310交互以包括表示当前时间的线，其中调度但未执行的作业在该线后面为灰色或变灰。此外，更新组件320可以用于标识和区分已经成功执行的作业与失败或可能被预测为失败的作本文档来自技高网...

【技术保护点】
一种方法，包括：采用被配置为执行被存储在存储器中的计算机可执行指令的至少一个处理器执行以下动作：检测借助于图形用户界面的数据转换作业的选择；以及响应于检测到所述作业的所述选择，基于作业之间的数据依赖性来自动确定一个或多个相关作业；以及与所述图形用户界面上显示的其他作业在视觉上不同地呈现所选择的作业和所述一个或多个相关作业。

【技术特征摘要】
【国外来华专利技术】2014.12.16 US 14/572,7451.一种方法，包括：采用被配置为执行被存储在存储器中的计算机可执行指令的至少一个处理器执行以下动作：检测借助于图形用户界面的数据转换作业的选择；以及响应于检测到所述作业的所述选择，基于作业之间的数据依赖性来自动确定一个或多个相关作业；以及与所述图形用户界面上显示的其他作业在视觉上不同地呈现所选择的作业和所述一个或多个相关作业。2.根据权利要求1所述的方法，还包括：结合作业执行来监测计算机资源利用；以及呈现与一个或多个相应作业对准的所述资源利用的可视化。3.根据权利要求1所述的方法，还包括基于关于无法成功执行的作业运行接收的信号来重新调度所述作业运行的执行。4.根据权利要求1所述的方法，还包括在接收到标识选择失败的作业运行的信号之后，突出显示所述选择失败的作业运行以及一个或多个相关失败作业运行或者基于对于失败作业运行的依赖性而被预测为失败的运行。5.根据权利要求1所述的方法，还包括在包括作业和数据集的表示以及所述作...

【专利技术属性】
技术研发人员：A·J·皮科克，C·库里斯，C·斯托姆，A·内茨，张俏莹，M·J·弗拉斯克，K·格瑞亚里施，G·M·德拉里贝拉，S·P·卡尔森，M·W·赫宁格，P·M·巴赫，D·J·内特尔顿，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US