可视化计算工作流的系统和方法技术方案

提供了一种可视化计算工作流的系统和方法。获取指示在所述计算工作流的每个实例的每个计算阶段中执行的一个或多个作业的工作流数据以及指示每个所述一个或多个作业执行的一个或多个任务的作业数据。将每个所述一个或多个任务与相应计算阶段相关联。针对所述计算工作流的每个实例，生成在每个计算阶段中执行的每个所述一个或多个任务随时间的资源使用量的视觉表示。在公共时间线上绘制所述计算工作流的多个实例的视觉表示。

System and Method of Visual Computing Workflow

This paper provides a system and method of visual computing workflow. Gets workflow data indicating one or more jobs performed in each calculation phase of each instance of the computing workflow and job data indicating one or more tasks performed by each of the said one or more jobs. Each of the one or more tasks described is associated with the corresponding computing stage. For each instance of the computing workflow, a visual representation of resource usage over time for each of the one or more tasks performed in each computing stage is generated. Draw visual representations of multiple instances of the computational workflow on a common timeline.

【技术实现步骤摘要】
【国外来华专利技术】可视化计算工作流的系统和方法相关申请案交叉申请本专利技术要求2016年12月22日递交的专利技术名称为“可视化计算工作流的系统和方法(SYSTEMANDMETHODFORVISUALIZATIONOFACOMPUTEWORKFLOW)”的第15/388,549号美国专利申请案的在先申请优先权，该在先申请的内容以引入的方式并入本文本中。
本文所述实施例大体上涉及计算工作流领域，更具体地，涉及可视化计算工作流。
技术介绍
计算工作流由在分布式计算集群中运行的多个相互依赖的计算任务组成。由于工作流的复杂性，希望为集群操作员提供工具以了解异常情况并跟踪日常性能，以确保满足期限并充分利用资源。虽然已提出了几种集群可视化工具，但是现有解决方案并不显示工作流通常包括的多个抽象级(例如工作流级、计算阶段级、任务级)。相反，通常在任何给定时间呈现一个抽象级，且经常需要点击范式来可视化不同的抽象级。这继而使得操作人员难以轻松地全面了解给定工作流的性能或纵向比较工作流。因此，需要一种用于可视化计算工作流的改进系统和方法。
技术实现思路
根据一方面，提供了一种可视化计算工作流的方法。所述方法包括：获取指示在所述计算工作流的每个实例的每个计算阶段中执行的一个或多个作业的工作流数据以及指示每个所述一个或多个作业执行的一个或多个任务的作业数据；将每个所述一个或多个任务与相应计算阶段相关联；针对所述计算工作流的每个实例，生成在每个计算阶段中执行的每个所述一个或多个任务随时间的资源使用量的视觉表示；以及在公共时间线上绘制所述计算工作流的多个实例的视觉表示。在一些示例实施例中，获取所述工作流数据可包括：解析一个或多个工作流日志文件以获取表示所述一个或多个作业的顺序的有向无环图，以及获取所述作业数据包括：解析一个或多个作业日志文件以获取所述一个或多个任务的标识。在一些示例实施例中，生成所述视觉表示可包括：将每个所述一个或多个任务表示为沿着二维坐标系的第一轴具有第一维度和沿着所述二维坐标系的第二轴具有第二维度的形状，其中，所述第一维度对应于每个所述一个或多个任务的时长，所述第二维度对应于每个所述一个或多个任务使用的资源量。在一些示例实施例中，生成所述视觉表示可包括：针对每个计算阶段，根据每个所述一个或多个任务的开始时间、每个所述一个或多个任务的所述时长以及在其上实施每个所述一个或多个任务的计算主机之一将所述形状中的多个形状沿着所述第二轴彼此相邻放置。在一些示例实施例中，生成所述视觉表示可包括：针对所述计算工作流的每个实例，生成包括在所述二维坐标系中同时绘制的多个图形元素的图，其中，每个图形元素表示给定计算阶段并且包括所述形状中沿着所述第二轴彼此相邻放置的所述多个形状。在一些示例实施例中，可将串行运行的计算阶段绘制为沿着所述第一轴彼此相邻放置的图形元素，以及将并行运行的计算阶段绘制为沿着所述第二轴彼此相邻放置的图形元素。在一些示例实施例中，在公共时间线上绘制所述计算工作流的多个实例的所述视觉表示可包括：在综合视图中同时绘制所述图中的多个视觉表示。在一些示例实施例中，生成所述视觉表示可包括：将所述形状中的所述多个形状变换为多边形，以及在所述二维坐标系中绘制所述多边形。在一些示例实施例中，生成所述视觉表示可包括：针对每个计算阶段，将所述形状中的所述多个形状用轮廓闭合，以界定所述一个或多个任务中最早开始的任务的开始时间和所述一个或多个任务中最晚结束的任务的结束时间。在一些示例实施例中，生成所述视觉表示可包括：针对每个计算阶段，将所述形状中的所述多个形状用轮廓闭合，以界定执行所述一个或多个任务的所述一个或多个作业中给定作业的提交时间以及所述一个或多个作业中所述给定作业的完成时间。在一些示例实施例中，生成所述视觉表示可包括：在所述第二轴使用对数标度的所述二维坐标系中表示每个所述一个或多个任务。根据另一方面，提供了一种可视化计算工作流的系统。所述系统包括：至少一个处理单元；以及非瞬时性存储器，其通信地耦合到所述至少一个处理单元并且包括计算机可读程序指令，其中，所述计算机可读程序指令可由所述至少一个处理单元执行以用于：获取指示在所述计算工作流的每个实例的每个计算阶段中执行的一个或多个作业的工作流数据以及指示每个所述一个或多个作业执行的一个或多个任务的作业数据；将每个所述一个或多个任务与相应计算阶段相关联；针对所述计算工作流的每个实例，生成在每个计算阶段中执行的每个所述一个或多个任务随时间的资源使用量的视觉表示；以及在公共时间线上绘制所述计算工作流的多个实例的视觉表示。在一些示例实施例中，所述计算机可读程序指令可由所述至少一个处理单元执行以用于获取所述工作流数据，包括：解析一个或多个工作流日志文件以获取表示所述一个或多个作业的顺序的有向无环图，以及用于获取所述作业数据，包括：解析一个或多个作业日志文件以获取所述一个或多个任务的标识。在一些示例实施例中，所述计算机可读程序指令可由所述至少一个处理单元执行以用于生成所述视觉表示，包括：将每个所述一个或多个任务表示为沿着二维坐标系的第一轴具有第一维度和沿着所述二维坐标系的第二轴具有第二维度的形状，其中，所述第一维度对应于每个所述一个或多个任务的时长，所述第二维度对应于每个所述一个或多个任务使用的资源量。在一些示例实施例中，所述计算机可读程序指令可由所述至少一个处理单元执行以用于生成所述视觉表示，包括：针对每个计算阶段，根据每个所述一个或多个任务的开始时间、每个所述一个或多个任务的所述时长以及在其上实施每个所述一个或多个任务的计算主机之一将所述形状中的多个形状沿着所述第二轴彼此相邻放置。在一些示例实施例中，所述计算机可读程序指令可由所述至少一个处理单元执行以用于：针对所述计算工作流的每个实例，生成包括在所述二维坐标系中同时绘制的多个图形元素的图，其中，每个图形元素表示给定计算阶段并且包括所述形状中沿着所述第二轴彼此相邻放置的所述多个形状。在一些示例实施例中，所述计算机可读程序指令可由所述至少一个处理单元执行以用于：将串行运行的计算阶段绘制为沿着所述第一轴彼此相邻放置的图形元素，以及将并行运行的计算阶段绘制为沿着所述第二轴彼此相邻放置的图形元素。在一些示例实施例中，所述计算机可读程序指令可由所述至少一个处理单元执行以用于在公共时间线上绘制所述计算工作流的多个实例的所述视觉表示，包括：在综合视图中同时绘制所述图中的多个视觉表示。在一些示例实施例中，所述计算机可读程序指令可由所述至少一个处理单元执行以用于：将所述形状中的所述多个形状变换为多边形，以及在所述二维坐标系中绘制所述多边形。在一些示例实施例中，所述计算机可读程序指令可由所述至少一个处理单元执行以用于：在所述第二轴使用对数标度的所述二维坐标系中表示每个所述一个或多个任务。根据另一方面，提供了一种可视化计算工作流的方法。所述方法包括：将所述计算工作流的一个或多个任务表示为二维坐标系中的多个相邻形状，其中，每个形状具有沿着所述二维坐标系的第一轴的第一维度和沿着所述二维坐标系的第二轴的第二维度，所述第一维度对应于所述一个或多个任务中给定任务的时长，所述第二维度对应于所述一个或多个任务中所述给定任务使用的资源量；将所述多个形状变换为多边形；以及在所述二维坐标系中绘制所述多本文档来自技高网...

【技术保护点】
1.一种可视化计算工作流的方法，其特征在于，所述方法包括：获取指示在所述计算工作流的每个实例的每个计算阶段中执行的一个或多个作业的工作流数据以及指示每个所述一个或多个作业执行的一个或多个任务的作业数据；将每个所述一个或多个任务与相应计算阶段相关联；针对所述计算工作流的每个实例，生成在每个计算阶段中执行的每个所述一个或多个任务随时间的资源使用量的视觉表示；以及在公共时间线上绘制所述计算工作流的多个实例的视觉表示。

【技术特征摘要】
【国外来华专利技术】2016.12.22 US 15/388,5491.一种可视化计算工作流的方法，其特征在于，所述方法包括：获取指示在所述计算工作流的每个实例的每个计算阶段中执行的一个或多个作业的工作流数据以及指示每个所述一个或多个作业执行的一个或多个任务的作业数据；将每个所述一个或多个任务与相应计算阶段相关联；针对所述计算工作流的每个实例，生成在每个计算阶段中执行的每个所述一个或多个任务随时间的资源使用量的视觉表示；以及在公共时间线上绘制所述计算工作流的多个实例的视觉表示。2.根据权利要求1所述的方法，其特征在于，获取所述工作流数据包括：解析一个或多个工作流日志文件以获取表示所述一个或多个作业的顺序的有向无环图，以及获取所述作业数据包括：解析一个或多个作业日志文件以获取所述一个或多个任务的标识。3.根据权利要求1或2所述的方法，其特征在于，生成所述视觉表示包括：将每个所述一个或多个任务表示为沿着二维坐标系的第一轴具有第一维度和沿着所述二维坐标系的第二轴具有第二维度的形状，其中，所述第一维度对应于每个所述一个或多个任务的时长，所述第二维度对应于每个所述一个或多个任务使用的资源量。4.根据权利要求3所述的方法，其特征在于，生成所述视觉表示包括：针对每个计算阶段，根据每个所述一个或多个任务的开始时间、每个所述一个或多个任务的所述时长以及在其上实施每个所述一个或多个任务的计算主机之一将所述形状中的多个形状沿着所述第二轴彼此相邻放置。5.根据权利要求4所述的方法，其特征在于，生成所述视觉表示包括：针对所述计算工作流的每个实例，生成包括在所述二维坐标系中同时绘制的多个图形元素的图，其中，每个图形元素表示给定计算阶段并且包括所述形状中沿着所述第二轴彼此相邻放置的所述多个形状。6.根据权利要求5所述的方法，其特征在于，将串行运行的计算阶段绘制为沿着所述第一轴彼此相邻放置的图形元素，以及将并行运行的计算阶段绘制为沿着所述第二轴彼此相邻放置的图形元素。7.根据权利要求5所述的方法，其特征在于，在公共时间线上绘制所述计算工作流的多个实例的所述视觉表示包括：在综合视图中同时绘制所述图中的多个视觉表示。8.根据权利要求4所述的方法，其特征在于，生成所述视觉表示包括：将所述形状中的所述多个形状变换为多边形，以及在所述二维坐标系中绘制所述多边形。9.根据权利要求4所述的方法，其特征在于，生成所述视觉表示包括：针对每个计算阶段，将所述形状中的所述多个形状用轮廓闭合，以界定所述一个或多个任务中最早开始的任务的开始时间和所述一个或多个任务中最晚结束的任务的结束时间。10.根据权利要求4所述的方法，其特征在于，生成所述视觉表示包括：针对每个计算阶段，将所述形状中的所述多个形状用轮廓闭合，以界定执行所述一个或多个任务的所述一个或多个作业中给定作业的提交时间以及所述一个或多个作业中所述给定作业的完成时间。11.根据权利要求3所述的方法，其特征在于，生成所述视觉表示包括：在所述第二轴使用对数标度的所述二维坐标系中表示每个所述一个或多个任务。12.一种可视化计算...

【专利技术属性】
技术研发人员：蒂莫西·泽尔，辛恩·安东尼·伯格斯玛，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44