一种计算图处理方法、装置及存储介质制造方法及图纸

本发明专利技术实施例提供了一种计算图处理方法、装置及存储介质，其中方法包括：获取计算图，该计算图包括有序排列的多个任务节点，确定该多个任务节点中不存在依赖关系的目标任务节点，并将目标任务节点添加到节点队列中，该依赖关系包括全局依赖关系和与相邻的上游任务节点的直接依赖关系中的一种或两种，获取该多个任务节点中除目标任务节点之外的其他任务节点，并行执行该其他任务节点和节点队列包括的任务节点，可以准确找出计算图中不存在依赖关系的任务节点，并发执行这类任务节点，有效提升计算图的执行效率。

【技术实现步骤摘要】
一种计算图处理方法、装置及存储介质
本专利技术涉及计算机
，尤其涉及一种计算图处理方法、装置及存储介质。
技术介绍
计算图是对业务逻辑的抽象表达。通常来讲，计算图由至少两个节点，一条有向边构成，不同节点对应不同的执行任务，边的方向代表了输入输出数据流向。节点之间通常存在执行顺序关系，即上下游依赖关系。现有技术中，用户可以使用YAML\Json\ASL\XML等语言进行计算图的定义，包括定义服务、组件、接口之间的调用关系以及资源编排逻辑等，其中资源编排逻辑可以是顺序结构、分支结构、循环结构、并行结构等，以此形成对应业务的计算图，按照用户定义的任务节点顺序，调用相应的线程和句柄以串行或并行或组合方式来执行计算图，然而，目前在执行计算图中的各个任务节点时，通常是按照用户定义的顺序执行，这样容易导致任务执行时间耗时较长，影响任务执行效率。
技术实现思路
本专利技术实施例提供一种计算图处理方法、装置及存储介质，可以准确找出计算图中不存在依赖关系的任务节点，并发执行这类任务节点，有效提升计算图的执行效率。第一方面，本专利技术实施例提供了一种计算图处理方法，所述方法包括：获取计算图，所述计算图包括有序排列的多个任务节点；确定所述多个任务节点中不存在依赖关系的目标任务节点，并将所述目标任务节点添加到节点队列中，所述依赖关系包括全局依赖关系和与相邻的上游任务节点的直接依赖关系中的一种或两种；获取所述多个任务节点中除所述目标任务节点之外的其他任务节点；并行执行所述其他任务节点和所述节点队列包括的任务节点。第二方面，本专利技术实施例提供了一种计算图处理装置，所述装置包括：获取模块，用于获取计算图，所述计算图包括有序排列的多个任务节点；确定模块，用于确定所述多个任务节点中不存在依赖关系的目标任务节点，并将所述目标任务节点添加到节点队列中，所述依赖关系包括全局依赖关系和与相邻的上游任务节点的直接依赖关系中的一种或两种；所述获取模块，还用于获取所述多个任务节点中除所述目标任务节点之外的其他任务节点；执行模块，用于并行执行所述其他任务节点和所述节点队列包括的任务节点。第三方面，本专利技术实施例提供了一种电子设备，所述电子设备包括处理器和存储装置，所述处理器和所述存储装置相互连接，所述存储装置用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，用于执行第一方面所述的计算图处理方法。第四方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行，用以执行第一方面所述的计算图处理方法。第五方面，本专利技术实施公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述第一方面所述的计算图处理方法。本专利技术实施例中，可以获取计算图，该计算图包括有序排列的多个任务节点，确定该多个任务节点中不存在依赖关系的目标任务节点，并将目标任务节点添加到节点队列中，该依赖关系包括全局依赖关系和与相邻的上游任务节点的直接依赖关系中的一种或两种，获取该多个任务节点中除目标任务节点之外的其他任务节点，并行执行该其他任务节点和节点队列包括的任务节点，可以准确找出计算图中不存在依赖关系的任务节点，并发执行这类任务节点，有效提升计算图的执行效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1a是本申请实施例提供的一种用户自定义执行顺序计算图的示意图；图1b是本申请实施例提供的一种用户自定义执行顺序计算图的执行时间示意图；图2是本申请实施例提供的一种计算图处理方法的步骤流程示意图；图3是本申请实施例提供的另一种计算图处理方法的步骤流程示意图；图4a是本申请实施例提供的一种计算图执行顺序的示意图；图4b是本申请实施例提供的一种计算图实际执行时间的示意图；图5是本专利技术实施例提供的一种计算图处理装置的结构示意图；图6是本专利技术实施例提供的一种电子设备的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。云技术(Cloudtechnology)是基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。云计算(cloudcomputing)指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。云计算是网格计算(GridComputing)、分布式计算(DistributedComputing)、并行计算(ParallelComputing)、效用计算(UtilityComputing)、网络存储(NetworkStorageTechnologies)、虚拟化(Virtualization)、负载均衡(LoadBalance)等传统计算机和网络技术发展融合的产物。随着互联网、实时数据流、连接设备多样化的发展，以及搜索服务、社会网络、移动商务和开放协作等需求的推动，云计算迅速发展起来。不同于以往的并行分布式计算，云计算的产生从理念上将推动整个互联网模式、企业管理模式发生革命性的变革。为方便描述，下面首先列举本申请实施例中的缩略语和关键术语定义。编排：将各种服务、组件、接口进行组合的方法。YAML：是一种可读性高，用来表达数据序列化的格式，常用于编写本文档来自技高网...

【技术保护点】
1.一种计算图处理方法，其特征在于，包括：/n获取计算图，所述计算图包括有序排列的多个任务节点；/n确定所述多个任务节点中不存在依赖关系的目标任务节点，并将所述目标任务节点添加到节点队列中，所述依赖关系包括全局依赖关系和与相邻的上游任务节点的直接依赖关系中的一种或两种；/n获取所述多个任务节点中除所述目标任务节点之外的其他任务节点；/n并行执行所述其他任务节点和所述节点队列包括的任务节点。/n

【技术特征摘要】
1.一种计算图处理方法，其特征在于，包括：
获取计算图，所述计算图包括有序排列的多个任务节点；
确定所述多个任务节点中不存在依赖关系的目标任务节点，并将所述目标任务节点添加到节点队列中，所述依赖关系包括全局依赖关系和与相邻的上游任务节点的直接依赖关系中的一种或两种；
获取所述多个任务节点中除所述目标任务节点之外的其他任务节点；
并行执行所述其他任务节点和所述节点队列包括的任务节点。


2.根据权利要求1所述方法，其特征在于，所述确定所述多个任务节点中不存在依赖关系的目标任务节点，包括：
从所述多个任务节点中获取任务节点对，所述节点对包括上游任务节点和与所述上游任务节点相邻的下游任务节点；
判断所述下游任务节点是否存在全局依赖关系和与所述上游任务节点的直接依赖关系；
若所述下游任务节点不存在所述全局依赖关系以及所述直接依赖关系，则将所述下游任务节点作为不存在依赖关系的目标任务节点。


3.根据权利要求2所述方法，其特征在于，所述判断所述下游任务节点是否存在全局依赖关系和与所述上游任务节点的直接依赖关系，包括：
获取所述下游任务节点的输入参数和所述上游任务节点的输出参数，所述输入参数包括目标全局参数；
若从全局参数存储空间获取到所述目标全局参数，则确定所述下游任务节点不存在全局依赖关系；
若所述下游任务节点的输入参数不包括所述上游任务节点的输出参数，则确定所述下游任务节点不存在与所述上游任务节点的直接依赖关系。


4.根据权利要求3所述方法，其特征在于，所述全局参数存储空间用于存储所述计算图中的任务节点在执行时所需的全局参数。


5.根据权利要求3或4所述方法，其特征在于，所述方法还包括：
若不存在所述下游任务节点的执...

【专利技术属性】
技术研发人员：王子一，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44