离线模型的处理方法、装置、存储介质和处理器制造方法及图纸

本发明专利技术公开了一种离线模型的处理方法、装置、存储介质和处理器，该方法包括：在离线模型中，确定用户选择的目标输出节点，其中，离线模型由多个基于离线计算的节点组成，节点表示一个计算规则；采用逐一遍历的方式，在离线模型中查找目标输出节点的父节点，目标输出节点的父节点的父节点，直到查找到的节点为根节点为止，得到查询结果，其中，查询结果中包括至少一个查询到的节点；将离线模型中除查询结果中包括的节点之外的节点进行删除，得到更新后的离线模型；采用更新后的离线模型执行计算。本发明专利技术解决了由于相关技术的离线模型中存在与目标输出节点无关的计算节点，导致采用该离线模型进行计算时存在资源浪费的技术问题。型进行计算时存在资源浪费的技术问题。型进行计算时存在资源浪费的技术问题。

【技术实现步骤摘要】
离线模型的处理方法、装置、存储介质和处理器


[0001]本专利技术涉及信息处理
，具体而言，涉及一种离线模型的处理方法、装置、存储介质和处理器。

技术介绍

[0002]在离线的大数据建模平台中，平台向用户提供业务模型图的编排能力，模型图是由若干“SQL节点”或“脚本节点”组成的有向无环图(DAG)，平台可根据用户编排的模型图(DAG)进行调度执行，其中，每一个节点对应一个离线计算任务。由于模型是用户根据业务搭建的一系列计算逻辑的组合，那么每个模型就会存在至少一个目标输出节点，当用户选择若干目标输出节点后，模型中常常存在部分与目标输出节点无关的计算节点，这部分节点进行计算将导致资源的浪费。
[0003]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本专利技术实施例提供了一种离线模型的处理方法、装置、存储介质和处理器，以至少解决由于相关技术的离线模型中存在与目标输出节点无关的计算节点，导致采用该离线模型进行计算时存在资源浪费的技术问题。
[0005]根据本专利技术实施例的一个方面，提供了一种离线模型的处理方法，包括：在离线模型中，确定用户选择的目标输出节点，其中，离线模型由多个基于离线计算的节点组成，节点表示一个计算规则；采用逐一遍历的方式，在离线模型中查找目标输出节点的父节点，目标输出节点的父节点的父节点，直到查找到的节点为根节点为止，得到查询结果，其中，查询结果中包括至少一个查询到的节点；将离线模型中除查询结果中包括的节点之外的节点进行删除，得到更新后的离线模型；采用更新后的离线模型执行计算。
[0006]进一步地，所述方法还包括：若所述目标输出节点为多个节点，在所述离线模型中采用逐一遍历的方式分别查找每个目标输出节点的父节点，每个目标输出节点的父节点的父节点，直到查找到的节点为根节点为止，得到多个查询子结果；将所述多个查询子结果作为所述查询结果。
[0007]进一步地，将所述离线模型中除所述查询结果中包括的节点之外的节点进行删除，得到更新后的离线模型包括：在所述离线模型中分别将除所述查询子结果中包括的节点之外的节点进行删除，得到多个子模型；将所述多个子模型进行合并，得到更新后的离线模型。
[0008]进一步地，在将所述离线模型中除所述查询结果中包括的节点之外的节点进行删除，得到更新后的离线模型之后，所述方法还包括：从所述更新后的离线模型的根节点出发，判断所述更新后的离线模型中当前节点是否为SQL节点，其中，所述SQL节点表示是SQL脚本描述的计算规则；若当前节点为SQL节点，则开始合并，并将所述当前节点加入合并列表，并遍历所述当前节点的子节点，判断所述子节点是否为SQL节点，直到遍历到的节点为
根节点为止，得到最终的合并列表；将所述最终的合并列表中的节点进行合并，将对合并后的节点构建单节点的字段，并将构建单节点的字段的合并节点作为所述更新后的离线模型中的融合节点；若遍历到的节点不是SQL节点，则对非SQL节点构建单节点的字段，并将构建单节点的字段的非SQL节点作为所述更新后的离线模型中的原始节点；依据所述融合节点和所述原始节点，得到优化后的离线模型。
[0009]进一步地，将所述最终的合并列表中的节点进行合并时，所述方法还包括：在当前节点符合任一预设规则时，对所述最终的合并列表中的当前节点停止合并，其中，所述预设规则至少包括：当前节点为出度大于1的SQL节点、当前节点的子节点包括入度大于1的节点、当前节点的子节点为非SQL节点、当前节点为非叶子节点的输出节点、当前节点为叶子节点。
[0010]进一步地，在依据所述融合节点和所述原始节点，得到优化后的离线模型之前，所述方法还包括：判断所述更新后的离线模型中的节点是否已遍历完；若已遍历完所述更新后的离线模型中的节点，则确定对所述更新后的离线模型优化完成，执行将依据所述融合节点和所述原始节点，得到优化后的离线模型的步骤。
[0011]进一步地，采用所述更新后的离线模型执行计算包括：采用所述优化后的离线模型执行计算。
[0012]根据本专利技术实施例的另一方面，还提供了一种离线模型的处理装置，包括：第一确定单元，用于在离线模型中，确定用户选择的目标输出节点，其中，所述离线模型由多个基于离线计算的节点组成，所述节点表示一个计算规则；第一查找单元，用于采用逐一遍历的方式，在所述离线模型中查找所述目标输出节点的父节点，所述目标输出节点的父节点的父节点，直到查找到的节点为根节点为止，得到查询结果，其中，所述查询结果中包括至少一个查询到的节点；第一处理单元，用于将所述离线模型中除所述查询结果中包括的节点之外的节点进行删除，得到更新后的离线模型；计算单元，用于采用所述更新后的离线模型执行计算。
[0013]根据本专利技术实施例的另一方面，还提供了一种计算机可读存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述任意一项所述的离线模型的处理方法。
[0014]根据本专利技术实施例的另一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述任意一项所述的离线模型的处理方法。
[0015]在本专利技术实施例中，采用删除离线模型中与目标输出节点无关的节点的方式，具体地，在离线模型中，确定用户选择的目标输出节点，其中，离线模型由多个基于离线计算的节点组成，节点表示一个计算规则；采用逐一遍历的方式，在离线模型中查找目标输出节点的父节点，目标输出节点的父节点的父节点，直到查找到的节点为根节点为止，得到查询结果，其中，查询结果中包括至少一个查询到的节点；将离线模型中除查询结果中包括的节点之外的节点进行删除，得到更新后的离线模型；采用更新后的离线模型执行计算，达到了采用更新后的离线模型计算时避免资源浪费的技术效果，进而解决了由于相关技术的离线模型中存在与目标输出节点无关的计算节点，导致采用该离线模型进行计算时存在资源浪费的技术问题。
附图说明
[0016]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0017]图1是根据本专利技术实施例的计算机终端的硬件结构框图；
[0018]图2是根据本专利技术实施例一提供的离线模型的处理方法的流程图；
[0019]图3是根据本专利技术实施例一提供的离线模型的示意图一；
[0020]图4是根据本专利技术实施例一提供的离线模型的示意图二；
[0021]图5是根据本专利技术实施例一提供的离线模型的示意图三；
[0022]图6是根据本专利技术实施例一提供的离线模型的示意图四；
[0023]图7是根据本专利技术实施例一提供的离线模型的示意图五；
[0024]图8是根据本专利技术实施例一提供的离线模型的示意图六；
[0025]图9是根据本专利技术实施例一提供的离线模型的示意图七；
[0026]图10是根据本专利技术实施例一提供的离线模型的示意图八；
[002本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种离线模型的处理方法，其特征在于，包括：在离线模型中，确定用户选择的目标输出节点，其中，所述离线模型由多个基于离线计算的节点组成，所述节点表示一个计算规则；采用逐一遍历的方式，在所述离线模型中查找所述目标输出节点的父节点，所述目标输出节点的父节点的父节点，直到查找到的节点为根节点为止，得到查询结果，其中，所述查询结果中包括至少一个查询到的节点；将所述离线模型中除所述查询结果中包括的节点之外的节点进行删除，得到更新后的离线模型；采用所述更新后的离线模型执行计算。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：若所述目标输出节点为多个节点，在所述离线模型中采用逐一遍历的方式分别查找每个目标输出节点的父节点，每个目标输出节点的父节点的父节点，直到查找到的节点为根节点为止，得到多个查询子结果；将所述多个查询子结果作为所述查询结果。3.根据权利要求2所述的方法，其特征在于，将所述离线模型中除所述查询结果中包括的节点之外的节点进行删除，得到更新后的离线模型包括：在所述离线模型中分别将除所述查询子结果中包括的节点之外的节点进行删除，得到多个子模型；将所述多个子模型进行合并，得到更新后的离线模型。4.根据权利要求1所述的方法，其特征在于，在将所述离线模型中除所述查询结果中包括的节点之外的节点进行删除，得到更新后的离线模型之后，所述方法还包括：从所述更新后的离线模型的根节点出发，判断所述更新后的离线模型中当前节点是否为SQL节点，其中，所述SQL节点表示是SQL脚本描述的计算规则；若当前节点为SQL节点，则开始合并，并将所述当前节点加入合并列表，并遍历所述当前节点的子节点，判断所述子节点是否为SQL节点，直到遍历到的节点为根节点为止，得到最终的合并列表；将所述最终的合并列表中的节点进行合并，将对合并后的节点构建单节点的字段，并将构建单节点的字段的合并节点作为所述更新后的离线模型中的融合节点；若遍历到的节点不是SQL节点，则对非SQL节点构建单节点的字段，并将构建单节点的字段的非SQL节点作为所述...

【专利技术属性】
技术研发人员：陈壮豪，
申请(专利权)人：阿里巴巴新加坡控股有限公司，
类型：发明
国别省市：