【技术实现步骤摘要】
本专利技术涉及数据处理的领域，尤其涉及深度学习工作流验证与整合控制方法和系统。
技术介绍
1、深度学习涉及大量数据的学习处理，其对深度学习运算端的硬件性能提出较高的要求。为了保证深度学习任务的处理连贯性，深度学习任务通常都是在一个运算端来处理，这不仅增加运算端的工作量，还增大深度学习任务的运算耗时，不能在短时间内快速准确完成深度学习任务的处理。此外，为了保证深度学习任务的运算准确性，还需要对深度学习任务的运算结果进行验证，现有的运算结果验证是针对整个深度学习任务的整体运算结果来执行的，其并未对运算结果进行分块并行验证，无法提高验证的准确性和效率。
技术实现思路
1、本专利技术的目的在于提供深度学习工作流验证与整合控制方法和系统，其基于深度学习任务的待学习数据属性信息，将深度学习任务分为若干深度学习子任务，继而生成若干深度学习子任务集合，为后续进行深度学习任务的分块处理提供便利；还将深度学习子任务集合分配至深度学习网络内部处于空闲状态的下层节点，实现对深度学习子任务集合的并行处理得到相应的处理数据结果，提高深度学习任务的处理效率；还将处理数据结果转换成数据流后发送至深度学习网络内部的上层节点进行验证，再将所有有效处理数据结果整合为深度学习任务的最终处理数据结果，提高深度学习任务的运算准确性和可靠性。
2、本专利技术是通过以下技术方案实现：
3、深度学习工作流验证与整合控制方法，包括：
4、基于深度学习任务的待学习数据属性信息，将所述深度学习任务分为
5、获取深度学习网络的工作日志，对所述工作日志进行分析，得到所述深度学习网络的运算负荷状态信息；基于所述运算负荷状态信息，确定所述深度学习网络内部处于空闲状态的所有下层节点；
6、基于处于空闲状态的所有下层节点在所述深度学习网络内部的位置信息，将相应深度学习子任务集合分配至相应的下层节点，以此获取所述下层节点对相应深度学习子任务集合的处理数据结果；
7、将所述处理数据结果转换成数据流后发送至所述深度学习网络内部的上层节点进行验证，判断所述处理数据结果是否属于有效处理数据结果；对所有有效处理数据结果进行整合还原，得到所述深度学习任务的最终处理数据结果。
8、可选地，基于深度学习任务的待学习数据属性信息，将所述深度学习任务分为若干深度学习子任务；再基于所有深度学习子任务的待学习数据关联属性信息，生成若干深度学习子任务集合，包括：
9、获取深度学习任务包含的所有待学习数据项的数据类型信息，基于所述数据类型信息，将所述深度学习任务分为若干深度学习子任务；其中，每个深度学习子任务下属的所有待学习数据项具有相同的数据类型信息；
10、基于所有深度学习子任务下属的待学习数据项的数据运算逻辑关系信息，将在数据运算层面上具有关联性的若干深度学习子任务整合为深度学习子任务集合。
11、可选地，获取深度学习网络的工作日志，对所述工作日志进行分析，得到所述深度学习网络的运算负荷状态信息；基于所述运算负荷状态信息，确定所述深度学习网络内部处于空闲状态的所有下层节点，包括：
12、获取深度学习网络在预设时间区间生成的工作日志，对所述工作日志进行分析，得到所述深度学习网络下属所有下层节点各自的实时内存占用率；
13、将所述实时内存占用率与预设占用率阈值进行对比，若所述实时内存占率大于预设占用率阈值，则确定相应的下层节点处于繁忙状态；否则，确定相应的下层节点处于空闲状态。
14、可选地，基于处于空闲状态的所有下层节点在所述深度学习网络内部的位置信息，将相应深度学习子任务集合分配至相应的下层节点，以此获取所述下层节点对相应深度学习子任务集合的处理数据结果，包括：
15、获取处于空闲状态的所有下层节点在所述深度学习网络内部的网关位置地址信息，基于所述网关位置地址信息，确定任意两个处于空闲状态的下层节点之间的网络距离；基于所述网络距离，将处于空闲状态的若干下层节点确定为可用下层节点集群，再将相应深度学习子任务集合分配至所述可用下层节点集群，并获取所述可用下层节点集群对相应深度学习子任务集合的处理数据结果。
16、可选地，将所述处理数据结果转换成数据流后发送至所述深度学习网络内部的上层节点进行验证，判断所述处理数据结果是否属于有效处理数据结果；对所有有效处理数据结果进行整合还原，得到所述深度学习任务的最终处理数据结果，包括：
17、将所述处理数据结果划分为若干数据包，并将所有数据包转换成数据流，以此发送至所述深度学习网络内部的上层节点进行可信度验证；将验证所述数据流得到的可信度与预设可信度阈值进行对比，若所述可信度大于预设可信度阈值，则判断所述处理数据结果属于有效处理数据结果；否则，判断所述处理数据结果不属于有效处理数据结果；
18、基于所有有效处理数据结果的数据逻辑关系，对所有有效处理数据结果进行整合还原，得到所述深度学习任务的最终处理数据结果。
19、深度学习工作流验证与整合控制系统，包括：
20、深度学习任务预处理模块，用于基于深度学习任务的待学习数据属性信息，将所述深度学习任务分为若干深度学习子任务；再基于所有深度学习子任务的待学习数据关联属性信息，生成若干深度学习子任务集合；
21、下层节点筛选模块，用于获取深度学习网络的工作日志，对所述工作日志进行分析，得到所述深度学习网络的运算负荷状态信息；基于所述运算负荷状态信息，确定所述深度学习网络内部处于空闲状态的所有下层节点；
22、深度学习任务分配模块，用于基于处于空闲状态的所有下层节点在所述深度学习网络内部的位置信息，将相应深度学习子任务集合分配至相应的下层节点，以此获取所述下层节点对相应深度学习子任务集合的处理数据结果；
23、数据验证模块，用于将所述处理数据结果转换成数据流后发送至所述深度学习网络内部的上层节点进行验证，判断所述处理数据结果是否属于有效处理数据结果；
24、数据整合模块，用于对所有有效处理数据结果进行整合还原，得到所述深度学习任务的最终处理数据结果。
25、可选地，所述深度学习任务预处理模块用于基于深度学习任务的待学习数据属性信息，将所述深度学习任务分为若干深度学习子任务；再基于所有深度学习子任务的待学习数据关联属性信息，生成若干深度学习子任务集合，包括：
26、获取深度学习任务包含的所有待学习数据项的数据类型信息，基于所述数据类型信息，将所述深度学习任务分为若干深度学习子任务；其中，每个深度学习子任务下属的所有待学习数据项具有相同的数据类型信息；
27、基于所有深度学习子任务下属的待学习数据项的数据运算逻辑关系信息，将在数据运算层面上具有关联性的若干深度学习子任务整合为深度学习子任务集合。
28、可选地，所述下层节点筛选模本文档来自技高网...
【技术保护点】
1.深度学习工作流验证与整合控制方法，其特征在于，包括：
2.如权利要求1所述的深度学习工作流验证与整合控制方法，其特征在于：基于深度学习任务的待学习数据属性信息，将所述深度学习任务分为若干深度学习子任务；再基于所有深度学习子任务的待学习数据关联属性信息，生成若干深度学习子任务集合，包括：
3.如权利要求1所述的深度学习工作流验证与整合控制方法，其特征在于：获取深度学习网络的工作日志，对所述工作日志进行分析，得到所述深度学习网络的运算负荷状态信息；基于所述运算负荷状态信息，确定所述深度学习网络内部处于空闲状态的所有下层节点，包括：
4.如权利要求1所述的深度学习工作流验证与整合控制方法，其特征在于：基于处于空闲状态的所有下层节点在所述深度学习网络内部的位置信息，将相应深度学习子任务集合分配至相应的下层节点，以此获取所述下层节点对相应深度学习子任务集合的处理数据结果，包括：
5.如权利要求1所述的深度学习工作流验证与整合控制方法，其特征在于：将所述处理数据结果转换成数据流后发送至所述深度学习网络内部的上层节点进行验证，判断所述处理数据
6.深度学习工作流验证与整合控制系统，其特征在于，包括：
7.如权利要求6所述的深度学习工作流验证与整合控制系统，其特征在于：所述深度学习任务预处理模块用于基于深度学习任务的待学习数据属性信息，将所述深度学习任务分为若干深度学习子任务；再基于所有深度学习子任务的待学习数据关联属性信息，生成若干深度学习子任务集合，包括：
8.如权利要求6所述的深度学习工作流验证与整合控制系统，其特征在于：所述下层节点筛选模块用于获取深度学习网络的工作日志，对所述工作日志进行分析，得到所述深度学习网络的运算负荷状态信息；基于所述运算负荷状态信息，确定所述深度学习网络内部处于空闲状态的所有下层节点，包括：
9.如权利要求6所述的深度学习工作流验证与整合控制系统，其特征在于：所述深度学习任务分配模块用于基于处于空闲状态的所有下层节点在所述深度学习网络内部的位置信息，将相应深度学习子任务集合分配至相应的下层节点，以此获取所述下层节点对相应深度学习子任务集合的处理数据结果，包括：
10.如权利要求6所述的深度学习工作流验证与整合控制系统，其特征在于：所述数据验证模块用于将所述处理数据结果转换成数据流后发送至所述深度学习网络内部的上层节点进行验证，判断所述处理数据结果是否属于有效处理数据结果，包括：
...【技术特征摘要】
1.深度学习工作流验证与整合控制方法，其特征在于，包括：
2.如权利要求1所述的深度学习工作流验证与整合控制方法，其特征在于：基于深度学习任务的待学习数据属性信息，将所述深度学习任务分为若干深度学习子任务；再基于所有深度学习子任务的待学习数据关联属性信息，生成若干深度学习子任务集合，包括：
3.如权利要求1所述的深度学习工作流验证与整合控制方法，其特征在于：获取深度学习网络的工作日志，对所述工作日志进行分析，得到所述深度学习网络的运算负荷状态信息；基于所述运算负荷状态信息，确定所述深度学习网络内部处于空闲状态的所有下层节点，包括：
4.如权利要求1所述的深度学习工作流验证与整合控制方法，其特征在于：基于处于空闲状态的所有下层节点在所述深度学习网络内部的位置信息，将相应深度学习子任务集合分配至相应的下层节点，以此获取所述下层节点对相应深度学习子任务集合的处理数据结果，包括：
5.如权利要求1所述的深度学习工作流验证与整合控制方法，其特征在于：将所述处理数据结果转换成数据流后发送至所述深度学习网络内部的上层节点进行验证，判断所述处理数据结果是否属于有效处理数据结果；对所有有效处理数据结果进行整合还原，得到所述深度学习任务的最终处理数据结果，包括：
6.深度...
【专利技术属性】
技术研发人员：兰雨晴，余丹，邢智涣，王丹星，贺江，
申请(专利权)人：慧之安信息技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。