数据处理方法及装置、设备、计算机可读存储介质制造方法及图纸

本申请涉及人工智能领域，公开了一种数据处理方法及装置、设备、计算机可读存储介质。该方法可用于对金融业务数据的处理，通过根据多个作业生成有向无环图；标记有向无环图中的复用节点，并将复用节点的计算结果进行存储；从而根据有向无环图快速确定出重复出现的节点；针对各个节点生成对应的视图，标记出复用节点对应的视图，并将多个作业和所有节点对应的视图进行封装，得到封装好的作业；运行封装好的作业，若检测运行至复用节点对应的视图，则获取复用节点的计算结果，以用于对封装好的作业进行数据处理，通过引入可视化的节点视图，直观地显示出节点的运行情况，并通过直接获取复用节点的计算结果，以减少数据处理过程的耗时。时。时。

【技术实现步骤摘要】
数据处理方法及装置、设备、计算机可读存储介质


[0001]本申请涉及人工智能领域，具体涉及一种数据处理方法及装置、设备、计算机可读存储介质。

技术介绍

[0002]目前人工智能领域，针对智能系统的训练需要大量数据，分析人员在进行数据分析的时候，不仅仅需要了解业务规则，还要了解使用的数据库和技术工具，使用技术工具需要一定的数据库及数据分析背景知识。例如，金融业务涉及多个账户数据，其中包括但不限于基金、股票、保险等业务数据，因为相关金融业务数据类型不同，业务规则不同，所以分析人员在对相关金融业务数据进行分析处理时，需要使用不同的技术工具对不同的金融业务数据进行分析处理。
[0003]随着人工智能领域的发展，对数据处理的速度有了较高的要求，特别在数据爆炸时代，需要处理海量数据，往往需要多个作业进行分布式的数据处理，现有数据处理方法是遍历每个作业进行数据处理，处理的数据较多，导致处理时间冗长。

技术实现思路

[0004]为解决上述技术问题，本申请的实施例分别提供了一种数据处理方法及装置、设备、计算机可读存储介质，以减少数据处理过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：根据多个作业生成有向无环图；其中，每个作业对应所述有向无环图中的一个节点；标记所述有向无环图中的复用节点，并将所述复用节点的计算结果进行存储；其中，所述复用节点为所述有向无环图中重复出现的节点；针对各个节点生成对应的视图，标记出所述复用节点对应的视图，并将所述多个作业和所有节点对应的视图进行封装，得到封装好的作业；运行所述封装好的作业，若检测运行至所述复用节点对应的视图，则获取所述复用节点的计算结果，以用于对所述封装好的作业进行数据处理。2.根据权利要求1所述的方法，其特征在于，所述根据多个作业生成有向无环图，包括：从所述多个作业中获取元数据，并将每个节点作为节点；其中，所述元数据包括所述多个作业的口径和所述多个作业之间的顺序关系；根据所述元数据确定出各个节点之间的连接顺序，并根据所述连接顺序连接每个节点，以得到所述有向无环图。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：遍历各个节点，并将遍历到的节点作为目标节点；检测所述目标节点与所述目标节点的上一节点是否存在依赖关系；若检测到所述目标节点与所述目标节点的上一节点存在依赖关系，则获取所述目标节点的上一节点对应的视图，并根据所述目标节点的上一节点对应的视图生成所述目标节点对应的视图。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：检测所述封装好的作业的运行过程中是否发生运行故障；若检测到发生所述运行故障，则获取所述运行故障对应的故障关键字，并将所述故障关键字与预设故障关键字进行匹配；若匹配成功，则根据所述预设故障关键字对应的预设处理策略处理所述运行故障。5.根据权利要求4所述的方法，其特征在于，所述检测所述封装好的作业的运行过程中是否发生运行故障，包括：获取所述封装好的作业在运行过...

【专利技术属性】
技术研发人员：蔡满天，张茜，凌海挺，杜均，王忠瑞，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：