一种数据链路处理方法、装置、计算机设备和存储介质制造方法及图纸

本申请实施例公开了一种数据链路处理方法、装置、计算机设备和存储介质；本申请实施例包括：获取数据处理表，对数据处理表进行解析处理，得到数据处理表对应的数据处理链路；对数据处理表对应的数据处理链路进行层级判别处理，得到层级判别结果；基于层级判别结果，对数据处理链路进行识别处理，得到数据处理链路的链路分布信息和链路节点比重信息；根据数据处理链路的链路分布信息和链路节点比重信息对数据处理链路进行链路分析处理，得到分析结果；基于分析结果对数据处理表进行调整处理，得到调整后数据处理表，以实现对数据处理链路的优化，可以识别对数据处理链路进行优化，提高数据质量和降低数据处理时效。高数据质量和降低数据处理时效。高数据质量和降低数据处理时效。

【技术实现步骤摘要】
一种数据链路处理方法、装置、计算机设备和存储介质


[0001]本申请涉及通讯
，具体涉及一种数据链路处理方法、装置、计算机设备和存储介质。

技术介绍

[0002]数据处理链路存在于数据仓库的数据处理体系中，数据从采集、标准化、模型建设、应用数据建设，到最终提供给用户使用，数据之间自然形成了一条自下而上的数据处理链路。这条数据处理链路记载了数据从收集到产生价值的整个生命周期，是数据管理中不可或缺、至关重要的信息。完善的数据处理链路可以清晰的记载数据的来源及去处，以及数据传输过程中的加工逻辑及变化。本申请的专利技术人通过对现有技术进行实践发现，现有技术中经常会开发出复杂、冗长、繁琐的数据处理链路。而复杂、冗长、繁琐的数据处理链路会导致数据质量下降以及数据处理时效增长。

技术实现思路

[0003]本申请实施例提出了一种数据链路处理方法、装置、计算机设备和存储介质，可以识别出复杂、冗长、繁琐的数据处理链路，并对复杂、冗长、繁琐的数据处理链路进行优化，提高数据质量和降低数据处理时效。
[0004]本申请实施例提供了一种数据链路处理方法，包括：
[0005]获取数据处理表，对所述数据处理表进行解析处理，得到所述数据处理表对应的数据处理链路；
[0006]对所述数据处理表对应的数据处理链路进行层级判别处理，得到所述数据处理链路对应的层级判别结果；
[0007]基于所述层级判别结果，对所述数据处理链路进行识别处理，得到所述数据处理链路的链路分布信息和链路节点比重信息；
[0008]根据所述数据处理链路的链路分布信息和链路节点比重信息，对所述数据处理链路进行链路分析处理，得到所述数据处理链路的分析结果；
[0009]基于所述分析结果对所述数据处理表进行调整处理，得到调整后数据处理表，以实现对所述数据处理链路的优化。
[0010]相应的，本申请实施例还提供了一种数据链路处理装置，包括：
[0011]解析单元，用于获取数据处理表，对所述数据处理表进行解析处理，得到所述数据处理表对应的数据处理链路；
[0012]层级判别单元，用于对所述数据处理表对应的数据处理链路进行层级判别处理，得到所述数据处理链路对应的层级判别结果；
[0013]识别单元，用于基于所述层级判别结果，对所述数据处理链路进行识别处理，得到所述数据处理链路的链路分布信息和链路节点比重信息；
[0014]链路分析单元，用于根据所述数据处理链路的链路分布信息和链路节点比重信
息，对所述数据处理链路进行链路分析处理，得到所述数据处理链路的分析结果；
[0015]调整单元，用于基于所述分析结果对所述数据处理表进行调整处理，得到调整后数据处理表，以实现对所述数据处理链路的优化。
[0016]相应的，本申请实施例还提供一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序，以执行本申请实施例任一提供的数据链路处理方法。
[0017]相应的，本申请实施例还提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例任一提供的数据链路处理方法。
[0018]本申请实施例包括：获取数据处理表，对数据处理表进行解析处理，得到数据处理表对应的数据处理链路；对数据处理表对应的数据处理链路进行层级判别处理，得到数据处理链路对应的层级判别结果；基于层级判别结果，对数据处理链路进行识别处理，得到数据处理链路的链路分布信息和链路节点比重信息；根据数据处理链路的链路分布信息和链路节点比重信息，对数据处理链路进行链路分析处理，得到数据处理链路的分析结果；基于分析结果对数据处理表进行调整处理，得到调整后数据处理表，以实现对数据处理链路的优化，可以识别出复杂、冗长、繁琐的数据处理链路，并对复杂、冗长、繁琐的数据处理链路进行优化，提高数据质量和降低数据处理时效。
附图说明
[0019]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1是本申请实施例提供的数据链路处理方法的流程示意图；
[0021]图2是本申请实施例提供的数据链路处理装置的结构示意图；
[0022]图3是本申请实施例提供的计算机设备的结构示意图。
具体实施方式
[0023]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，然而，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0024]本申请实施例提出了一种数据链路处理方法，该数据链路处理方法可以由数据链路处理装置执行，该数据链路处理装置可以集成在具有至少一种数据链路处理硬件的计算机设备中。其中，该计算机设备可以包括计算机设备以及服务器等中的至少一个。即，本申请实施例提出的数据链路处理方法即可以由计算机设备执行，还可以由服务器执行，还可以由能够进行互相通信的终端和服务器共同执行。
[0025]其中，终端可以为智能手机、平板电脑、笔记本电脑、个人电脑(Personal Computer，PC)、智能家居、可穿戴电子设备、VR/AR设备、车载计算机等等。服务器可以为多个异构系统之间的互通服务器或者后台服务器，还可以是独立的物理服务器，也可以是多
个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、以及大数据和人工智能平台等基础云计算服务的云服务器等等。
[0026]在一实施例中，数据链路处理装置可以集成在服务器上，以实施本申请实施例提出的数据链路处理方法。具体地，服务器可以获取数据处理表，对数据处理表进行解析处理，得到数据处理表对应的数据处理链路；对数据处理表对应的数据处理链路进行层级判别处理，得到数据处理链路对应的层级判别结果；基于层级判别结果，对数据处理链路进行识别处理，得到数据处理链路的链路分布信息和链路节点比重信息；根据数据处理链路的链路分布信息和链路节点比重信息，对数据处理链路进行链路分析处理，得到数据处理链路的分析结果；基于分析结果对所述数据处理表进行调整处理，得到调整后数据处理表，以实现对数据处理链路的优化。
[0027]以下分别进行详细说明，需要说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
[0028]本申请实施例将从数据链路处理装置的角度进行描述，该数据链路处理装置可以集成在计算机设备。
[0029]如图1所示，提供了一种数据链路处理方法，具体流程包括：
[0030]101、获取数据处理表，对数据处理表进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据链路处理方法，其特征在于，包括：获取数据处理表，对所述数据处理表进行解析处理，得到所述数据处理表对应的数据处理链路；对所述数据处理表对应的数据处理链路进行层级判别处理，得到所述数据处理链路对应的层级判别结果；基于所述层级判别结果，对所述数据处理链路进行识别处理，得到所述数据处理链路的链路分布信息和链路节点比重信息；根据所述数据处理链路的链路分布信息和链路节点比重信息，对所述数据处理链路进行链路分析处理，得到所述数据处理链路的分析结果；基于所述分析结果对所述数据处理表进行调整处理，得到调整后数据处理表，以实现对所述数据处理链路的优化。2.根据权利要求1所述的方法，其特征在于，所述对所述数据处理表进行解析处理，得到所述数据处理表对应的数据处理链路，包括：对所述数据处理表进行遍历处理，得到所述数据处理表对应的数据处理字段；在预设存储数据库中搜索和所述数据处理字段相关联的关联数据处理表；将所述数据处理表和所述关联数据处理表进行串联处理，得到所述数据处理链路。3.根据权利要求1所述的方法，其特征在于，所述对所述数据处理表对应的数据处理链路进行层级判别处理，得到所述数据处理链路对应的层级判别结果，包括：对所述数据处理链路进行层级识别处理，得到所述数据处理链路对应的物理层级信息和逻辑层级信息；将所述数据处理链路的逻辑层级信息和预设逻辑层级判别条件进行匹配处理；当所述逻辑层级信息符合所述预设逻辑层级判别条件时，对所述数据处理链路的物理层级信息进行判别处理，得到所述数据处理链路对应的层级判别结果。4.根据权利要求3所述的方法，其特征在于，所述当所述逻辑层级信息符合所述预设逻辑层级判别条件时，对所述数据处理链路的物理层级信息进行判别处理，得到所述数据处理链路对应的层级判别结果，包括：当所述逻辑层级信息符合所述预设逻辑层级判别条件时，根据所述逻辑层级信息生成物理层级判别条件；将所述数据处理链路的物理层级信息和所述物理层级判别条件进行匹配处理；当所述物理层级信息符合所述物理层级判别条件时，生成所述数据处理链路通过层级判别的层级判别结果。5.根据权利要求3或4所述的方法，其特征在于，所述方法还包括：当所述数据处理链路不通过层级判别时，基于所述层级判别结果对所述数据处理表进行调整处理，得到调整后数据处理表，以实现对所述数据处理链路的优化。6.根据权利要求1所述的方法，其特征在于，所述基于所述层级判别结果，对所述数据处理链路进行识别处理，得到所述数据处理链路的链路分布信息和链路节点比重信息，包括：基于所述层级判别结果，对所述数据处理链路进行特征提取，得到所述数据处理链路的特征信息；
对所述数据处理链路的特征信息进行特征挖掘，得到所述数据处理链路的深度特征信息；对所述数据处理链路的深度特征信息进行预测处理，得到所述数据处理链路的...

【专利技术属性】
技术研发人员：刘亚，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：