数据链路解析方法及系统技术方案

本申请提出一种数据链路解析方法及系统，涉及数据传输技术领域，通过在数据链路访问列表中获取可选数据链路，并通过生成每条可选数据链路对应的链路可靠程度，进而可以根据每条所述可选数据链路的链路可靠程度，生成每条所述可选数据链路各自对应的最大数据负载，并在生成包含最大数据负载与可选数据链路的数据链路可选地图，然后响应针对该数据链路可选地图的链路选择操作，在所述可选数据链路中确定出目标数据链路，并基于所述目标数据链路以及所述最大数据负载进行数据传输。如此，可以结合用户的链路选择操作确定出用于进行数据传输的目标数据链路，能够提升链路配置的多样性。性。性。

【技术实现步骤摘要】
数据链路解析方法及系统


[0001]本申请涉及数据传输
，具体而言，涉及一种数据链路解析方法及系统。

技术介绍

[0002]在大数据系统中，数据表和字段数量庞大、关系复杂，分析人员很难进行数据溯源；利用基于SQL(Structured Query Language，结构化查询语言)解析生成表、字段的映射关系，可以实现全链路数据血缘展示，方便用户进行数据生命周期管理。
[0003]这其中，主要涉及的技术包括：基于平台底层日志分析、提取用户执行的SQL，保证数据血缘正确性，通过跨数据库血缘分析，保证数据链路的完整性，通过实时采集日志进行增量分析，实现分钟级延迟，保证数据血缘生成实效性。
[0004]其中，构建热点分析指标，从库、表、字段等角度进行多粒度的热点分析，形成多维度、多视角的热点指标；建立数据流动的分层网络，开发基于图计算的机器学习算法，分析并预测数据资产的使用热点，为高质量、高效率数据资产管理提供指标依据。
[0005]在实现上述技术的过程中，需要将数据在不同的电子设备中进行传输，不同的电子设备之间可以通过建立多条数据链路，以增加数据传输的可靠性。
[0006]但是，现有技术在进行数据链路的选择时，往往只考虑设备端的传输需求，而忽略了用户侧的个性化配置需求，导致链路选择难以个性化配置。

技术实现思路

[0007]本申请的目的在于提供一种数据链路解析方法及系统，以解决上述的至少部分技术问题。
[0008]为了实现上述目的，本申请采用的技术方案如下：r/>[0009]本申请提供一种数据链路解析方法，所述方法包括：
[0010]在数据链路访问列表中获取可选数据链路，并基于统计丢包率生成每条所述可选数据链路对应的链路可靠程度；
[0011]根据每条所述可选数据链路对应的所述链路可靠程度，生成每条所述可选数据链路对应的最大数据负载，并生成包含所述最大数据负载和所述可选数据链路的数据链路可选地图；
[0012]响应针对所述数据链路可选地图的链路选择操作，在所述可选数据链路中确定出目标数据链路，并基于所述目标数据链路以及所述最大数据负载进行数据传输。
[0013]可选地，作为一种实施方式，所述根据每条所述可选数据链路对应的所述链路可靠程度，生成每条所述可选数据链路对应的最大数据负载，包括：
[0014]获取所有所述可选数据链路对应的平均数据负载；
[0015]根据所述平均数据负载确定所述数据链路访问列表在当前时刻的数据链路可选地图的数据负载能力阈值；
[0016]根据所述数据链路可选地图对应的预设负载能力上限值以及所述数据链路可选
地图的数据负载能力阈值，确定每条所述可选数据链路对应的期望负载能力范围；
[0017]根据所述期望负载能力范围以及每条所述可选数据链路各自对应的历史负载能力阈值，确定出每条所述可选数据链路各自对应的负载数据量的能力范围；
[0018]根据所述平均数据负载，确定每条所述可选数据链路分别对应的参考平均负载；
[0019]获取所述参考平均负载各自所在的数值区间所对应的权重比例系数；
[0020]若所述权重比例系数小于第一预设比例系数值，则将第一预设权重值确定为所述权重比例系数对应的可选数据链路的目标权重比例系数；
[0021]若所述权重比例系数大于或等于所述第一预设比例系数值且小于第二预设比例系数值，则将第二预设权重值确定为所述权重比例系数对应的负载数据量的目标权重比例系数；其中，所述第二预设权重值大于所述第一预设权重值；
[0022]若所述权重比例系数大于或等于所述第二预设比例系数值，则将第三预设权重值确定为所述权重比例系数对应的负载数据量的目标权重比例系数；其中，所述第三预设权重值大于所述第二预设权重值；
[0023]根据所述目标权重比例系数以及获取的参考配置策略，利用每个所述目标权重比例系数在所述参考配置策略中确定出每个负载数据量各自对应的参考范围调整值；
[0024]根据每个所述能力范围以及对应的每个所述参考范围调整值，生成每条所述可选数据链路对应的最大数据负载。
[0025]可选地，作为一种实施方式，所述根据每个所述能力范围以及对应的每个所述参考范围调整值，生成每条所述可选数据链路对应的最大数据负载，包括：
[0026]根据每个所述能力范围以及对应的每个所述参考范围调整值，生成所述可选数据链路对应的初始能力负载范围；
[0027]获取每条所述可选数据链路各自对应的链路类型，从链路类型配置策略表中查找出与每条所述链路类型各自相对应的链路参考负载上限；
[0028]根据每条所述可选数据链路各自对应的所述链路参考负载上限以及所述初始能力负载范围，生成每条所述可选数据链路对应的最大数据负载。
[0029]可选地，作为一种实施方式，所述根据每个所述能力范围以及对应的每个所述参考范围调整值，生成每条所述可选数据链路对应的最大数据负载，包括：
[0030]获取用户配置的每条所述可选数据链路对应的链路传输策略，并在所述链路传输策略中读取出每条所述可选数据链路各自相对应的强制链路传输阈值；
[0031]根据所述强制链路传输阈值、所述能力范围以及每个所述参考范围调整值，生成每条所述可选数据链路对应的最大数据负载。
[0032]可选地，作为一种实施方式，响应所述链路选择操作后的数据链路可选地图中包括链路信息显示窗口；
[0033]所述链路信息显示窗口用于显示所述可选数据链路中的已被选择次数和未被选择次数，所述已被选择次数和所述未被选择次数对应有不同的显示标识。
[0034]可选地，作为一种实施方式，所述链路选择操作包括第一传输效率配置操作或停止匹配操作或第二传输效率配置操作；
[0035]所述响应针对所述数据链路可选地图的链路选择操作，在所述可选数据链路中确定出目标数据链路，并基于所述目标数据链路以及所述最大数据负载进行数据传输，包括：
[0036]响应针对所述数据链路可选地图的第一传输效率配置操作，对所述数据链路可选地图中的可选数据链路进行传输效率匹配，并获取每条所述可选数据链路各自对应的传输效率匹配结果，根据每个所述传输效率匹配结果在所述链路信息显示窗口中显示出目标数据链路；其中，所述目标数据链路为对应的传输效率匹配结果最高的可选数据链路；
[0037]响应针对所述数据链路可选地图的停止匹配操作，停止对所述可选数据链路进行传输效率匹配，并在所述链路信息显示窗口中显示出预设的空链路提示信息；
[0038]响应针对所述数据链路可选地图的第二传输效率配置操作，将所有的所述可选数据链路中对应的最大数据负载为最大的一个确定为目标数据链路。
[0039]可选地，作为一种实施方式，所述在数据链路访问列表中获取可选数据链路，包括：
[0040]获取数据链路访问列表中的所有空闲数据链路以及每条所述空闲数据链路对应的数据链路配置参数；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据链路解析方法，其特征在于，所述方法包括：在数据链路访问列表中获取可选数据链路，并基于统计丢包率生成每条所述可选数据链路对应的链路可靠程度；根据每条所述可选数据链路对应的所述链路可靠程度，生成每条所述可选数据链路对应的最大数据负载，并生成包含所述最大数据负载和所述可选数据链路的数据链路可选地图；响应针对所述数据链路可选地图的链路选择操作，在所述可选数据链路中确定出目标数据链路，并基于所述目标数据链路以及所述最大数据负载进行数据传输。2.根据权利要求1所述的方法，其特征在于，所述根据每条所述可选数据链路对应的所述链路可靠程度，生成每条所述可选数据链路对应的最大数据负载，包括：获取所有所述可选数据链路对应的平均数据负载；根据所述平均数据负载确定所述数据链路访问列表在当前时刻的数据链路可选地图的数据负载能力阈值；根据所述数据链路可选地图对应的预设负载能力上限值以及所述数据链路可选地图的数据负载能力阈值，确定每条所述可选数据链路对应的期望负载能力范围；根据所述期望负载能力范围以及每条所述可选数据链路各自对应的历史负载能力阈值，确定出每条所述可选数据链路各自对应的负载数据量的能力范围；根据所述平均数据负载，确定每条所述可选数据链路分别对应的参考平均负载；获取所述参考平均负载各自所在的数值区间所对应的权重比例系数；若所述权重比例系数小于第一预设比例系数值，则将第一预设权重值确定为所述权重比例系数对应的可选数据链路的目标权重比例系数；若所述权重比例系数大于或等于所述第一预设比例系数值且小于第二预设比例系数值，则将第二预设权重值确定为所述权重比例系数对应的负载数据量的目标权重比例系数；其中，所述第二预设权重值大于所述第一预设权重值；若所述权重比例系数大于或等于所述第二预设比例系数值，则将第三预设权重值确定为所述权重比例系数对应的负载数据量的目标权重比例系数；其中，所述第三预设权重值大于所述第二预设权重值；根据所述目标权重比例系数以及获取的参考配置策略，利用每个所述目标权重比例系数在所述参考配置策略中确定出每个负载数据量各自对应的参考范围调整值；根据每个所述能力范围以及对应的每个所述参考范围调整值，生成每条所述可选数据链路对应的最大数据负载。3.根据权利要求2所述方法，其特征在于，所述根据每个所述能力范围以及对应的每个所述参考范围调整值，生成每条所述可选数据链路对应的最大数据负载，包括：根据每个所述能力范围以及对应的每个所述参考范围调整值，生成所述可选数据链路对应的初始能力负载范围；获取每条所述可选数据链路各自对应的链路类型，从链路类型配置策略表中查找出与每条所述链路类型各自相对应的链路参考负载上限；根据每条所述可选数据链路各自对应的所述链路参考负载上限以及所述初始能力负载范围，生成每条所述可选数据链路对应的最大数据负载。
4.根据权利要求2所述方法，其特征在于，所述根据每个所述能力范围以及对应的每个所述参考范围调整值，生成每条所述可选数据链路对应的最大数据负载，包括：获取用户配置的每条所述可选数据链路对应的链路传输策略，并在所述链路传输策略中读取出每条所述可选数据链路各自相对应的强制链路传输阈值；根据所述强制链路传输阈值、所述能力范围以及每个所述参考范围调整值，生成每条所述可选数据链路对应的最大数据负载。5.根据权利要求1所述的方法，其特征在于，响应所述链路选择操作后的数据链路可选地图中包括链路信息显示窗口；所述链路信息显示窗口用于显示所述可选数据链路中的已被选择次数和未被选择次数，所述已被选择次数和所述未被选择次数对应有不同的显示标识。6.根据权利要求5所述的方法，其特征在于，所述链路选择操作包括第一传输效率配置操作或停止匹配操作或第二传输效率配置操作；所述响应针对所述数据链路可选地图的链路选择操作，在所述可选数据链路中确定出目标数据链路，并基于所述目标数据链路以及所述最大数据负载进行数据传输，包括：响应针对所述数据链路可选地图的第一传输效率配置操作，对所述数据链路可选地图中的可选数据链路进行传输效率匹配，并获取每条所述可选数据链路各自对应的传输效率匹配结果，根据每个所述传输效率匹配结果在所述链路信息显示窗口中显示出目标数据链路；其中，所述目标数据链路为对应的传输效率匹配结果最高的可选数据链路；响应针对所述数据链路可选地图的停止匹配操作，停止对所述可选数据链路进行传输效率匹配，并在所述链路信息显示窗口中显示出预设的空链路提示信息；响应...

【专利技术属性】
技术研发人员：刘延锋，王维，张宇，黄启东，
申请(专利权)人：北京志翔能源技术有限公司，
类型：发明
国别省市：