一种大数据传输优化方法及系统技术方案

本发明专利技术涉及数据处理技术领域，提供了一种大数据传输优化方法及系统，所述方法包括：获取待传输的数据资源库，连接至云处理器中，对数据存储格式进行分析，得到数据类型，判断是否激活数据格式转化条件，若数据类型激活数据格式转化条件，获取待转化数据资源根据转化指令，对待转化数据资源进行数据转化，得到数据转化结果，更新数据资源库，获取优化数据资源库，生成多个优化指标，对数据传输通道的传输参数进行优化配置，通过优化传输参数进行传输控制。解决数据传输稳定性低，进而导致大数据传输效率低的技术问题，实现对传输信道进行优化配置，排除传输导致的数据缺失、混乱、重复，提高数据传输稳定性，保证大数据传输效率的技术效果。术效果。术效果。

【技术实现步骤摘要】
一种大数据传输优化方法及系统


[0001]本专利技术涉及数据处理相关
，具体涉及一种大数据传输优化方法及系统。

技术介绍

[0002]在进行数据包传送过程中，常见的，因网络干扰、部分数据不可读、部分数据暂时无法获取(如实时采集所得数据，需要在完成采集后，在同步至数据存储端)、信息遗漏(如采集设备故障、传输媒体故障等原因导致的数据丢失)等相关异常的发生，均会造成数据缺失，在大数据传输方面，需要进行优化监督管理。
[0003]常见的，采用数据清洗的方式，排除数据缺失、混乱、重复，数据清洗即从记录集、表或数据库中检测和修正(或删除)受损或不准确记录的过程，识别出数据中不完善、不准确或不相关的部分，并替换、修改或删除这些脏乱的数据，但数据清洗的执行过程耗时，无法满足用户传输需求。
[0004]综上可知，亟需构建满足用户传输需求的大数据传输优化系统，同步监督数据传输过程，排除数据缺失、混乱、重复，分别从数据发送端与数据接收端，对传输信道进行优化配置，为保证数据传输过程的可读性提供支持。
[0005]综上所述，现有技术中存在数据传输稳定性低，进而导致大数据传输效率低的技术问题。

技术实现思路

[0006]本申请通过提供了一种大数据传输优化方法及系统，旨在解决现有技术中的数据传输稳定性低，进而导致大数据传输效率低的技术问题。
[0007]鉴于上述问题，本申请实施例提供了一种大数据传输优化方法及系统。
[0008]本申请公开的第一个方面，提供了一种大数据传输优化方法，其中，所述方法应用于大数据传输优化系统，所述系统与云处理器通信连接，所述方法包括：获取用于进行待传输的数据资源库；将所述数据资源库连接至所述云处理器中，对所述数据资源库中的数据存储格式进行分析，得到数据类型；基于所述数据类型，判断是否激活数据格式转化条件，若所述数据类型激活所述数据格式转化条件，获取待转化数据资源；所述云处理器根据转化指令，对所述待转化数据资源进行数据转化，得到数据转化结果；根据所述数据转化结果更新所述数据资源库，获取优化数据资源库；基于所述优化数据资源库，生成多个优化指标；按照所述多个优化指标对数据传输通道的传输参数进行优化配置，以输出的优化传输参数进行传输控制。
[0009]本申请公开的另一个方面，提供了一种大数据传输优化系统，其中，所述方法包括：区资源库获取模块，用于获取用于进行待传输的数据资源库；数据类型获取模块，用于将所述数据资源库连接至云处理器中，对所述数据资源库中的数据存储格式进行分析，得到数据类型；数据资源获取模块，用于基于所述数据类型，判断是否激活数据格式转化条件，若所述数据类型激活所述数据格式转化条件，获取待转化数据资源；转化结果获取模
块，用于所述云处理器根据转化指令，对所述待转化数据资源进行数据转化，得到数据转化结果；优化资源库获取模块，用于根据所述数据转化结果更新所述数据资源库，获取优化数据资源库；优化指标生成模块，用于基于所述优化数据资源库，生成多个优化指标；传输控制模块，用于按照所述多个优化指标对数据传输通道的传输参数进行优化配置，以输出的优化传输参数进行传输控制。
[0010]本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：
[0011]由于采用了获取用于进行待传输的数据资源库，连接至云处理器中，对数据资源库中的数据存储格式进行分析，得到数据类型，判断是否激活数据格式转化条件，若数据类型激活数据格式转化条件，获取待转化数据资源；云处理器根据转化指令，对待转化数据资源进行数据转化，得到数据转化结果，更新数据资源库，获取优化数据资源库，生成多个优化指标，对数据传输通道的传输参数进行优化配置，以输出的优化传输参数进行传输控制，实现了针对数据传输过程的数据格式转化等易出现数据缺失、混乱、重复步骤，对传输信道进行优化配置，排除传输导致的数据缺失、混乱、重复，提高数据传输稳定性，保证大数据传输效率的技术效果。
[0012]上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
[0013]图1为本申请实施例提供了一种大数据传输优化方法可能的流程示意图；
[0014]图2为本申请实施例提供了一种大数据传输优化方法中获取激活指令可能的流程示意图；
[0015]图3为本申请实施例提供了一种大数据传输优化方法中生成多个优化指标可能的流程示意图；
[0016]图4为本申请实施例提供了一种大数据传输优化系统可能的结构示意图。
[0017]附图标记说明：资源库获取模块100，数据类型获取模块200，数据资源获取模块300，转化结果获取模块400，优化资源库获取模块500，优化指标生成模块600，传输控制模块700。
具体实施方式
[0018]本申请提供的技术方案总体思路如下：
[0019]本申请实施例提供了大数据传输过程中，易出现出现数据缺失、混乱、重复等数据异常，在数据传输过程进行优化配置优化，可以在传输过程排除传输导致的数据缺失、混乱、重复的发生。
[0020]在介绍了本申请基本原理后，下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。
[0021]实施例一
[0022]如图1所示，本申请实施例提供了一种大数据传输优化方法，其中，所述方法应用于大数据传输优化系统，所述系统与云处理器通信连接，所述方法包括：
[0023]S10：获取用于进行待传输的数据资源库；
[0024]S20：将所述数据资源库连接至所述云处理器中，对所述数据资源库中的数据存储格式进行分析，得到数据类型；
[0025]具体而言，所述数据资源库包括多种数据类型，常见的，所述数据资源库以“0”或“1”的形式存储字节单元中，常见的，数据首部包括地址信息、标识信息与验证信息，通过数据首部所包含的地址信息，将所述数据资源库连接至所述云处理器中，对所述数据资源库中的数据存储格式(数据总长度＝地址信息长度+标识信息长度+验证信息长度+有效数据信息长度，数据存储格式即对应为地址信息、标识信息、验证信息、有效数据信息)进行分析，确定包含有效数据信息对应的数据字段，对包含有效数据信息对应的数据字段进行数据类型辨识(采用“读”操作进行数据类型辨识)，获取数据类型，所述数据类型即基本数据类型，所述基本数据类型一般包括：byte：8位、short：16位、int：32位、long：64位)，为后续进行数据传输提供基础。
[0026]S30：基于所述数据类型，判断是否激活数据格式转化条件，若所述数据类型激活所述数据格式转化条件，获取待转化数据资源；
[0027]如图2所示，步骤S30包括步骤：
[0028]S31：基于所述数据类型进行数据传输速率影响度分析，获得速率影响系数；
[0029]S32：将所述速率影响系数输入转化本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据传输优化方法，其特征在于，所述方法应用于大数据传输优化系统，所述系统与云处理器通信连接，所述方法包括：获取用于进行待传输的数据资源库；将所述数据资源库连接至所述云处理器中，对所述数据资源库中的数据存储格式进行分析，得到数据类型；基于所述数据类型，判断是否激活数据格式转化条件，若所述数据类型激活所述数据格式转化条件，获取待转化数据资源；所述云处理器根据转化指令，对所述待转化数据资源进行数据转化，得到数据转化结果；根据所述数据转化结果更新所述数据资源库，获取优化数据资源库；基于所述优化数据资源库，生成多个优化指标；按照所述多个优化指标对数据传输通道的传输参数进行优化配置，以输出的优化传输参数进行传输控制。2.如权利要求1所述的方法，其特征在于，所述方法还包括：获取传输网络环境的信息；根据所述传输网络环境的信息，得到载波信道的传输幅度和传输速度；按照所述载波信道的传输幅度和传输速度进行传输质量分析，得到传输质量指标，其中，所述传输质量指标用于标识传输的质量大小；根据所述传输质量指标，生成约束条件，用于对所述数据传输通道的传输参数进行优化约束。3.如权利要求2所述的方法，其特征在于，按照所述载波信道的传输幅度和传输速度进行传输质量分析，得到传输质量指标，还包括：采集所述载波信道的历史传输数据集，其中，所述历史传输数据集包括传输数据包的信息，以及各个数据包进行传输时对应的历史幅度和历史传输速度；按照所述历史传输数据集对各个数据包进行传输质量分析，得到与所述各个数据包对应的各个质量指标；对所述各个质量指标进行均值计算，输出均值质量指标；将所述均值质量指标作为所述传输质量指标进行输出。4.如权利要求1所述的方法，其特征在于，所述方法还包括：基于所述数据类型进行数据传输速率影响度分析，获得速率影响系数；将所述速率影响系数输入转化分析模块中，其中，所述转化分析模块中嵌有所述数据格式转化条件，所述数据格式转化条件包括预设速率影响系数；判断所述速率影响系数是否大于所述预设速率影响系数；若所述速率影响系数大于所述预设速率影响系数，获取激活指令。5...

【专利技术属性】
技术研发人员：祁铠，
申请(专利权)人：武汉骏信达信息咨询有限公司，
类型：发明
国别省市：