本发明专利技术公开了一种大数据平台的数据传输方法、装置及大数据平台，其中该方法包括：获取大数据平台中多个数据节点的数据接收发送记录；根据所述数据接收发送记录，确定所述多个数据节点之间的数据传输路径统计信息；根据所述数据传输路径统计信息，确定出所述多个数据节点之间的数据传输积压情况；根据所述数据传输积压情况，生成传输指令；所述传输指令用于指示任一所述数据节点在任一时间段接收任一其他所述数据节点反向传输的数据，或是停止向任一其他所述数据节点传输数据，来缓解所述数据传输积压情况。可见，本发明专利技术能够合理地控制大数据平台之中的数据传输，使得大数据平台的数据传输更加流畅和高效，减少因数据积压而导致的出错。致的出错。致的出错。
【技术实现步骤摘要】
大数据平台的数据传输方法、装置及大数据平台
[0001]本专利技术涉及数据传输
，尤其涉及一种大数据平台的数据传输方法、装置及大数据平台。
技术介绍
[0002]随着数据时代的到来，大数据平台越来越广泛地应用于各个领域中，工程师们开始借用大数据平台中的多个数据节点来实现分布式计算和分布式储存，以实现更加高效的数据分析和数据处理。但现有的大数据平台，没有综合数据节点之间的传输规律来合理控制数据节点之间的数据传输，从而使得数据传输中经常因为传输策略的失误而导致数据积压以及进一步的数据出错，可见现有技术存在缺陷，亟待解决。
技术实现思路
[0003]本专利技术所要解决的技术问题在于，提供一种大数据平台的数据传输方法、装置及大数据平台，能够结合数据传输记录来合理地控制大数据平台之中的数据传输，使得大数据平台的数据传输更加流畅和高效，减少因数据积压而导致的出错。
[0004]为了解决上述技术问题，本专利技术第一方面公开了一种大数据平台的数据传输方法，所述方法包括：
[0005]获取大数据平台中多个数据节点的数据接收发送记录；
[0006]根据所述数据接收发送记录，确定所述多个数据节点之间的数据传输路径统计信息；
[0007]根据所述数据传输路径统计信息，确定出所述多个数据节点之间的数据传输积压情况；
[0008]根据所述数据传输积压情况，生成传输指令；所述传输指令用于指示任一所述数据节点在任一时间段接收任一其他所述数据节点反向传输的数据，或是停止向任一其他所述数据节点传输数据，来缓解所述数据传输积压情况。
[0009]作为一种可选的实施方式，在本专利技术第一方面中，所述数据传输路径统计信息包括不同所述数据节点之间在多个时间段的传输次数和传输数据量。
[0010]作为一种可选的实施方式，在本专利技术第一方面中，所述根据所述数据传输路径统计信息，确定出所述多个数据节点之间的数据传输积压情况，包括：
[0011]根据所述数据传输路径统计信息，确定多个历史时间段中每一所述数据节点的输出数据量和输入数据量；
[0012]根据每一所述历史时间段中每一所述数据节点的输出数据量和输入数据量之差，确定所述数据节点在所述历史时间段的数据储存量；
[0013]根据每一所述历史时间段中所有所述数据节点的数据储存量，以及基于正态分布的异常数据分析方法，确定出每一所述历史时间段中所述数据储存量为异常数据的异常数据节点的个数；
[0014]基于正态分布的异常数据分析方法，将所有所述历史时间段中，对应的所述异常数据节点的个数为异常数据的历史时间段，确定为异常时间段；
[0015]确定所述异常时间段中的所有所述异常数据节点中，所述数据储存量大于中间值的数据节点为积压节点，所述数据储存量小于所述中间值的数据节点为空闲节点；所述中间值根据所有所述异常数据节点的数据储存量的平均值计算得到。
[0016]作为一种可选的实施方式，在本专利技术第一方面中，所述根据所述数据传输积压情况，生成传输指令，包括：
[0017]基于当前时间段的时间元素，判断所述当前时间段与所述异常时间段是否相似；所述时间元素包括月、日、时、分、秒中的至少一种；
[0018]当判断结果为是时，生成传输指令；所述传输指令用于，指示所述积压节点的数据输出量大于数据输入量；和/或，所述空闲节点的数据输入量大于数据输出量；和/或，所述积压节点对于所述空闲节点传输的数据的接收比重降低；和/或，所述空闲节点对于所述积压节点传输的数据的接收比重升高。
[0019]作为一种可选的实施方式，在本专利技术第一方面中，所述生成传输指令，包括：
[0020]确定任一所述数据节点的当前传输数据的数据类型；所述数据类型包括本地数据、全域数据和处理后数据中的至少一种；
[0021]根据所述数据类型，确定所述数据节点的数据传输参数；所述数据传输参数包括数据传输频率、数据传输包大小和数据传输机制中的至少一种；
[0022]在针对任一所述数据节点生成传输指令时，将所述数据传输参数作为所述传输指令的参数，以指示所述数据节点的传输。
[0023]作为一种可选的实施方式，在本专利技术第一方面中，所述方法还包括：
[0024]获取任一用户对至少一次所述数据节点之间的数据传输的用户评价；所述用户评价包括数据可用度评价、传输及时性评价和数据完备性评价中的至少一种；
[0025]根据所述用户评价，确定任一所述数据节点的数据传输评分；
[0026]在生成所述传输指令时，根据所述数据传输评分，确定所述传输指令所指示的任一所述数据节点的传输任务量比重；所述传输任务量比重与所述数据传输评分成正比。
[0027]作为一种可选的实施方式，在本专利技术第一方面中，所述方法还包括：
[0028]获取任一所述数据节点的历史数据传输参数；所述历史数据传输参数包括历史传输用时、历史传输频率和历史传输内容中的至少一种；
[0029]根据所述历史数据传输参数，建立任一所述数据节点对应的节点画像；
[0030]在生成所述传输指令时，根据所述数据传输评分和所述节点画像，确定所述传输指令所指示的任一所述数据节点的传输策略。
[0031]本专利技术第二方面公开了一种大数据平台的数据传输装置，其包括：
[0032]获取模块，用于获取大数据平台中多个数据节点的数据接收发送记录；
[0033]统计模块，用于根据所述数据接收发送记录，确定所述多个数据节点之间的数据传输路径统计信息；
[0034]分析模块，用于根据所述数据传输路径统计信息，确定出所述多个数据节点之间的数据传输积压情况；
[0035]生成模块，用于根据所述数据传输积压情况，生成传输指令；所述传输指令用于指
示任一所述数据节点在任一时间段接收任一其他所述数据节点反向传输的数据，或是停止向任一其他所述数据节点传输数据，来缓解所述数据传输积压情况。
[0036]作为一种可选的实施方式，在本专利技术第二方面中，所述数据传输路径统计信息包括不同所述数据节点之间在多个时间段的传输次数和传输数据量。
[0037]作为一种可选的实施方式，在本专利技术第二方面中，所述分析模块根据所述数据传输路径统计信息，确定出所述多个数据节点之间的数据传输积压情况的具体方式，包括：
[0038]根据所述数据传输路径统计信息，确定多个历史时间段中每一所述数据节点的输出数据量和输入数据量；
[0039]根据每一所述历史时间段中每一所述数据节点的输出数据量和输入数据量之差，确定所述数据节点在所述历史时间段的数据储存量；
[0040]根据每一所述历史时间段中所有所述数据节点的数据储存量，以及基于正态分布的异常数据分析方法，确定出每一所述历史时间段中所述数据储存量为异常数据的异常数据节点的个数；
[0041]基于正态分布的异常数据分析方法，将所有所述历史时间段中，对应的所述异常数据节点的个数为异常数据的历史时间段，确定为本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种大数据平台的数据传输方法，其特征在于，所述方法包括：获取大数据平台中多个数据节点的数据接收发送记录；根据所述数据接收发送记录，确定所述多个数据节点之间的数据传输路径统计信息；根据所述数据传输路径统计信息，确定出所述多个数据节点之间的数据传输积压情况；根据所述数据传输积压情况，生成传输指令；所述传输指令用于指示任一所述数据节点在任一时间段接收任一其他所述数据节点反向传输的数据，或是停止向任一其他所述数据节点传输数据，来缓解所述数据传输积压情况。2.根据权利要求1所述的大数据平台的数据传输方法，其特征在于，所述数据传输路径统计信息包括不同所述数据节点之间在多个时间段的传输次数和传输数据量。3.根据权利要求1所述的大数据平台的数据传输方法，其特征在于，所述根据所述数据传输路径统计信息，确定出所述多个数据节点之间的数据传输积压情况，包括：根据所述数据传输路径统计信息，确定多个历史时间段中每一所述数据节点的输出数据量和输入数据量；根据每一所述历史时间段中每一所述数据节点的输出数据量和输入数据量之差，确定所述数据节点在所述历史时间段的数据储存量；根据每一所述历史时间段中所有所述数据节点的数据储存量，以及基于正态分布的异常数据分析方法，确定出每一所述历史时间段中所述数据储存量为异常数据的异常数据节点的个数；基于正态分布的异常数据分析方法，将所有所述历史时间段中，对应的所述异常数据节点的个数为异常数据的历史时间段，确定为异常时间段；确定所述异常时间段中的所有所述异常数据节点中，所述数据储存量大于中间值的数据节点为积压节点，所述数据储存量小于所述中间值的数据节点为空闲节点；所述中间值根据所有所述异常数据节点的数据储存量的平均值计算得到。4.根据权利要求3所述的大数据平台的数据传输方法，其特征在于，所述根据所述数据传输积压情况，生成传输指令，包括：基于当前时间段的时间元素，判断所述当前时间段与所述异常时间段是否相似；所述时间元素包括月、日、时、分、秒中的至少一种；当判断结果为是时，生成传输指令；所述传输指令用于，指示所述积压节点的数据输出量大于数据输入量；和/或，所述空闲节点的数据输入量大于数据输出量；和/或，所述积压节点对于所述空闲节点传输的数据的接收比重降低；和/或，所述空闲节点对于所述积压节点传输的数据的接收比重升高。5.根据权利要求4所述的大数据平台的数据传输方法，其特征在于，所述生成传输指令，包括：确定任一所述数据节点的当前传输数据的数据类型...
【专利技术属性】
技术研发人员：程社文，刘保全，黄偲健，程灿，
申请(专利权)人：广州华旻信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。