数据传输方法、装置、芯片系统以及可读存储介质制造方法及图纸

本申请提供了一种数据传输方法、装置、芯片系统以及可读存储介质，该方法包括：接收来自客户端的第一请求消息，第一请求消息用于请求第一服务器向第二服务器发送在第一时间段内数据类型为第一数据类型的文件，第一请求消息包括第一路径和第二路径，第一路径为采集文件的路径，第二路径为第二服务器的路径；基于第一请求消息，每隔第二时间段，获取第一路径下的文件更新时间；若这一次获取的文件更新时间与上一次获取的文件更新时间不同，则扫描第一路径下的文件以采集第一时间段内数据类型为第一数据类型的第一文件，基于第二路径向第二服务器发送第一文件。本申请有利于提高数据传输效率。传输效率。传输效率。

【技术实现步骤摘要】
数据传输方法、装置、芯片系统以及可读存储介质


[0001]本申请涉及大数据领域，尤其涉及一种数据传输方法、装置、芯片系统以及可读存储介质。

技术介绍

[0002]目前，客户端可以向服务器发送请求消息以使服务器向另一个服务器发送数据。服务器接收客户端的请求消息，基于该请求消息，可以扫描所有的文件以采集所需传输的数据，并向另一个服务器传输数据。
[0003]但是，当服务器需要向另一个服务器传输海量数据时，存在数据传输效率低的问题。

技术实现思路

[0004]本申请提供了一种数据传输方法、装置、芯片系统以及可读存储介质，有利于提高数据传输效率。
[0005]第一方面，提供了一种数据传输方法，应用于第一服务器，包括：接收来自客户端的第一请求消息，第一请求消息用于请求第一服务器向第二服务器发送在第一时间段内数据类型为第一数据类型的文件，第一请求消息包括第一路径和第二路径，第一路径为采集文件的路径，第二路径为第二服务器的路径；基于第一请求消息，每隔第二时间段，获取第一路径下的文件更新时间；若这一次获取的文件更新时间与上一次获取的文件更新时间不同，则扫描第一路径下的文件以采集第一时间段内数据类型为第一数据类型的第一文件；基于第二路径向第二服务器发送第一文件。
[0006]本申请提供的数据传输方法，每次扫描的是第一路径下发生更新的文件，不需要扫描不发生变化的文件，即将全量扫描文件更改为实时监听增量扫描，有利于减少扫描耗时，提高数据传输效率。
[0007]结合第一方面，在第一方面的某些实现方式中，基于第二路径向第二服务器发送第一文件，包括：获取第一文件的更新时间；若第一文件的文件更新时间与当前时间之差在第三时间段内，则监测第一文件的大小是否发生变化；若第一文件的大小不发生变化，向第二服务器发送第一文件。
[0008]这种实现方式，第一文件的文件更新时间与当前时间之差在第三时间段内，可以说明更新时间较近，为了避免第一文件正在更新，第一服务器可以监测第一文件的大小是否发生变化，在第一文件的大小不发生变化的情况下，传输第一文件，有利于保证数据传输的准确性，有利于避免传输的文件与第一服务器存储的文件不同。
[0009]结合第一方面，在第一方面的某些实现方式中，方法还包括：若第一文件的大小发生变化，则进入等待，直至第一文件的大小不发生变化。
[0010]这种实现方式，在第一文件的大小发生变化的情况下，等待其更新完成，再将传输第一文件，有利于保证数据传输的准确性，有利于避免传输的文件与第一服务器存储的文
件不同。
[0011]结合第一方面，在第一方面的某些实现方式中，基于第二路径向第二服务器发送第一文件，包括：通过线程基于第二路径向第二服务器发送第一文件，第一文件的数量与线程的数量相同。
[0012]这种实现方式，每个文件均可以通过一个线程传输，不同的文件可以并行传输，有利于提高文件传输效率。
[0013]结合第一方面，在第一方面的某些实现方式中，通过线程发送第一文件，包括：将第一文件所包含的数据转换为字符串；通过线程发送字符串。
[0014]这种实现方式，通过字符串进行传输，有利于提高数据传输效率。
[0015]结合第一方面，在第一方面的某些实现方式中，在基于第一请求消息，每隔第二时间段，获取第一路径下的文件更新时间之前，方法还包括：通过Kerberos对客户端进行鉴权；基于第一请求消息，每隔第二时间段，获取第一路径下的文件更新时间，包括：在鉴权通过的情况下，基于第一请求消息，每隔第二时间段，获取第一路径下的文件更新时间。
[0016]这种实现方式，通过Kerberos对客户端进行鉴权，有利于实现了客户端的安全访问控制和数据的安全共享。
[0017]结合第一方面，在第一方面的某些实现方式中，方法还包括：若满足以下一个或多个条件，则进行告警：检测到第一文件传输失败；检测到传输的文件个数不满足预设个数；检测到传输的文件所包括的数据量不满足预设数据量；或者，检测到传输的文件所包括的数据的传输次数未超过预设传输次数。
[0018]这种实现方式，若存在异常，则进行告警，有利于对文件传输进行监控。
[0019]结合第一方面，在第一方面的某些实现方式中，第一服务器为Hadoop集群。
[0020]第二方面，提供了一种数据传输装置，用于执行上述第一方面中任一种可能的实现方式中的方法。具体地，该装置包括用于执行上述第一方面中任一种可能的实现方式中的方法的模块。
[0021]第三方面，提供了一种数据传输装置，包括处理器和存储器。该处理器用于读取存储器中存储的指令，以执行上述第一方面中任一种可能实现方式中的方法。
[0022]可选地，处理器为一个或多个，存储器为一个或多个。
[0023]可选地，存储器可以与处理器集成在一起，或者存储器与处理器分离设置。
[0024]在具体实现过程中，存储器可以为非瞬时性(non
‑
transitory)存储器，例如只读存储器(read only memory，ROM)，其可以与处理器集成在同一块芯片上，也可以分别设置在不同的芯片上，本申请实施例对存储器的类型以及存储器与处理器的设置方式不做限定。
[0025]上述第三方面中的数据传输装置可以是一个芯片，该处理器可以通过硬件来实现也可以通过软件来实现，当通过硬件实现时，该处理器可以是逻辑电路、集成电路等；当通过软件来实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现，该存储器可以集成在处理器中，可以位于该处理器之外，独立存在。
[0026]第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序(也可以称为代码，或指令)当其在计算机上运行时，使得计算机执行上述第一方面中任一种可能实现方式中的方法。
[0027]第五方面，提供了一种计算机程序产品，计算机程序产品包括：计算机程序(也可以称为代码，或指令)，当计算机程序被运行时，使得计算机执行上述第一方面中任一种可能实现方式中的方法。
附图说明
[0028]图1是本申请实施例适用的一种通信场景的示意图；
[0029]图2是本申请实施例提供的一种数据传输方法的示意性流程图；
[0030]图3是本申请实施例提供的一种对文件的扫描采集方法的示意性流程图；
[0031]图4是本申请实施例提供的另一种数据传输方法的示意性流程图；
[0032]图5是本申请实施例提供的一种数据传输装置的示意性框图；
[0033]图6是本申请实施例提供的另一种数据传输装置的示意性框图。
具体实施方式
[0034]下面将结合附图，对本申请中的技术方案进行描述。
[0035]目前，客户端可以向服务器发送请求消息以使服务器向另一个服务器发送数据。服务器接收客户端的请求消息，基于该请求消息，可以扫描所有的文件以采集所需传输的数据，并向另一个服务器传输数据。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据传输方法，其特征在于，应用于第一服务器，包括：接收来自客户端的第一请求消息，所述第一请求消息用于请求所述第一服务器向第二服务器发送在第一时间段内数据类型为第一数据类型的文件，所述第一请求消息包括第一路径和第二路径，所述第一路径为采集文件的路径，所述第二路径为所述第二服务器的路径；基于所述第一请求消息，每隔第二时间段，获取所述第一路径下的文件更新时间；若这一次获取的文件更新时间与上一次获取的文件更新时间不同，则扫描所述第一路径下的文件以采集所述第一时间段内数据类型为所述第一数据类型的第一文件；基于所述第二路径向所述第二服务器发送所述第一文件。2.根据权利要求1所述的方法，其特征在于，所述基于所述第二路径向所述第二服务器发送所述第一文件，包括：获取所述第一文件的更新时间；若所述第一文件的文件更新时间与当前时间之差在第三时间段内，则监测所述第一文件的大小是否发生变化；若所述第一文件的大小不发生变化，向所述第二服务器发送所述第一文件。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：若所述第一文件的大小发生变化，则进入等待，直至所述第一文件的大小不发生变化。4.根据权利要求1所述的方法，其特征在于，所述基于所述第二路径向所述第二服务器发送所述第一文件，包括：通过线程基于所述第二路径向所述第二服务器发送所述第一文件，所述第一文件的数量与所述线程的数量相同。5.根据权利要求4所述的方法，其特征在于，所述通过线程发送所述第一文件，包括：将所述第一文件所包含的数据转换为字符串；通过线程发送所述字符串。6.根据权利要求1所述的方法，其特征在于，在所述基于所述第一请求消息，每隔第二时间段，获取所述第一路径下的文件更新时间之前，所述方法还包括：通过Kerberos对所述客户端进行鉴权；所述基于所述第一请求消息，每隔第二时间段，获取所述第一路径下的文件更新...

【专利技术属性】
技术研发人员：刘金强，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：