数据传输方法、接入设备和校验设备技术

本发明专利技术实施例公开了数据传输方法、接入设备和校验设备，用于准确确定HDFS存储完成接入设备上传的文件的时间点，提高文件传输和存储的及时性，保障数据存储的完整性。本发明专利技术实施例方法包括：校验设备先接收当前存活的接入设备发送的第一时间段内已上传文件的信息，并将该信息与各当前存活的接入设备对应记录，然后确定该第一时间段内当前存活的接入设备对应的已上传文件是否都存储在HDFS，当确定都存储在HDFS中时，确定当前存活的接入设备在该第一时间段内上传到HDFS中的文件已经上传成功。

【技术实现步骤摘要】

本专利技术涉及通信领域，尤其涉及数据传输方法、接入设备和校验设备。
技术介绍
Hadoop分布式文件系统(全称：HadoopDistributedFileSystem，缩写：HDFS)集群是hadoop的底层存储平台，能够进行数据的冗余备份、达到可靠性保证等目的。其中，Hadoop是一个由Apache基金会所开发的分布式系统基础架构，使得用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。目前，利用HDFS进行文件存储的一种方式为：接入设备确定待上传文件后，将待上传文件移动到工作目录，接入设备会比较该工作目录中的文件与HDFS中存储的文件个数是否一致，若不一致则将不一致的文件(待上传文件)上传到HDFS中存储。其中，接入设备有很多个，多个接入设备均上传文件到HDFS中，因此，接入设备需要待HDFS已经将一个时间段内接入设备上传的文件都存储完成时，才进行下一个时间段的上传。目前，接入设备通过延迟时间来确定文件是否已经存储完成，例如若需要判断HDFS是否已将前一小时所有接入设备上传的文件都存储完成，则延迟一个预定时间，比如2小时，2小时候后接入设备确定前一个小时所有接入设备上传的文件都已存储完成。然而，在实际应用中，通过延迟时间确定文件是否已经存储完成导致数据及时性较差，且确定的结果并不准确，接入设备无法准确的判断何时HDFS已经存储完前一个时间段所有接入设备上传的文件，因此可能会在HDFS还没有处理完前一个时间段的文件时就发送下一个时间段的文件，导致数据丢失。
技术实现思路
本专利技术实施例提供了数据传输方法、接入设备和校验设备，用于准确确定HDFS存储完成接入设备上传的文件的时间点，提高文件传输和存储的及时性，保障数据存储的完整性。一种数据传输方法，包括：校验设备确定当前存活的接入设备，所述当前存活的接入设备中包括至少一个接入设备；所述校验设备接收所述当前存活的接入设备发送的第一时间段内已上传文件的信息，所述第一时间段为以预置第一时长为周期的任一个时间段；所述校验设备记录所述第一时间段内已上传文件的信息与所述当前存活的接入设备中各接入设备的对应关系；所述校验设备根据所述对应关系，确定所述第一时间段内所述当前存活的接入设备对应的已上传文件是否都存储在HDFS中；当确定都存储在所述HDFS中时，所述校验设备确定所述当前存活的接入设备在所述第一时间段内上传到所述HDFS中的文件已经上传成功。一种数据传输方法，包括：接入设备确定第一时间段内的待上传文件，所述第一时间段为以预置第一时长为周期的任一个时间段；所述接入设备上传所述待上传文件到HDFS；所述接入设备确定所述第一时间段内的已上传文件的信息，所述已上传文件的信息为已经上传的待上传文件的信息；所述接入设备将所述第一时间段内的已上传文件的信息发送到校验设备。一种校验设备，包括：第一确定模块，用于确定当前存活的接入设备，所述当前存活的接入设备中包括至少一个接入设备；接收模块，用于接收所述第一确定模块确定的当前存活的接入设备发送的第一时间段内已上传文件的信息，所述第一时间段为以预置第一时长为周期的任一个时间段；记录模块，用于记录所述接收模块接收的第一时间段内已上传文件的信息与所述当前存活的接入设备中各接入设备的对应关系；第二确定模块，用于根据所述记录模块记录的对应关系，确定所述第一时间段内所述当前存活的接入设备对应的已上传文件是否都存储在HDFS中；第三确定模块，用于当所述第二确定模块确定都存储在所述HDFS中时，确定所述当前存活的接入设备在所述第一时间段内上传到所述HDFS中的文件已经上传成功。一种接入设备，包括：第四确定模块，用于确定第一时间段内的待上传文件，所述第一时间段为以预置第一时长为周期的任一个时间段；上传模块，用于上传所述第四确定模块确定的待上传文件到HDFS；第五确定模块，用于确定所述第一时间段内的已上传文件的信息，所述已上传文件的信息为已经上传的待上传文件的信息；发送模块，将所述第一时间段内的已上传文件的信息发送到校验设备。从以上技术方案可以看出，本专利技术实施例具有以下优点：本专利技术实施例中校验设备先接收当前存活的接入设备发送的第一时间段内已上传文件的信息，并将该信息与各当前存活的接入设备对应记录，然后确定该第一时间段内当前存活的接入设备对应的已上传文件是否都存储在HDFS中，这样，通过对HDFS中已存储文件的检查，能确定接入设备上传的文件是否已经存储完成，且按照预置第一时长将上传和存储切割，每次仅需检查和确认其中一个时间段的文件是否存储完成，不仅保证了文件存储本身的准确性，而且保证了确认存储完成的时间点的准确性，若上传正常完成，能更快的确认存储完成，不再需要延时等待，从而可以更快的触发下一个时间段的上传和存储，提高了文件传输和存储的及时性，且仅当确认所有当前存活的接入设备在第一时间段内已上传文件都存储在HDFS时才确认存储完成，保障了数据存储的完整性。附图说明图1为本专利技术实施例中数据传输系统一个信令交互示意图；图2为本专利技术实施例中数据传输方法一个流程示意图；图3为本专利技术实施例中数据传输方法另一个流程示意图；图4为本专利技术实施例中校验设备一个结构示意图；图5为本专利技术实施例中接入设备一个结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例提供了数据传输方法、接入设备和校验设备，用于准确确定HDFS存储完成接入设备上传的文件的时间点，提高文件传输和存储的及时性，保障数据存储的完整性。需要说明的是，本专利技术实施例提供的数据传输方法应用的数据传输系统涉及多个设备间的交互，包括：接入设备，校验设备和HDFS。其中，接入设备可以为多个，每个接入设备可以接入至少一台用户PC机或其他进行数据处理的主机。请参阅图1，下面首先从该数据传输系统中各设备之间交互的角度，对本专利技术实施例中数据传输方法进行描述：101、接入设备确定第一时间段内的待上传文件；接入设备以预置第一时长为周期来确认待上传文件，将待上传文件按时间切割，本步骤中，接入设备确定第一时间段内的待上传文件，其中，该第一时间段为以该预置第一时长为周期的任一个时间段。可以理解的是，接入设备可以接入至少一台用户PC机或其他进行数据处理的主机，该PC机或主机有需要上传的数据，则接入设备可以接收或获取这些需要上传的数据，确定第一时间段内的待上传文件，例如，对于用户PC机，可能需要将用户点击广告的频次和被点击的广告标识进行上传等，对于某些服务器，可能需要将操作记录进行上传等，此处不作限定。102、接入设备上传该待上传文件到HDFS；接入设备确定第一时间段内的待上传文件后，将确定的该待上传文件上传到HDFS。103、该接入设备确定该第一时间段内的已上传文件的信息；该接入设备上传该待上传文件到HDFS后，确定该第一时间段内的已上传文件的信息，该第一时间段内的已上传文件的信息为该已经上传的该第一时间段内的待上传文件的信息。该已上传文件的本文档来自技高网...

【技术保护点】
一种数据传输方法，其特征在于，包括：校验设备确定当前存活的接入设备，所述当前存活的接入设备中包括至少一个接入设备；所述校验设备接收所述当前存活的接入设备发送的第一时间段内已上传文件的信息，所述第一时间段为以预置第一时长为周期的任一个时间段；所述校验设备记录所述第一时间段内已上传文件的信息与所述当前存活的接入设备中各接入设备的对应关系；所述校验设备根据所述对应关系，确定所述第一时间段内所述当前存活的接入设备对应的已上传文件是否都存储在HDFS中；当确定都存储在所述HDFS中时，所述校验设备确定所述当前存活的接入设备在所述第一时间段内上传到所述HDFS中的文件已经上传成功。

【技术特征摘要】
1.一种数据传输方法，其特征在于，包括：校验设备确定当前存活的接入设备，所述当前存活的接入设备中包括至少一个接入设备；所述校验设备接收所述当前存活的接入设备发送的第一时间段内已上传文件的信息，所述第一时间段为以预置第一时长为周期的任一个时间段；所述校验设备记录所述第一时间段内已上传文件的信息与所述当前存活的接入设备中各接入设备的对应关系；所述校验设备根据所述对应关系，确定所述第一时间段内所述当前存活的接入设备对应的已上传文件是否都存储在HDFS中；当确定都存储在所述HDFS中时，所述校验设备确定所述当前存活的接入设备在所述第一时间段内上传到所述HDFS中的文件已经上传成功。2.根据权利要求1所述的方法，其特征在于，所述校验设备确定当前存活的接入设备，具体包括：所述校验设备更新存活设备清单，所述存活设备清单中存储有当前存活的接入设备，所述当前存活的接入设备表示存活时间戳距离当前时刻在预置第二时长内的接入设备，所述存活时间戳由所述接入设备向所述校验设备发出的存活信号的携带。3.根据权利要求1或2所述的方法，其特征在于，所述当确定都存储在所述HDFS中时的步骤之前还包括：当确定所述当前存活的接入设备中任一个接入设备对应的已上传文件没有存储在所述HDFS中时，向工作人员发出告警通知。4.一种数据传输方法，其特征在于，包括：接入设备确定第一时间段内的待上传文件，所述第一时间段为以预置第一时长为周期的任一个时间段；所述接入设备上传所述待上传文件到HDFS；所述接入设备确定所述第一时间段内的已上传文件的信息，所述已上传文件的信息为已经上传的待上传文件的信息；所述接入设备将所述第一时间段内的已上传文件的信息发送到校验设备。5.根据权利要求4所述的方法，其特征在于，所述接入设备确定第一时间段内的待上传文件，具体包括：所述接入设备监控待上传目录内写入的文件；在所述待上传目录内，当确定第一文件在所述第一时间段内写入完成时，所述接入设备确定所述第一文件为所述第一时间段内的待上传文件。6.一种校验设备，其特征在于，包括：第一确定模块...

【专利技术属性】
技术研发人员：万春晓，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44