一种文件传输方法和装置制造方法及图纸

本发明专利技术公开了一种数据传输方法和装置。本发明专利技术中的数据传输方法包括：根据用户的输入生成配置文件，该配置文件中包括文件传输路径和文件传输路径对应的传输规则，其中，文件传输路径包括待传输文件的源地址和目标地址；根据配置文件，在文件传输路径的源地址中查找符合传输规则的文件，并将所查找到的文件传输至目标地址中，所传输的文件包括格式化数据文件和/或非格式化数据文件。本发明专利技术解决了在与Hadoop系统进行文件传输的方式中，文件传输的操作方式复杂，并且效率较低的问题。

【技术实现步骤摘要】

本专利技术涉及数据存储
，尤指一种文件传输方法和装置。
技术介绍
随着互联网的发展，在互联网的基础上发展出的物联网已普遍应用信息交换和数据传输中，为了满足用户对海量数据的存储，通常使用Apache基金会开发的分布式系统基础架构，即海杜普(Hadoop)系统存储海量数据。Hadoop系统包括分布式文件系统(HadoopDistributedFileSystem，简称为：HDFS)和分布式数据库(Hbase)，Hadoop系统存中的数据存储方式包括以文件存储方式保存于HDFS中的结构化数据文件或非结构化数据文件，对于非结构化列模式的数据，可以Hbase进行查询；Hadoop系统作为海量数据存储的平台，用户可以通过终端设备采用执行命令行实现文件的上传或下载，例如，通过PUT指令将终端设备中存储的文件上传至Hadoop系统的HDFS中，再例如，通过GET指令将Hadoop系统的HDFS中存储的文件下载到终端设备的存储器或Hadoop系统对端的关系数据库中，在上述文件传输方式中，每次执行命令行仅能支持单个文件的传输，并且每次传输的文件的数据格式是固定的，若需要传输多个文件以及不同数据格式的文件，则需要通过多次手动输入命令行的方式才能实现。然而，现有技术在与Hadoop系统进行文件传输的方式中，由于文件传输的载体，即每个命令行仅能支持单个文件的传输，且每次传输的文件的数据格式是固定的，而导致文件传输的操作方式复杂，并且效率较低的问题。
技术实现思路
为了解决上述技术问题，本专利技术提供了一种文件传输方法和装置，以解决在与Hadoop系统进行文件传输的方式中，文件传输的操作方式复杂，并且效率较低的问题。第一方面，本专利技术提供一种文件传输方法，包括：根据用户的输入生成配置文件，所述配置文件中包括文件传输路径和所述文件传输路径对应的传输规则，其中，所述文件传输路径包括待传输文件的源地址和目标地址；根据所述配置文件，在所述文件传输路径的源地址中查找符合所述传输规则的文件，并将所查找到的文件传输至所述目标地址中，所传输的文件包括格式化数据文件和/或非格式化数据文件。在第一方面的第一种可能的实现方式中，所述传输规则包括文件格式，所述在所述文件传输路径的源地址中查找符合所述传输规则的文件，并将所查找到的文件传输至所述目标地址中，包括：在所述文件传输路径的源地址中查找与所述文件格式相匹配的文件，并生成文件传输列表；根据所述文件传输列表依次将所述源地址中的相应文件传输至所述目标地址中。根据第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述文件传输路径至少包括第一路径和第二路径，所述第一路径和所述第二路径都包括至少一条所述文件传输路径，所述在所述文件传输路径的源地址中查找符合所述传输规则的文件，并将所查找到的文件传输至所述目标地址中，包括：依次在所述第一路径和所述第二路径的源地址中查找与当前文件传输路径对应的文件格式相匹配的文件，生成当前文件传输列表，并根据所述当前文件传输列表依次将所述当前文件传输路径的源地址中的相应文件传输至所述目标地址中。在第一方面的第三种可能的实现方式中，所述配置文件还包括校验模式，所述传输规则包括索引校验文件，所述在所述文件传输路径的源地址中查找符合所述传输规则的文件，并将所查找到的文件传输至所述目标地址中，包括：在所述校验模式为开启检验时，在所述文件传输路径的源地址中查找与所述索引校验文件的索引项对应的文件，并将所述查找到的文件传输至所述目标地址中；所述将所述文件传输至所述目标地址中之后，还包括：在所述校验模式为开启文件处理时，将所述索引校验文件存储至所述目标地址所属网络端的预设路径中；在所述校验模式为关闭文件处理时，删除所述索引校验文件或者将所述索引校验文件存储至所述源地址所述网络端的预设路径中。根据第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述传输规则还包括文件格式，所述在所述文件传输路径的源地址中查找符合所述传输规则的文件，并将所查找到的文件传输至所述目标地址中，还包括：在所述校验模式为关闭检验时，在所述文件传输路径的源地址中查找与所述文件格式相匹配的文件，生成文件传输列表，并根据所述文件传输列表依次将所述源地址中的相应文件传输至所述目标地址中。根据第一方面、第一方面的第一种到第四种可能的实现方式中任意一种，在第五种可能的实现方式中，所述配置文件还包括压缩模式，所述将所查找到的文件传输至所述目标地址，包括：在所述压缩模式为开启时，对所述查找到的文件进行压缩处理，将压缩处理后的文件传输至所述目标地址中；在所述压缩模式为关闭时，将所述查找到的文件传输至所述目标地址中。根据第一方面、第一方面的第一种到第四种可能的实现方式中任意一种，在第六种可能的实现方式中，所述配置文件还包括备份模式和备份地址，所述将所查找到的文件传输至所述目标地址中之后，还包括：在所述备份模式为关闭时，删除所述文件传输路径的源地址中已传输至所述目标地址的文件；在所述备份模式为开启时，将所述文件传输路径的源地址中已传输至所述目标地址的文件备份到所述源地址所属网络端的备份地址中。根据第一方面、第一方面的第一种到第四种可能的实现方式中任意一种，在第七种可能的实现方式中，所述配置文件还包括扫描时间间隔，所述在所述文件传输路径的源地址中查找符合所述传输规则的文件，并将所查找到的文件传输至所述目标地址中之后，还包括：计时时间达到所述扫描时间间隔时，根据当前配置文件在所述当前配置文件的文件传输路径的源地址中查找符合所述当前配置文件的传输规则的文件，并将所查找到的文件传输至所述当前配置文件的文件传输路径的目标地址中。第二方面，本专利技术提供一种文件传输装置，包括：配置模块，用于根据用户的输入生成配置文件，所述配置文件中包括文件传输路径和所述文件传输路径对应的传输规则，其中，所述文件传输路径包括待传输文件的源地址和目标地址；传输模块，用于根据所述配置模块生成的配置文件，在所述文件传输路径的源地址中查找符合所述传输规则的文件，并将所查找到的文件传输至所述目标地址中，所传输的文件包括格式化数据文件和/或非格式化数据文件。在第二方面的第一种可能的实现方式中，所述传输规则包括文件格式，所述传输模块包括：查找单元，用于在所述文件传输路径的源地址中查找与所述文件格式相匹配的文件，并生成文件传输列表；传输单元，用于根据所述查找单元生成的文件传输列表依次将所述源地址中的相应文件传输至所述目标地址中。根据第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述文件传输路径至少包括第一路径和第二路径，所述第一路径和所述第二路径都包括至少一条所述文件传输路径，所述查找单元，还用于依次在所述第一路径和所述第二路径的源地址中查找与当前文件传输路径对应的文件格式相匹配的文件，生成当前文件传输列表；传输单元，还用于根据所述查找单元生成的当前文件传输列表依次将所述当前文件传输路径的源地址中的相应文件传输至所述目标地址中。在第二方面的第三种可能的实现方式中，所述配置文件还包括校验模式，所述传输规则包括索引校验文件，所述传输模块还包括：判断单元，用于判断所述校验模式的状态；查找单元，还用于在所述判断单本文档来自技高网...

【技术保护点】
一种文件传输方法，其特征在于，包括：根据用户的输入生成配置文件，所述配置文件中包括文件传输路径和所述文件传输路径对应的传输规则，其中，所述文件传输路径包括待传输文件的源地址和目标地址；根据所述配置文件，在所述文件传输路径的源地址中查找符合所述传输规则的文件，并将所查找到的文件传输至所述目标地址中，所传输的文件包括格式化数据文件和/或非格式化数据文件。

【技术特征摘要】
1.一种文件传输方法，其特征在于，包括：根据用户的输入生成配置文件，所述配置文件中包括文件传输路径和所述文件传输路径对应的传输规则，其中，所述文件传输路径包括待传输文件的源地址和目标地址；根据所述配置文件，在所述文件传输路径的源地址中查找符合所述传输规则的文件，并将所查找到的文件传输至所述目标地址中，所传输的文件包括格式化数据文件和/或非格式化数据文件。2.根据权利要求1所述的文件传输方法，其特征在于，所述传输规则包括文件格式，所述在所述文件传输路径的源地址中查找符合所述传输规则的文件，并将所查找到的文件传输至所述目标地址中，包括：在所述文件传输路径的源地址中查找与所述文件格式相匹配的文件，并生成文件传输列表；根据所述文件传输列表依次将所述源地址中的相应文件传输至所述目标地址中。3.根据权利要求2所述的文件传输方法，其特征在于，所述文件传输路径至少包括第一路径和第二路径，所述第一路径和所述第二路径都包括至少一条所述文件传输路径，所述在所述文件传输路径的源地址中查找符合所述传输规则的文件，并将所查找到的文件传输至所述目标地址中，包括：依次在所述第一路径和所述第二路径的源地址中查找与当前文件传输路径对应的文件格式相匹配的文件，生成当前文件传输列表，并根据所述当前文件传输列表依次将所述当前文件传输路径的源地址中的相应文件传输至所述目标地址中。4.根据权利要求1所述的文件传输方法，其特征在于，所述配置文件还包括校验模式，所述传输规则包括索引校验文件，所述在所述文件传输路径的源地址中查找符合所述传输规则的文件，并将所查找到的文件传输至所述目标地址中，包括：在所述校验模式为开启检验时，在所述文件传输路径的源地址中查找与
\t所述索引校验文件的索引项对应的文件，并将所述查找到的文件传输至所述目标地址中；所述将所述文件传输至所述目标地址中之后，还包括：在所述校验模式为开启文件处理时，将所述索引校验文件存储至所述目标地址所属网络端的预设路径中；在所述校验模式为关闭文件处理时，删除所述索引校验文件或者将所述索引校验文件存储至所述源地址所述网络端的预设路径中。5.根据权利要求4所述的文件传输方法，其特征在于，所述传输规则还包括文件格式，所述在所述文件传输路径的源地址中查找符合所述传输规则的文件，并将所查找到的文件传输至所述目标地址中，还包括：在所述校验模式为关闭检验时，在所述文件传输路径的源地址中查找与所述文件格式相匹配的文件，生成文件传输列表，并根据所述文件传输列表依次将所述源地址中的相应文件传输至所述目标地址中。6.根据权利要求1～5中任一项所述的文件传输方法，其特征在于，所述配置文件还包括压缩模式，所述将所查找到的文件传输至所述目标地址，包括：在所述压缩模式为开启时，对所述查找到的文件进行压缩处理，将压缩处理后的文件传输至所述目标地址中；在所述压缩模式为关闭时，将所述查找到的文件传输至所述目标地址中。7.根据权利要求1～5中任一项所述的文件传输方法，其特征在于，所述配置文件还包括备份模式和备份地址，所述将所查找到的文件传输至所述目标地址中之后，还包括：在所述备份模式为关闭时，删除所述文件传输路径的源地址中已传输至所述目标地址的文件；在所述备份模式为开启时，将所述文件传输路径的源地址中已传输至所述目标地址的文件备份到所述源地址所属网络端的备份地址中。8.根据权利要求1～5中任一项所述的文件传输方法，其特征在于，所述配置文件还包括扫描时间间隔，所述在所述文件传输路径的源地址中查找符
\t合所述传输规则的文件，并将所查找到的文件传输至所述目标地址中之后，还包括：计时时间达到所述扫描时间间隔时，根据当前配置文件在所述当前配置文件的文件传输路径的源地址中查找符合所述当前配置文件的传输规则的文件，并将所查找到的文件传输至所述当前配置文件的文件传输路径的目标地址中。9.一种文件传输装置，其特征在于，包括：配置模块，用于根据用户的输入生成配置文件，所述配置文件中包括文件传输路径和所述文件传输路径对应的传输规则，其中，所述文件传输路径包括待传输文件的源地址和目标地址...

【专利技术属性】
技术研发人员：吴孝鹏，尤元建，黄增建，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东;44