上传文件到分布式文件系统的方法、装置及设备制造方法及图纸

本发明专利技术涉及一种上传到分布式文件系统的方法，包括：获取待上传文件；根据所述待上传文件所属的系统标识，获取分布式文件系统中与该系统标识对应的目标文件夹；向所述目标文件夹中上传所述待上传文件。本发明专利技术还涉及一种上传分布式文件系统的装置及设备。上述上传文件到分布式文件系统的方法、装置及设备，采用自动的方法来代替人工手动处理，一方面可以避免人力成本的增加，另一方面也可以有效降低操作失误发生的几率。

【技术实现步骤摘要】
上传文件到分布式文件系统的方法、装置及设备
本专利技术涉及软件领域，特别是涉及上传文件到分布式系统的方法、装置及设备。
技术介绍
随着云技术的发展，需要存储在服务器的数据不断增加，单个服务器的本地存储容量难以满足存储需求，所以引入分布式集群存储。而如何将本地文件准确、有序地存储在分布式文件系统HDFS集群服务器中，尤其是如何将不同文件夹中的文件上传到分布式文件系统HDFS中对应的文件夹中成了一个急需解决的问题。传统方法是用人工手动的方式来解决上述问题，但是人工手动处理，一方面会造成人力成本的增加，另一方面也会增加操作失误发生的几率。
技术实现思路
基于此，有必要提供一种自动上传文件到分布式文件系统的方法来代替人工手动处理，一方面可以避免人力成本的增加，另一方面也可以有效降低操作失误发生的几率。一种上传文件到分布式文件系统的方法，其中，所述方法包括：获取待上传文件；根据所述待上传文件所属的系统标识，获取分布式文件系统中与该系统标识对应的目标文件夹；向所述目标文件夹中上传所述待上传文件。上述上传文件到分布式文件系统的方法，采用自动的方法来代替人工手动处理，一方面可以避免人力成本的增加，另一方面也可以有效降低操作失误发生的几率。作为一种具体实施方式，其中，所述获取待上传文件的步骤之前还包括：获取上传记录；若获取成功，则在所述上传记录中获取系统标识以及系统标识对应的文件序号；根据所述系统标识以及系统标识对应的文件序号获取所述待上传文件。作为一种具体实施方式，其中，所述根据所述系统标识以及系统标识对应的文件序号获取所述待上传文件的步骤包括：判断所述文件序号是否为初始值；若是，则获取所述系统标识对应的文件夹中的第一个文件；若否，则根据所述文件序号获取所述待上传文件。作为一种具体实施方式，其中，所述向所述目标文件夹中上传所述待上传文件的步骤包括：监测所述上传文件的过程是否中断；若是，则获取上传文件所属的系统标识以及上传文件的序号；根据获取上传文件所述的系统标识以及上传文件的序号创建或更新上传记录。作为一种具体实施方式，其中，所述获取待上传文件的步骤之前还包括：搜索本地目录，获取系统标识集合；根据系统标识集合，创建或更新系统标识缓存。作为一种具体实施方式，其中，所述搜索本地目录，获取系统标识集合的步骤包括：每隔预先配置的第一时间间隔打开并读取本地目录；依次判断本地目录下的文件类型是否为文件夹；若是，则获取所述文件夹的名称，并将所述文件夹的名称加入所述系统标识集合中；若否，则继续判断目录下的下一个文件类型，直到获得本地目录下所有的文件夹的名称。作为一种具体实施方式，其中，所述获取待上传文件的步骤包括：每隔预先配置的第二时间间隔扫描一次系统标识缓存；根据所述系统标识缓存中的系统标识序列依次打开文件夹；检查所述打开的文件夹中是否存在需要上传的文件；若存在所述需要上传的文件，则得到所述待上传文件；若不存在所述需要上传的文件，则继续打开下一个文件夹，直到所述系统标识序列中所对应的文件夹均被检查。作为一种具体实施方式，其中，所述获取待上传文件的步骤包括：读取待上传文件；判断是否读取成功；若读取成功，则获取所述待上传文件的传输流，读取本地数据；若读取不成功，则程序睡眠，睡眠时间为预先配置的第三时间间隔，再次获取待上传文件。作为一种具体实施方式，其中，所述向所述目标文件夹中上传所述待上传文件的步骤包括：建立连接池并连接到所述分布式文件系统；获取并打开所述目标文件夹所对应的上传路径；向所述对应的上传路径中写入文件；判断上传所述待上传文件的操作是否成功；若上传成功，则删除已经上传的文件，关闭所述对应的文件路径；若未上传成功，则输出错误信息并更新系统日志。一种上传文件到分布式文件系统的装置，其中，所述装置包括：文件上传模块，用于获取待上传文件；目标文件夹获取模块，用于根据所述待上传文件所属的系统标识，获取分布式文件系统中与该系统标识对应的目标文件夹；文件上传模块，用于向所述目标文件夹中上传所述待上传文件。上述上传文件到分布式文件系统的装置，可以实现使用自动的方法来代替人工手动处理，一方面可以避免人力成本的增加，另一方面也可以有效降低操作失误发生的几率。作为一种具体实施方式，其中，所述装置还包括：记录获取模块，用于获取上传记录；序号获取模块，用于若获取成功，则在所述上传记录中获取系统标识以及系统标识对应的文件序号；文件查找模块，用于根据所述系统标识以及系统标识对应的文件序号获取所述待上传文件。作为一种具体实施方式，其中，所述文件查找模块还包括：序号判断单元，用于判断所述文件序号是否为初始值；标识获取单元，用于获取所述系统标识中的第一个文件；序号查找单元，用于根据所述文件序号获取所述待上传文件。作为一种具体实施方式，其中，所述装置还包括：记录获取模块，用于获取上传记录；序号获取模块，用于若获取成功，则在上传记录中获取所述待上传文件所处的系统标识以及待上传文件的序号；文件查找模块，用于根据所述待上传文件所属的系统标识以及待上传文件的序号获取所述待上传文件。作为一种具体实施方式，其中，所述文件查找模块还包括：序号判断单元，用于判断所述待上传文件的序号是否为初始值；标识获取单元，用于获取所述系统标识中的第一个文件；序号查找单元，用于根据所述上传文件的序号获取所述待上传文件。作为一种具体实施方式，其中，所述文件上传模块包括：中断监测单元，用于监测所述上传文件的过程是否中断；标识获取单元，用于若是，则获取上传文件所属的系统标识以及上传文件的序号；记录更新单元，用于根据获取上传文件所述的系统标识以及上传文件的序号创建或更新上传记录。作为一种具体实施方式，其中，所述装置还包括：集合获取模块，用于搜索本地目录，获取系统标识集合；缓存更新模块，用于根据系统标识集合，创建或更新系统标识缓存。作为一种具体实施方式，其中，所述集合获取模块包括：目录读取单元，用于每隔预先配置的第一时间间隔打开并读取本地目录；类型判断单元，用于依次判断本地目录下的文件类型是否为文件夹；集合更新单元，用于若是，则获取所述文件夹的名称，并将所述文件夹的名称加入所述系统标识集合中；目录判断单元，用于若否，则继续判断目录下的下一个文件类型，直到获得本地目录下所有的系统标识。作为一种具体实施方式，其中，所述文件获取模块包括：缓存扫描单元，用于每隔预先配置的第二时间间隔扫描一次系统标识缓存；文件夹打开单元，用于根据所述系统标识缓存中的系统标识序列依次打开文件夹；文件检查单元，用于检查所述打开的文件夹中是否存在需要上传的文件，若存在所述需要上传的文件，则得到所述待上传文件，若不存在所述需要上传的文件，则继续打开下一个文件夹，直到所述系统标识序列中所对应的文件夹均被检查。作为一种具体实施方式，其中，所述文件获取模块包括：文件读取单元，用于读取待上传文件；状态判断单元，用于判断是否读取成功；数据获取单元，用于若读取成功，则获取所述待上传文件的传输流，读取本地数据；程序睡眠单元，用于若读取不成功，则程序睡眠，睡眠时间为预先配置的第三时间间隔，再次获取待上传文件。作为一种具体实施方式，其中，所述上传模块包括：连接池建立单元，用于建立连接池并连接到所述分布式文件系统；路径获取单元，用于获取并打开所述目标本文档来自技高网...

【技术保护点】
一种上传文件到分布式文件系统的方法，其特征在于，所述方法包括：获取待上传文件；根据所述待上传文件所属的系统标识，获取分布式文件系统中与所述系统标识对应的目标文件夹；向所述目标文件夹中上传所述待上传文件。

【技术特征摘要】
1.一种上传文件到分布式文件系统的方法，其特征在于，所述方法包括：获取待上传文件；根据所述待上传文件所属的系统标识，获取分布式文件系统中与所述系统标识对应的目标文件夹；向所述目标文件夹中上传所述待上传文件。2.根据权利要求1所述的方法，其特征在于，所述获取待上传文件的步骤之前还包括：获取上传记录；若获取成功，则在所述上传记录中获取系统标识以及系统标识对应的文件序号；根据所述系统标识以及系统标识对应的文件序号获取所述待上传文件。3.根据权利要求2所述的方法，其特征在于，所述根据所述系统标识以及系统标识对应的文件序号获取所述待上传文件的步骤包括：判断所述文件序号是否为初始值；若是，则获取所述系统标识对应的文件夹中的第一个文件；若否，则根据所述文件序号获取所述待上传文件。4.根据权利要求2所述的方法，其特征在于，所述向所述目标文件夹中上传所述待上传文件的步骤包括：监测所述上传文件的过程是否中断；若是，则获取上传文件所属的系统标识以及上传文件的序号；根据获取上传文件所属的系统标识以及上传文件的序号创建或更新上传记录。5.根据权利要求1所述的方法，其特征在于，所述获取待上传文件的步骤之前还包括：搜索本地目录，获取系统标识集合；根据系统标识集合，创建或更新系统标识缓存。6.根据权利要求5所述的方法，其特征在于，所述搜索本地目录，获取系统标识集合的步骤包括：每隔预先配置的第一时间间隔打开并读取本地目录；依次判断本地目录下的文件类型是否为文件夹；若是，则获取所述文件夹的名称，并将所述文件夹的名称加入所述系统标识集合中；若否，则继续判断目录下的下一个文件类型，直到获得本地目录下所有的文件夹的名称。7.根据权利要求5所述的方法，其特征在于，所述获取待上传文件的步骤包括：每隔预先配置的第二时间间隔扫描一次系统标识缓存；根据所述系统标识缓存中的系统标识序列依次打开文件夹；检查所述打开的文件夹中是否存在需要上传的文件；若存在所述需要上传的文件，则得到所述待上传文件；若不存在所述需要上传的文件，则继续打开下一个文件夹，直到所述系统标识序列中所对应的文件夹均被检查。8.根据权利要求1所述的方法，其特征在于，所述获取待上传文件的步骤包括：读取待上传文件；判断是否读取成功；若读取成功，则获取所述待上传文件的传输流，读取本地数据；若读取不成功，则程序睡眠，睡眠时间为预先配置的第三时间间隔，再次获取待上传文件。9.根据权利要求1所述的方法，其特征在于，所述向所述目标文件夹中上传所述待上传文件的步骤包括：建立连接池并连接到所述分布式文件系统；获取并打开所述目标文件夹所对应的上传路径；向所述对应的上传路径中写入文件；判断上传所述待上传文件的操作是否成功；若上传成功，则删除已经上传的文件，关闭所述对应的文件路径；若未上传成功，则输出错误信息并更新系统日志。10.一种上传文件到分布式文件系统的装置，其特征在于，所述装置包括：文件上传模块，用于获取待上传文件；目标文件夹获取模块，用于根据所述待上传文件所属的系统标识，获取分布式文件系统中与该系统标识对应的目标文件夹；文件上传模块，用于向所述目标文件夹中上传所述待上传文件。11.根据权利...

【专利技术属性】
技术研发人员：王金龙，林勤鑫，黄卫基，
申请(专利权)人：珠海格力电器股份有限公司，
类型：发明
国别省市：广东,44