小文件归档、读取方法及装置、电子设备制造方法及图纸

本发明专利技术实施例提供了一种小文件归档、读取方法及装置、电子设备，小文件归档方法包括：当检测到归档指令时，确定归档指令所指示归档的目标小文件的目标文件属性；判断目标文件池中是否存储有第一目标文件的文件信息，第一目标文件的文件属性与目标文件属性相同；如果存储有，生成第一目标文件对应的、且针对于目标小文件的归档任务信息；当检测到第一目标文件符合归档条件时，确定第一目标文件当前所对应的归档任务信息；根据所确定出的归档任务信息所记录的映射关系，将所确定出的归档任务信息所对应的目标小文件写入第一目标文件。应用本发明专利技术实施例，减少了海量小文件归档所需的存储空间，并提高了存储海量小文件的存储效率。

【技术实现步骤摘要】
小文件归档、读取方法及装置、电子设备
本专利技术涉及文件存储和读取
，特别是涉及小文件归档、读取方法及装置、电子设备。
技术介绍
随着技术的发展，在移动通信、电子商务和访问互联网过程中常常会产生百万级、千万级，甚至百亿级的海量小文件。其中，小文件是指大小在1MB(Mbyte，兆字节)以内的文件。其中，由于一些小文件在产生后会面临：被访问的频率较低，甚至不被访问，但是又不能删除的情况，因而通常只能对这些小文件进行归档。现有的归档方式为：直接对这些小文件进行存储，并进行长周期的保存。但是，专利技术人发现，当需要进行归档的小文件数量较多时，该种归档方式会消耗大量的存储空间。
技术实现思路
本专利技术实施例的目的在于提供小文件归档、读取方法及装置、电子设备，以减少海量小文件归档所需的存储空间，从而可以降低存储压力和存储成本，并可以提高存储海量小文件的存储效率。第一方面，本专利技术实施例提供了一种小文件归档方法，所述方法可以包括：当检测到归档指令时，确定所述归档指令所指示归档的目标小文件的目标文件属性；判断目标文件池中是否存储有第一目标文件的文件信息，其中，所述第一目标文件的文件属性与所述目标文件属性相同；所述目标文件池用于存储各类文件属性的目标文件的文件信息；每个目标文件用于归档小文件；如果存储有，生成所述第一目标文件对应的、且针对于所述目标小文件的归档任务信息，其中，所述归档任务信息中至少记录有所述目标小文件与所述第一目标文件的映射关系；当检测到所述第一目标文件符合归档条件时，确定所述第一目标文件当前所对应的归档任务信息；根据所确定出的归档任务信息所记录的映射关系，将所确定出的归档任务信息所对应的目标小文件写入所述第一目标文件。可选地，所述方法应用于存储系统中的管理服务器，所述存储系统中还包括存储服务器；所述根据所确定出的归档任务信息所记录的映射关系，将所确定出的归档任务信息所对应的目标小文件写入所述第一目标文件的步骤，可以包括：确定所述第一目标文件所对应的存储服务器；向所述存储服务器下发向所述第一目标文件写入小文件的写入指令，以使得所述存储服务器利用所确定出的归档任务信息所记录的映射关系，将所确定出的归档任务信息所对应的目标小文件写入至所述第一目标文件，其中，所述写入指令中携带所述所确定出的归档任务信息。可选地，如果未存储有所述第一目标文件的文件信息，所述方法还可以包括：创建所述第一目标文件；将所述第一目标文件的文件信息添加至所述目标文件池，并继续执行所述生成所述第一目标文件对应的、且针对于所述目标小文件的归档任务信息的步骤。可选地，所述目标小文件与所述第一目标文件的映射关系可以包括：所述目标小文件在所述第一目标文件中的存储位置与所述目标小文件的对应关系；或，所述第一目标文件的存储位置与所述目标小文件的对应关系，以及所述目标小文件在所述第一目标文件中的存储位置与所述目标小文件的对应关系。可选地，所述归档任务信息中还记录有：归档状态；其中，当所述目标小文件未被写入所述第一目标文件时，所述目标小文件所对应的归档任务信息中的归档状态为未归档，当所述目标小文件被写入所述第一目标文件时，所述目标小文件所对应的归档任务信息中的归档状态为已归档；相应地，在所述根据所确定出的归档任务信息所记录的映射关系，将所确定出的归档任务信息所对应的目标小文件写入所述第一目标文件步骤之后，所述方法还包括：将所述所确定出的归档任务信息中的归档状态修改为已归档。可选地，在本专利技术实施例中，所述归档条件可以包括：创建时长超过预设时长、所对应归档任务信息中的文件的总大小超过第一预设阈值，以及所对应归档任务信息中的文件的总大小与所述第一目标文件当前大小之和超过第二预设阈值中的至少一项。第二专利技术，本专利技术实施例提供了一种小文件读取方法，所述方法可以包括：当检测到第一读取指令时，确定所述第一读取指令所指示读取的目标小文件的归档任务信息，其中，所述归档任务信息中至少记录有所述目标小文件与第一目标文件的映射关系，所述第一目标文件为存储所述目标小文件的文件；基于所述归档任务信息所记录的映射关系，从所述第一目标文件中读取所述目标小文件。可选地，所述方法应用于存储系统中的管理服务器，所述存储系统中还包括存储服务器；所述基于所述归档任务信息所记录的映射关系，从所述第一目标文件中读取所述目标小文件的步骤，可以包括：确定所述归档任务信息所对应的第一目标文件；确定所述第一目标文件所对应的存储服务器；向所述存储服务器下发第二读取指令，以使所述存储服务器在接收到所述第二读取指令后，基于所述归档任务信息所记录的映射关系，从所述第一目标文件中读取所述目标小文件，其中，所述第二读取指令中携带所述归档任务信息。可选地，所述目标小文件与第一目标文件的映射关系可以包括：所述目标小文件在所述第一目标文件中的存储位置与所述目标小文件的对应关系；或，所述第一目标文件的存储位置与所述目标小文件的对应关系，以及所述目标小文件在所述第一目标文件中的存储位置与所述目标小文件的对应关系。第三方面，本专利技术实施例提供了一种小文件归档装置，所述装置可以包括：第一确定单元，用于当检测到归档指令时，确定所述归档指令所指示归档的目标小文件的目标文件属性；判断单元，用于判断目标文件池中是否存储有第一目标文件的文件信息，其中，所述第一目标文件的文件属性与所述目标文件属性相同；所述目标文件池用于存储各类文件属性的目标文件的文件信息；每个目标文件用于归档小文件；生成单元，用于在所述目标文件池中存储有第一目标文件的文件信息时，生成所述第一目标文件对应的、且针对于所述目标小文件的归档任务信息，其中，所述归档任务信息中至少记录有所述目标小文件与所述第一目标文件的映射关系；第二确定单元，用于当检测到所述第一目标文件符合归档条件时，确定所述第一目标文件当前所对应的归档任务信息；写入单元，用于根据所确定出的归档任务信息所记录的映射关系，将所确定出的归档任务信息所对应的目标小文件写入所述第一目标文件。可选地，在本专利技术实施例中，所述装置应用于存储系统中的管理服务器，所述存储系统中还包括存储服务器；所述写入单元可以包括：第一确定子单元，用于确定所述第一目标文件所对应的存储服务器；第一发送子单元，用于向所述存储服务器下发向所述第一目标文件写入小文件的写入指令，以使得所述存储服务器利用所确定出的归档任务信息所记录的映射关系，将所确定出的归档任务信息所对应的目标小文件写入至所述第一目标文件，其中，所述写入指令中携带所述所确定出的归档任务信息。可选地，在本专利技术实施例中，所述装置还可以包括：创建单元，用于在所述目标文件池中未存储有所述第一目标文件的文件信息时，创建所述第一目标文件；添加单元，用于将所述第一目标文件的文件信息添加至所述目标文件池，并触发所述生成单元。可选地，所述目标小文件与所述第一目标文件的映射关系包括：所述目标小文件在所述第一目标文件中的存储位置与所述目标小文件的对应关系；或，所述第一目标文件的存储位置与所述目标小文件的对应关系，以及所述目标小文件在所述第一目标文件中的存储位置与所述目标小文件的对应关系。可选地，所述归档任务信息中还记录有：归档状态；其中，当所述目标小文件未被写入所述第一目标文件时，所述目标小文件所对应的归档任务信息本文档来自技高网...

【技术保护点】
1.一种小文件归档方法，其特征在于，所述方法包括：当检测到归档指令时，确定所述归档指令所指示归档的目标小文件的目标文件属性；判断目标文件池中是否存储有第一目标文件的文件信息，其中，所述第一目标文件的文件属性与所述目标文件属性相同；所述目标文件池用于存储各类文件属性的目标文件的文件信息；每个目标文件用于归档小文件；如果存储有，生成所述第一目标文件对应的、且针对于所述目标小文件的归档任务信息，其中，所述归档任务信息中至少记录有所述目标小文件与所述第一目标文件的映射关系；当检测到所述第一目标文件符合归档条件时，确定所述第一目标文件当前所对应的归档任务信息；根据所确定出的归档任务信息所记录的映射关系，将所确定出的归档任务信息所对应的目标小文件写入所述第一目标文件。

【技术特征摘要】
1.一种小文件归档方法，其特征在于，所述方法包括：当检测到归档指令时，确定所述归档指令所指示归档的目标小文件的目标文件属性；判断目标文件池中是否存储有第一目标文件的文件信息，其中，所述第一目标文件的文件属性与所述目标文件属性相同；所述目标文件池用于存储各类文件属性的目标文件的文件信息；每个目标文件用于归档小文件；如果存储有，生成所述第一目标文件对应的、且针对于所述目标小文件的归档任务信息，其中，所述归档任务信息中至少记录有所述目标小文件与所述第一目标文件的映射关系；当检测到所述第一目标文件符合归档条件时，确定所述第一目标文件当前所对应的归档任务信息；根据所确定出的归档任务信息所记录的映射关系，将所确定出的归档任务信息所对应的目标小文件写入所述第一目标文件。2.根据权利要求1所述的方法，其特征在于，所述方法应用于存储系统中的管理服务器，所述存储系统中还包括存储服务器；所述根据所确定出的归档任务信息所记录的映射关系，将所确定出的归档任务信息所对应的目标小文件写入所述第一目标文件的步骤，包括：确定所述第一目标文件所对应的存储服务器；向所述存储服务器下发向所述第一目标文件写入小文件的写入指令，以使得所述存储服务器利用所确定出的归档任务信息所记录的映射关系，将所确定出的归档任务信息所对应的目标小文件写入至所述第一目标文件，其中，所述写入指令中携带所述所确定出的归档任务信息。3.根据权利要求1或2所述的方法，其特征在于，如果未存储有所述第一目标文件的文件信息，所述方法还包括：创建所述第一目标文件；将所述第一目标文件的文件信息添加至所述目标文件池，并继续执行所述生成所述第一目标文件对应的、且针对于所述目标小文件的归档任务信息的步骤。4.根据权利要求1所述的方法，其特征在于，所述目标小文件与所述第一目标文件的映射关系包括：所述目标小文件在所述第一目标文件中的存储位置与所述目标小文件的对应关系；或，所述第一目标文件的存储位置与所述目标小文件的对应关系，以及所述目标小文件在所述第一目标文件中的存储位置与所述目标小文件的对应关系。5.根据权利要求1所述的方法，其特征在于，所述归档任务信息中还记录有：归档状态；其中，当所述目标小文件未被写入所述第一目标文件时，所述目标小文件所对应的归档任务信息中的归档状态为未归档，当所述目标小文件被写入所述第一目标文件时，所述目标小文件所对应的归档任务信息中的归档状态为已归档；相应地，在所述根据所确定出的归档任务信息所记录的映射关系，将所确定出的归档任务信息所对应的目标小文件写入所述第一目标文件步骤之后，所述方法还包括：将所述所确定出的归档任务信息中的归档状态修改为已归档。6.根据权利要求1所述的方法，其特征在于，所述归档条件，包括：创建时长超过预设时长、所对应归档任务信息中的文件的总大小超过第一预设阈值，以及所对应归档任务信息中的文件的总大小与所述第一目标文件当前大小之和超过第二预设阈值中的至少一项。7.一种小文件读取方法，其特征在于，所述方法包括：当检测到第一读取指令时，确定所述第一读取指令所指示读取的目标小文件的归档任务信息，其中，所述归档任务信息中至少记录有所述目标小文件与第一目标文件的映射关系，所述第一目标文件为存储所述目标小文件的文件；基于所述归档任务信息所记录的映射关系，从所述第一目标文件中读取所述目标小文件。8.根据权利要求7所述的方法，其特征在于，所述方法应用于存储系统中的管理服务器，所述存储系统中还包括存储服务器；所述基于所述归档任务信息所记录的映射关系，从所述第一目标文件中读取所述目标小文件的步骤，包括：确定所述归档任务信息所对应的第一目标文件；确定所述第一目标文件所对应的存储服务器；向所述存储服务器下发第二读取指令，以使所述存储服务器在接收到所述第二读取指令后，基于所述归档任务信息所记录的映射关系，从所述第一目标文件中读取所述目标小文件，其中，所述第二读取指令中携带所述归档任务信息。9.根据权利要求7所述的方法，其特征在于，所述目标小文件与第一目标文件的映射关系包括：所述目标小文件在所述第一目标文件中的存储位置与所述目标小文件的对应关系；或，所述第一目标文件的存储位置与所述目标小文件的对应关系，以及所述目标小文件在所述第一目标文件中的存储位置与所述目标小文件的对应关系。10.一种小文件归档装置，其特征在于，所述装置包括：第一确定单元，用于当检测到归档指令时，确定所述归档指令所指示归档的目标小文件的目标文件属性；判断单元，用于判断目标文件池中是否存储有第一目标文件的文件信息，其中，所述第一目标文件的文件属性与所述目标文件属性相同；所述目标文件池用于存储各类文件属性的目标文件的文件信息；每个目标文件用于归档小文件；生成单元，用于在所述目标文件池中存储有第一目标文件的文件信息时，生成所述第一目标文件对应的、且针对于所述目标小文件的归档任务信息，其中，所述归档任务信息中至少记录有所述目标小文件与所述第一目标文件的映射关系；第二确定单元，用于当检测到所述第一目标文件符合归档条件时，确定所述第一目标文件当前所对应的归档任务信息；写入单元，用于根据所确定出的归档任务信息所记录的映射关系，将所确定出的归档任务...

【专利技术属性】
技术研发人员：曾凡丽，林鹏，林起芊，汪渭春，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江,33