文件管理方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种文件管理方法、装置、计算机设备和存储介质。该方法包括：获取待存储的子文件；按照所述子文件的目标文件类型，将所述子文件缓存在与所述目标文件类型对应的文件包中；将所述文件包按照预设的落盘条件落盘存储；其中，同一个文件包中的子文件的生命周期相同，不同的文件包中的子文件的生命周期不同。采用本方法能够减少磁盘操作次数，节约系统资源。

Document management methods, devices, computer equipment and storage media

【技术实现步骤摘要】
文件管理方法、装置、计算机设备和存储介质
本申请涉及计算机
，特别是涉及一种文件管理方法、装置、计算机设备和存储介质。
技术介绍
随着计算机技术的发展，人们生产和生活中涉及到的数据量越来越多，因此对于数据的有效存储和读取成为了提高人们作业效率所关注的重点方向。例如在公安的监控系统中，常常涉及对监控设备获取的视图库的管理。以视图库的管理为例，视图库在进行存储的时候，是按照一个一个的小文件的采集时间顺序，依次存入一个文件包，也即将各个类型的小文件混合存入一个文件包。各个类型的小文件生命周期不同，当文件包中某个小文件到达生命周期而被删除时，该文件包中的其他小文件可能还未达到生命周期而不能删除，这将导致整个文件包所在存储空间都无法被回收。此时，虽然可通过将未被删除的小文件拷贝到新的文件包后再将当前文件包删除，但是这样操作需要遍历整个文件包并读取未删除的小文件，再将其写入新的文件包，会消耗大量系统资源。
技术实现思路
基于此，有必要针对上述技术问题，提供一种节约系统资源且高效的文件管理方法、装置、计算机设备和存储介质。第一方面，本申请实施例提供一种文件管理方法，所述方法包括：获取待存储的子文件；按照所述子文件的目标文件类型，将所述子文件缓存在与所述目标文件类型对应的文件包中；其中，同一个文件包中的子文件的生命周期相同，不同的文件包中的子文件的生命周期不同；将所述文件包按照预设的落盘条件落盘存储在其中一个实施例中，所述按照所述子文件的目标文件类型，将所述子文件缓存在与所述目标文件类型对应的文件包，包括：获取已有文件包对应的文件类型集合；若所述文件类型集合中存在所述目标文件类型，且所述目标文件类型对应的已有文件包未满，则将所述子文件缓存在与所述目标文件类型对应的目标文件包中；若所述文件类型集合中不存在所述目标文件类型或所述目标文件类型对应的已有文件包已满，则根据所述目标文件类型创建目标文件包，并将所述子文件缓存在与所述目标文件类型对应的所述目标文件包中。在其中一个实施例中，所述子文件按照预设结构进行缓存，所述预设结构依次包括：文件前缀、文件标识、文件大小、文件数据内容和循环冗余CRC校验码；其中，所述文件前缀用于区分一个子文件的开始。在其中一个实施例中，所述方法还包括：构建所述子文件的索引信息；其中，所述索引信息包括：文件标识、文件归属于的文件包标识、文件大小、相对于所在文件包的文件偏移量、是否删除标识、文件类型、入库时间，所述入库时间用于表征所述子文件存入文件包的时间；根据所述索引信息更新未存入所述子文件对应的文件包的未存入索引信息表和索引信息表。在其中一个实施例中，所述将所述文件包按照预设的落盘条件落盘存储，包括：当所述文件包的大小大于或等于预设的文件包容量阈值时，将所述文件包落盘存储；或者当所述文件包自创建以来的创建时长大于或等于预设的文件包的落盘周期阈值时，将所述文件包落盘存储；返回文件落盘成功信息，并清除所述文件包对应的所述未存入索引信息表。在其中一个实施例中，所述方法还包括：接收用户端发送的待读取子文件的文件标识；根据所述待读取子文件的文件标识，在所述索引信息表中进行查找，得到所述待读取子文件的索引信息；获取所述待读取子文件的索引信息中，所述待读取子文件所在的目标文件包的文件包标识和相对于所述目标文件包的文件偏移量；根据所述目标文件包的文件包标识、以及所述待读取子文件相对于所述目标文件包的文件偏移量，读取所述待读取子文件。在其中一个实施例中，所述获取所述待读取子文件的索引信息中，所述待读取子文件所在的目标文件包的文件包标识和相对于所述目标文件包的文件偏移量之前，还包括：获取所述待读取子文件的索引信息中所述是否删除标识的目标特征值；若所述目标特征值为第一预设值，则返回子文件不存在结果；若所述目标特征值为第二预设值，则执行获取所述待读取子文件的索引信息中，所述待读取子文件所在的目标文件包的文件包标识和相对于所述目标文件包的文件偏移量的步骤。在其中一个实施例中，所述方法还包括：当所述文件包中所有子文件的存储时长达到所述生命周期时，删除所述文件包中的子文件并释放所述文件包的存储空间；其中，所述子文件的存储时长为当前时刻距离所述子文件所在的文件包落盘存储的落盘时刻的时长，或者所述子文件的存储时长为当前时刻距离所述子文件的入库时间的时长。在其中一个实施例中，所述方法还包括：接收用户端发送的待删除子文件的文件标识；根据所述待删除子文件的文件标识查询所述索引信息表，将所述待删除子文件的是否删除标识的特征值设置为第一预设值；当满足以下条件至少之一，删除所述文件包中的子文件并释放所述文件包的存储空间：所述待删除子文件所在文件包的所有子文件的是否删除标识的特征值均为第一预设值；所述待删除子文件所在文件包中的所有未删除子文件的存储时长均达到所述生命周期；所述未删除子文件为是否删除标识的特征值为第二预设值的子文件，所述子文件的存储时长为当前时刻距离所述子文件所在的文件包落盘存储的落盘时刻的时长，或者所述子文件的存储时长为当前时刻距离所述子文件的入库时间的时长。在其中一个实施例中，所述方法还包括：当接收到服务重启指令时，遍历所述未存入索引信息表以获取所述未存入索引信息表中子文件的文件标识；根据所述未存入索引信息表中的文件标识，从缓存服务中获取所述待存储的子文件，并将所述待存储子文件缓存在与所述目标文件类型对应的文件包中。第二方面，本申请实施例提供一种文件管理装置，所述装置包括：获取模块，用于获取待存储的子文件；处理模块，用于按照所述子文件的目标文件类型，将所述子文件缓存在与所述目标文件类型对应的文件包中；其中，同一个文件包中的子文件的生命周期相同，不同的文件包中的子文件的生命周期不同；存储模块，用于将所述文件包按照预设的落盘条件落盘存储第三方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取待存储的子文件；按照所述子文件的目标文件类型，将所述子文件缓存在与所述目标文件类型对应的文件包中；其中，同一个文件包中的子文件的生命周期相同，不同的文件包中的子文件的生命周期不同；将所述文件包按照预设的落盘条件落盘存储。第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取待存储的子文件；按照所述子文件的目标文件类型，将所述子文件缓存在与所述目标文件类型对应的文件包中；其中，同一个文件包中的子文件的生命周期相同，不同的文件包中的子文件的生命周期不同；将所述文件包按照预设的落盘条件落盘存储。上述文件管理方法、装置、计算机设备和存储介本文档来自技高网...

【技术保护点】
1.一种文件管理方法，其特征在于，所述方法包括：/n获取待存储的子文件；/n按照所述子文件的目标文件类型，将所述子文件缓存在与所述目标文件类型对应的文件包中；其中，同一个文件包中的子文件的生命周期相同，不同的文件包中的子文件的生命周期不同；/n将所述文件包按照预设的落盘条件落盘存储。/n

【技术特征摘要】
1.一种文件管理方法，其特征在于，所述方法包括：
获取待存储的子文件；
按照所述子文件的目标文件类型，将所述子文件缓存在与所述目标文件类型对应的文件包中；其中，同一个文件包中的子文件的生命周期相同，不同的文件包中的子文件的生命周期不同；
将所述文件包按照预设的落盘条件落盘存储。


2.根据权利要求1所述的方法，其特征在于，所述按照所述子文件的目标文件类型，将所述子文件缓存在与所述目标文件类型对应的文件包，包括：
获取已有文件包对应的文件类型集合；
若所述文件类型集合中存在所述目标文件类型，且所述目标文件类型对应的已有文件包未满，则将所述子文件缓存在与所述目标文件类型对应的目标文件包中；
若所述文件类型集合中不存在所述目标文件类型或所述目标文件类型对应的已有文件包已满，则根据所述目标文件类型创建目标文件包，并将所述子文件缓存在与所述目标文件类型对应的所述目标文件包中。


3.根据权利要求1或2所述的方法，其特征在于，所述子文件按照预设结构进行缓存，所述预设结构依次包括：文件前缀、文件标识、文件大小、文件数据内容和循环冗余CRC校验码；其中，所述文件前缀用于区分一个子文件的开始。


4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
构建所述子文件的索引信息；其中，所述索引信息包括：文件标识、文件归属于的文件包标识、文件大小、相对于所在文件包的文件偏移量、是否删除标识、文件类型、入库时间，所述入库时间用于表征所述子文件存入文件包的时间；
根据所述索引信息更新未存入所述子文件对应的文件包的未存入索引信息表和索引信息表。


5.根据权利要求4所述的方法，其特征在于，所述将所述文件包按照预设的落盘条件落盘存储，包括：
当所述文件包的大小大于或等于预设的文件包容量阈值时，将所述文件包落盘存储；和/或
当所述文件包自创建以来的创建时长大于或等于预设的文件包的落盘周期阈值时，将所述文件包落盘存储；
返回文件落盘成功信息，并清除所述文件包对应的所述未存入索引信息表。


6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
接收用户端发送的待读取子文件的文件标识；
根据所述待读取子文件的文件标识，在所述索引信息表中进行查找，得到所述待读取子文件的索引信息；
获取所述待读取子文件的索引信息中，所述待读取子文件所在的目标文件包的文件包标识和相对于所述目标文件包的文件偏移量；
根据所述目标文件包的文件包标识、以及所述待读取子文件相对于所述目标文件包的文件偏移量，读取所述待读取子文件。


7.根据权利要求6所述的方法，其特征在于，所述获取所述待读取子文件的索引信息中，所述待读取子文件所在的目标文件包的文件包标识和相对于...

【专利技术属性】
技术研发人员：夏华丽，
申请(专利权)人：北京旷视科技有限公司，青岛旷视科技有限公司，
类型：发明
国别省市：北京;11