数据清理方法、装置及设备、存储介质制造方法及图纸

本发明专利技术提供一种数据清理方法、装置及设备、存储介质，该方法应用于网络附属存储NAS设备，所述NAS设备存储有相连接的云存储设备中每一文件数据的文件元数据和目录元数据，所述文件元数据用于描述文件数据，所述目录元数据用于描述文件数据所属的目录；该方法包括：接收云存储设备发送的过期时间点；所述过期时间点是由所述云存储设备按照设定清理周期清理过期文件数据后发送的，所述过期时间点是指清理过期文件数据的时间点；依据所述过期时间点清理本设备存储的过期的文件元数据，在完成清理本设备存储的过期的文件元数据之后，依据所述过期时间点清理本设备存储的过期的目录元数据。提升数据清理效率。

【技术实现步骤摘要】
数据清理方法、装置及设备、存储介质
本专利技术涉及数据存储
，尤其涉及的是一种数据清理方法、装置及设备、存储介质。
技术介绍
随着网络存储技术的发展，越来越多的安防产品和安防项目中，也使用了NAS设备作为安防数据的存储媒介。网络存储与云存储技术通常结合使用，比如，用户的文件数据存储在云存储系统中，而文件数据相关的元数据则是存储在集群NAS(NetworkAttachedStorage：网络附属存储)中，由集群NAS负责数据的维护。安防行业的数据一般都有存储周期，超过存储周期的数据需要删除。相关的数据清理方式中，无论是NAS设备还是云存储设备，都需要NAS设备中的应用层来控制实现数据清理，即需要在用户的指示下一个一个删除数据，保证文件数据和文件数据相关的元数据的生命周期的一致性。但是，在一段时间内，数据量往往是巨大的，特别是卡口图片数据等。上述方式中，需要用户参与来将海量的数据一个一个删除，以维护这些海量数据的生命周期，删除效率较低，执行压力也较大。
技术实现思路
有鉴于此，本专利技术提供一种数据清理方法本文档来自技高网...

【技术保护点】
1.一种数据清理方法，其特征在于，应用于网络附属存储NAS设备，所述NAS设备存储有相连接的云存储设备中每一文件数据的文件元数据和目录元数据，所述文件元数据用于描述文件数据，所述目录元数据用于描述文件数据所属的目录；/n该方法包括：/n接收云存储设备发送的过期时间点；所述过期时间点是由所述云存储设备按照设定清理周期清理过期文件数据后发送的，所述过期时间点是指清理过期文件数据的时间点；/n依据所述过期时间点清理本设备存储的过期的文件元数据，在完成清理本设备存储的过期的文件元数据之后，依据所述过期时间点清理本设备存储的过期的目录元数据。/n

【技术特征摘要】
1.一种数据清理方法，其特征在于，应用于网络附属存储NAS设备，所述NAS设备存储有相连接的云存储设备中每一文件数据的文件元数据和目录元数据，所述文件元数据用于描述文件数据，所述目录元数据用于描述文件数据所属的目录；
该方法包括：
接收云存储设备发送的过期时间点；所述过期时间点是由所述云存储设备按照设定清理周期清理过期文件数据后发送的，所述过期时间点是指清理过期文件数据的时间点；
依据所述过期时间点清理本设备存储的过期的文件元数据，在完成清理本设备存储的过期的文件元数据之后，依据所述过期时间点清理本设备存储的过期的目录元数据。


2.如权利要求1所述的数据清理方法，其特征在于，
依据所述过期时间点清理本设备存储的过期的文件元数据，包括：
从本设备存储的每一文件元数据表中查找出满足以下条件的目标文件元数据：创建时间与所述过期时间点之间的时长超过设定存储周期；
在目标文件元数据的数量N大于设定数量M时，分批次从文件元数据表中删除目标文件元数据，每次删除的目标文件元数据的数量小于或等于M；
在目标文件元数据的数量N小于或等于设定数量M时，直接从文件元数据表中删除N个目标文件元数据。


3.如权利要求1所述的数据清理方法，其特征在于，依据所述过期时间点清理本设备存储的过期的目录元数据，包括：
确定满足以下条件的主目录：创建时间与过期时间点之间的时长超过设定存储周期；
依据过期时间点确定清理条件，按照指定顺序从本设备存储的目录元数据表中查找满足清理条件的目标目录元数据；所述指定顺序为从所述主目录下的第一目录到第二目录的顺序，所述第一目录为所述第二目录的子目录；
每查找到一目标目录元数据，从所述目录元数据表中删除该目标目录元数据。


4.如权利要求3所述的数据清理方法，其特征在于，
目录元数据至少包括：目录标识ID；
按照指定顺序从本设备存储的目录元数据表中查找满足清理条件的目标目录元数据，包括：
依据目录元数据表中的目录元数据构建第一目录树，所述第一目录树的根节点表示主目录、叶子节点表示主目录下的所有目录，每一叶子节点表示的目录为该叶子节点的父节点表示目录的子目录，每一叶子节点上记录了目录的目录ID和创建时间；
采用后序遍历算法遍历所述第一目录树的叶子节点；
每遍历到一个叶子节点，当该叶子节点中的创建时间与所述过期时间点之间的时长超过所述设定存储周期时，检查该叶子节点表示的目录是否为空目录，如果是，将包含该叶子节点中目录ID的目录元数据确定为所述目标目录元数据。


5.如权利要求3所述的数据清理方法，其特征在于，
目录元数据至少包括：目录标识ID；
按照指定顺序从本设备存储的目录元数据表中查找满足清理条件的目标目录元数据，包括：
依据目录元数据表中的目录元数据构建第二目录树，所述第二目录树的根节点表示主目录、叶子节点表示主目录下的所有第三目录，所述第三目录的创建时间与所述过期时间点之间的时长超过所述设定存储周期，每一叶子节点表示的目录为该叶子节点的父节点表示目录的子目录，每一节点上记录了目录的目录ID；
采用后序遍历算法遍历所述第二目录树的叶子节点；
每遍历到一个叶子节点，检查该叶子节点表示的目录是否为空目录，若是，将包含该叶子节点中目录ID的目录元数据确定为所述目标目录元数据。


6.如权利要求4或5所述的数据清理方法，其特征在于，
所述文件元数据至少包括：对应文件数据所在目录的目录ID；
检查该叶子节点表示的目录是否为空目录，包括：
检查所述文件元数据表中是否存在该叶子节点中的目录ID；
若不存在，检查所述目录元数据表中是否存在该叶子节点表示目录的子目录的目录ID，若否，确定该叶子节点表示的目录为空目录。


7.一种数据清理装置，其特征在于，应用于网络附属存储NAS设备，所述NAS设备存储有相连接的云存储设备中每一文件数据的文件元数据和目录元数据，所述文件元数据用于描述文件数据，所述目录元数据用于描述文件数据所属的目录；
该装置包括：
过期时间...

【专利技术属性】
技术研发人员：黄健，王勇，
申请(专利权)人：杭州海康威视系统技术有限公司，
类型：发明
国别省市：浙江;33