文件的存储转换处理方法、装置、电子设备及存储介质制造方法及图纸

本申请公开一种文件的存储转换处理方法、装置、电子设备及存储介质，对于数据文件的存储转换处理，本申请支持对文件进行标签标记，并支持基于标记的标签配置对文件的第一存储转换规则，使用者即用户可根据需求对数据文件进行标签标记并配置基于标签的第一存储转换规则，后端存储系统通过对用户配置的第一存储转换规则进行解析，并根据解析得到的规则内容，按照预定的规则执行策略对数据文件执行第一存储转换规则，即可实现自动化的、基于标签的文件存储转换处理。无需用户按人工方式对海量文件进行管理，且灵活的标签标记及基于标签的规则配置，更好地满足了用户日渐产生的多样化数据文件的多样化存储管理需求。化数据文件的多样化存储管理需求。化数据文件的多样化存储管理需求。

【技术实现步骤摘要】
文件的存储转换处理方法、装置、电子设备及存储介质


[0001]本申请属于数据存储
，尤其涉及一种文件的存储转换处理方法、装置、电子设备及存储介质统。

技术介绍

[0002]在当今的数据化时代，海量数据存储是数据存储领域的一个常见需求。各种图文、视频等的内容提供商/App(Application，应用程序)运营商每天的新增文件可能会多达十几甚至几十亿条，对这些海量数据文件的后端存储管理相应成为当前必须面临的问题。
[0003]面对海量数据文件，后端存储系统需通过合理方式对其进行管理，来尽可能达到访问性能与存储资源占用/存储成本之间的平衡。相关技术中，通常从时间、文件的使用频次这些常规维度对数据文件进行存储转换管理，如，将存储时间较短或使用频次较高的文件采用性能较高的方式存储，以保证这些数据的访问性能，将存储时间较长或使用频次较低的文件转换为以性能较低的方式存储甚至删除，以节约存储成本。然而，后端存储系统该管理方式，难以满足用户(如，不同的内容提供商/App运营商)日渐产生的多样化数据文件的多样化存储管理需求。
[0004]另外，相关技术通常需要基于人工方式完成对数据文件的存储转换管理，这相应需要用户根据时间、使用频次这些维度记录各数据文件，并通过调用服务的接口来处理这些文件以实现对这些文件的存储转换管理，为用户带来了其自身业务之外的额外负担。

技术实现思路

[0005]有鉴于此，本申请提供了一种文件的存储转换处理方法、装置、电子设备及存储介质，用于通过实现自动化的、基于标签的文件存储转换处理，来解决相关技术存在的上述技术问题，更好地满足用户多样化数据的存储管理需求，并减轻用户负担。
[0006]具体技术方案如下：
[0007]一种文件的存储转换处理方法，包括：
[0008]获取预先配置的第一存储转换规则；所述第一存储转换规则为：通过预先为数据文件标记标签，并基于为数据文件标记的标签配置的规则；
[0009]解析所述第一存储转换规则，得到所述第一存储转换规则的规则内容；
[0010]根据解析得到的规则内容，按照预定的规则执行策略，对标记有标签的数据文件执行所述第一存储转换规则。
[0011]可选的，所述解析所述第一存储转换规则，得到所述第一存储转换规则的规则内容，包括：
[0012]解析所述第一存储转换规则，得到所述第一存储转换规则包括的至少一个第一子规则的规则内容；
[0013]其中，所述第一子规则的规则内容包括：时间条件、标签条件和操作类型。
[0014]可选的，所述第一存储转换规则的第一子规则为基于标签的过期删除子规则、转
换归档子规则和转换低频子规则中的任意一种；
[0015]其中：
[0016]基于标签的过期删除子规则的规则内容包括：第一时间条件、第一标签条件和删除操作类型；
[0017]基于标签的转换归档子规则的规则内容包括：第二时间条件、第二标签条件和转换归档操作类型；
[0018]基于标签的转换低频子规则的规则内容包括：第三时间条件、第三标签条件和转换低频操作类型。
[0019]可选的，所述根据解析得到的规则内容，按照预定的规则执行策略，对标记有标签的数据文件执行所述第一存储转换规则，包括：
[0020]根据解析得到的相应第一子规则的规则内容，按照优先级高低顺序依次执行所述第一存储转换规则包括的各个第一子规则；其中，所述基于标签的过期删除子规则、转换归档子规则和转换低频子规则的优先级依次降低；
[0021]在执行所述第一存储转换规则的任一第一子规则时，确定符合第一子规则对应的时间条件和标签条件的目标数据文件，并对所述目标数据文件执行第一子规则所对应操作类型的操作。
[0022]可选的，所述确定符合第一子规则对应的时间条件和标签条件的目标数据文件，包括：
[0023]扫描数据文件的文件索引，所述文件索引中的每条索引包括所对应数据文件的文件标识、时间戳及数据文件的至少一个标签；
[0024]在扫描过程中，识别时间戳满足第一子规则对应的时间条件且标记的标签满足第一子规则对应的标签条件的目标数据文件。
[0025]可选的，所述扫描数据文件的文件索引，包括：
[0026]在执行当前第一子规则时，确定所述第一存储转换规则中是否存在优先级高于所述当前第一子规则的高优先级第一子规则；
[0027]若不存在，获取所述当前第一子规则对应的上一次扫描进度，根据获取的上一次扫描进度确定所述当前第一子规则的当前扫描进度，并根据确定的当前扫描进度扫描数据文件的文件索引；
[0028]若存在，获取所述当前第一子规则对应的上一次扫描进度和所述高优先级第一子规则对应的上一次扫描进度，根据所述当前第一子规则的上一次扫描进度和所述高优先级第一子规则的上一次扫描进度确定所述当前第一子规则的当前扫描进度，并根据确定的当前扫描进度扫描数据文件的文件索引。
[0029]可选的，所述扫描数据文件的文件索引，包括：
[0030]扫描数据文件的存量索引和增量索引，并将扫描出的相应第一子规则待处理的目标数据文件的文件信息推送至所述相应第一子规则对应的队列中；
[0031]其中，所述存量索引包括：在向存储系统中存入数据文件时为数据文件生成的索引，以及在更新存储系统中数据文件的标签时为数据文件更新生成的索引；所述增量索引包括：在更新存储系统中数据文件的标签时为数据文件更新生成的索引；
[0032]在更新存储系统中数据文件的标签时，数据文件对应的时间戳不变。
[0033]可选的，所述对所述目标数据文件执行第一子规则所对应操作类型的操作，包括：
[0034]依次处理第一子规则对应的队列中的文件信息，以对文件信息对应的目标数据文件执行第一子规则所对应操作类型的操作。
[0035]可选的，所述扫描数据文件的存量索引和增量索引，包括：
[0036]如果存量索引和增量索引的待扫描任务仅包括执行所述第一存储转换规则之前生成的索引，先扫描所述增量索引，或先扫描所述存量索引，或并行扫描所述存量索引和所述增量索引；
[0037]如果存量索引和增量索引的待扫描任务包括执行所述第一存储转换规则之前生成的索引以及执行所述第一存储转换规则过程中生成的索引，先扫描所述存量索引。
[0038]可选的，在执行所述第一存储转换规则之前，还包括：
[0039]确定在执行所述第一存储转换规则之前是否有执行第二存储转换规则；
[0040]其中，所述第二存储转换规则为基于数据文件的时间戳配置的规则；所述第二存储转换规则包括基于时间戳的过期删除子规则、转换归档子规则和转换低频子规则中的至少一种；
[0041]若存在，所述根据获取的上一次扫描进度确定所述当前第一子规则的当前扫描进度，包括：
[0042]根据所述当前第一子规则对应的上一次扫描进度和所述第二存储转换规则中与所述当前第一子规则类型相同的第二子规本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文件的存储转换处理方法，其特征在于，包括：获取预先配置的第一存储转换规则；所述第一存储转换规则为：通过预先为数据文件标记标签，并基于为数据文件标记的标签配置的规则；解析所述第一存储转换规则，得到所述第一存储转换规则的规则内容；根据解析得到的规则内容，按照预定的规则执行策略，对标记有标签的数据文件执行所述第一存储转换规则。2.根据权利要求1所述的方法，其特征在于，所述解析所述第一存储转换规则，得到所述第一存储转换规则的规则内容，包括：解析所述第一存储转换规则，得到所述第一存储转换规则包括的至少一个第一子规则的规则内容；其中，所述第一子规则的规则内容包括：时间条件、标签条件和操作类型。3.根据权利要求2所述的方法，其特征在于，所述第一存储转换规则的第一子规则为基于标签的过期删除子规则、转换归档子规则和转换低频子规则中的任意一种；其中：基于标签的过期删除子规则的规则内容包括：第一时间条件、第一标签条件和删除操作类型；基于标签的转换归档子规则的规则内容包括：第二时间条件、第二标签条件和转换归档操作类型；基于标签的转换低频子规则的规则内容包括：第三时间条件、第三标签条件和转换低频操作类型。4.根据权利要求3所述的方法，其特征在于，所述根据解析得到的规则内容，按照预定的规则执行策略，对标记有标签的数据文件执行所述第一存储转换规则，包括：根据解析得到的相应第一子规则的规则内容，按照优先级高低顺序依次执行所述第一存储转换规则包括的各个第一子规则；其中，所述基于标签的过期删除子规则、转换归档子规则和转换低频子规则的优先级依次降低；在执行所述第一存储转换规则的任一第一子规则时，确定符合第一子规则对应的时间条件和标签条件的目标数据文件，并对所述目标数据文件执行第一子规则所对应操作类型的操作。5.根据权利要求4所述的方法，其特征在于，所述确定符合第一子规则对应的时间条件和标签条件的目标数据文件，包括：扫描数据文件的文件索引，所述文件索引中的每条索引包括所对应数据文件的文件标识、时间戳及数据文件的至少一个标签；在扫描过程中，识别时间戳满足第一子规则对应的时间条件且标记的标签满足第一子规则对应的标签条件的目标数据文件。6.根据权利要求5所述的方法，其特征在于，所述扫描数据文件的文件索引，包括：在执行当前第一子规则时，确定所述第一存储转换规则中是否存在优先级高于所述当前第一子规则的高优先级第一子规则；若不存在，获取所述当前第一子规则对应的上一次扫描进度，根据获取的上一次扫描进度确定所述当前第一子规则的当前扫描进度，并根据确定的当前扫描进度扫描数据文件
的文件索引；若存在，获取所述当前第一子规则对应的上一次扫描进度和所述高优先级第一子规则对应的上一次扫描进度，根据所述当前第一子规则的上一次扫描进度和所述高优先级第一子规则的上一次扫描进度确定所述当前第一子规则的当前扫描进度，并根据确定的当前扫描进度扫描数据文件的文件索引。7.根据权利要求5所述的方法，其特征在于，所述扫描数据文件的文件索引，包括：扫描数据文件的存量索引和增量索引，并将扫描出的相应第一子规则待处理的目标数据文件的文件信息推送至所述相应第一子规则对应的队列中；其中，...

【专利技术属性】
技术研发人员：郭占圳，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：