一种清单文件的生成方法、装置、电子设备及介质制造方法及图纸

本发明专利技术实施例提供了一种清单文件的生成方法、装置、电子设备及介质，涉及云存储技术领域。该方法包括：扫描源存储空间中预设扫描范围内的文件的元数据信息，从扫描到的文件的元数据信息中，获取每个文件的预设清单字段对应的字段内容，将获取到的文件的预设清单字段对应的字段内容生成清单文件，然后将清单文件存储于目标存储空间。采用该方法可以提高获取清单文件的效率。

【技术实现步骤摘要】
一种清单文件的生成方法、装置、电子设备及介质
本专利技术涉及云存储
，特别是涉及一种清单文件的生成方法、装置、电子设备及介质。
技术介绍
公有云对象存储是具有海量数据、可以无限扩容且存储成本低廉的分布式数据存储方式，基于超文本传输协议(HypertextTransferProtocol，HTTP)实现对公有云对象存储中的文件的读写，能够很好地实现跨平台数据分享。目前大多数的大数据平台均支持将公有云对象存储作为数据来源，且通过公有云对象存储进行大数据备份。公有云对象存储中数以万计的文件数量，对使用者对文件的统计与分析带来了难度。目前使用者可以通过公有云的文件列表接口获取文件列表信息，然后再通过head接口逐个获取文件列表信息中每个文件的元数据，从而生成包括每个文件元数据信息的清单文件。因文件列表信息涉及的文件数量较多，逐个获取每个文件的元数据所需的时间较长，导致使用者获取清单文件的效率较低。
技术实现思路
本专利技术实施例的目的在于提供一种清单文件的生成方法、装置、电子设备及介质，以提高获取清单文件的效率。具体技术方案如下：第一方面，本申请实施例提供一种清单文件的生成方法，所述方法应用于云服务器，所述方法包括：扫描源存储空间中预设扫描范围内的文件的元数据信息；从扫描到的文件的元数据信息中，获取每个文件的预设清单字段对应的字段内容；将获取到的文件的预设清单字段对应的字段内容生成清单文件；将所述清单文件存储于目标存储空间。在一种可能的实现方式中，在所述将获取到的所有文件的预设清单字段对应的清单内容生成清单文件之后，所述方法还包括：生成所述清单文件的描述文件，所述描述文件包括开始扫描所述源存储空间的时间戳、所述清单文件包括的字段、所述清单文件的文件名、所述清单文件的文件大小、所述清单文件的校验值、所述源存储空间的标识、所述目标存储空间的标识和清单版本中的任意一项或多项；将所述清单文件的描述文件存储于所述目标存储空间。在一种可能的实现方式中，在生成所述清单文件的描述文件之前，所述方法还包括：根据扫描结束时刻的时间戳生成所述清单文件的文件名。在一种可能的实现方式中，所述扫描源存储空间中预设扫描范围内的元数据信息，包括：以预设扫描时间间隔为扫描周期，周期性扫描所述源存储空间中预设扫描范围内的元数据信息；所述将获取到的文件的预设清单字段对应的字段内容生成清单文件，包括：将在当前扫描周期内获取到的文件的预设清单字段对应的字段内容生成一个清单文件。在一种可能的实现方式中，所述扫描源存储空间中预设扫描范围内的文件的元数据信息，包括：若所述预设扫描范围为所述源存储空间，则扫描所述源存储空间中所有文件的元数据信息；若所述预设扫描范围为所述源存储空间中指定前缀的文件，则扫描所述源存储空间中具有所述指定前缀的文件的元数据信息。在一种可能的实现方式中，所述方法还包括：接收用户设置的源存储空间、预设扫描范围、目标存储空间以及预设扫描时间间隔；输出可配置清单字段，并响应于用户对可配置清单字段的选择操作，将所述用户选择的可配置清单字段和默认清单字段作为所述预设清单字段。第二方面，本申请实施例提供一种清单文件的生成装置，所述装置应用于云服务器，所述装置包括：扫描模块，用于扫描源存储空间中预设扫描范围内的文件的元数据信息；获取模块，用于从扫描到的文件的元数据信息中，获取每个文件的预设清单字段对应的字段内容；生成模块，用于将获取到的文件的预设清单字段对应的字段内容生成清单文件；存储模块，用于将所述清单文件存储于目标存储空间。在一种可能的实现方式中，所述生成模块，还用于生成所述清单文件的描述文件，所述描述文件包括开始扫描所述源存储空间的时间戳、所述清单文件包括的字段、所述清单文件的文件名、所述清单文件的文件大小、所述清单文件的校验值、所述源存储空间的标识、所述目标存储空间的标识和清单版本中的任意一项或多项；所述存储模块，还用于将所述清单文件的描述文件存储于所述目标存储空间。在一种可能的实现方式中，所述生成模块，还用于根据扫描结束时刻的时间戳生成所述清单文件的文件名。在一种可能的实现方式中，所述扫描模块，具体用于：以预设扫描时间间隔为扫描周期，周期性扫描所述源存储空间中预设扫描范围内的元数据信息；所述将获取到的文件的预设清单字段对应的字段内容生成清单文件，包括：将在当前扫描周期内获取到的文件的预设清单字段对应的字段内容生成一个清单文件。在一种可能的实现方式中，所述扫描模块，具体用于：若所述预设扫描范围为所述源存储空间，则扫描所述源存储空间中所有文件的元数据信息；若所述预设扫描范围为所述源存储空间中指定前缀的文件，则扫描所述源存储空间中具有所述指定前缀的文件的元数据信息。在一种可能的实现方式中，所述装置还包括：接收模块，用于接收用户设置的源存储空间、预设扫描范围、目标存储空间以及预设扫描时间间隔；设置模块，用于输出可配置清单字段，并响应于用户对可配置清单字段的选择操作，将所述用户选择的可配置清单字段和默认清单字段作为所述预设清单字段。第三方面，本专利技术实施例还提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现上述任一所述的清单文件的生成方法步骤。第四方面，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中所述的清单文件的生成方法。第五方面，本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面中所述的清单文件的生成方法。采用上述技术方案，云服务器可以扫描源存储空间中预设扫描范围内的文件的元数据信息，并从扫描到的源数据信息中，获取每个文件的预设清单字段对应的字段内容，进而将获取到的文件的预设清单字段对应的字段内容生成清单文件，将清单文件存储与目标存储空间，可以使得用户可以直接从目标存储空间中获取清单文件，而无需通过head接口逐个获取每个文件的元数据，且无需人工整理文件，可以提高获取清单文件的效率。当然，实施本专利技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。图1为本申请实施例提供的一种清单文件的生成方法的流程图；图2为本申请实施例提供的另一种清单文件的生成本文档来自技高网...

【技术保护点】
1.一种清单文件的生成方法，其特征在于，所述方法应用于云服务器，所述方法包括：/n扫描源存储空间中预设扫描范围内的文件的元数据信息；/n从扫描到的文件的元数据信息中，获取每个文件的预设清单字段对应的字段内容；/n将获取到的文件的预设清单字段对应的字段内容生成清单文件；/n将所述清单文件存储于目标存储空间。/n

【技术特征摘要】
1.一种清单文件的生成方法，其特征在于，所述方法应用于云服务器，所述方法包括：
扫描源存储空间中预设扫描范围内的文件的元数据信息；
从扫描到的文件的元数据信息中，获取每个文件的预设清单字段对应的字段内容；
将获取到的文件的预设清单字段对应的字段内容生成清单文件；
将所述清单文件存储于目标存储空间。


2.根据权利要求1所述的方法，其特征在于，在所述将获取到的所有文件的预设清单字段对应的清单内容生成清单文件之后，所述方法还包括：
生成所述清单文件的描述文件，所述描述文件包括开始扫描所述源存储空间的时间戳、所述清单文件包括的字段、所述清单文件的文件名、所述清单文件的文件大小、所述清单文件的校验值、所述源存储空间的标识、所述目标存储空间的标识和清单版本中的任意一项或多项；
将所述清单文件的描述文件存储于所述目标存储空间。


3.根据权利要求2所述的方法，其特征在于，在生成所述清单文件的描述文件之前，所述方法还包括：
根据扫描结束时刻的时间戳生成所述清单文件的文件名。


4.根据权利要求1-3任一项所述的方法，其特征在于，所述扫描源存储空间中预设扫描范围内的元数据信息，包括：
以预设扫描时间间隔为扫描周期，周期性扫描所述源存储空间中预设扫描范围内的元数据信息；
所述将获取到的文件的预设清单字段对应的字段内容生成清单文件，包括：
将在当前扫描周期内获取到的文件的预设清单字段对应的字段内容生成一个清单文件。


5.根据权利要求1所述的方法，其特征在于，所述扫描源存储空间中预设扫描范围内的文件的元数据信息，包括：
若所述预设扫描范围为所述源存储空间，则扫描所述源存储空间中所有文件的元数据信息；
若所述预设扫描范围为所述源存储空间中指定前缀的文件，则扫描所述源存储空间中具有所述指定前缀的文件的元数据信息。


6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
接收用户设置的源存储空间、预设扫描范围、目标存储空间以及预设扫描时间间隔；
输出可配置清单字段，并响应于用户对可配置清单字段的选择操作，将所述用户选择的可配置清单字段和默认清单字段作为所述预设清单字段。


7.一种清单文件的生成装置，其特征在于，所述装置应用于云服务器，所述装置包括：
扫描模块，用于扫描源存储空间中预设扫描范围内的文件的元数据信息；
获取模块，用于从扫描到的文件的元...

【专利技术属性】
技术研发人员：张健，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：北京;11