数据扫描方法及装置、电子设备、存储介质、程序产品制造方法及图纸

本申请的实施例揭示了一种数据扫描方法及装置、电子设备、存储介质、程序产品，可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景，该方法包括：对扫描任务进行解析，以在存储系统中确定扫描任务对应的待扫描存储桶；其中，存储桶包括对象存储的载体；将待扫描存储桶的存储区域划分为多个待扫描子区域，并根据划分得到的多个待扫描子区域将扫描任务拆分为多个扫描子任务；执行拆分得到的扫描子任务，以从对应的待扫描子区域中查询目标对象。本申请实施例的技术方案能够提升扫描速度和成功率。成功率。成功率。

【技术实现步骤摘要】
数据扫描方法及装置、电子设备、存储介质、程序产品


[0001]本申请涉及计算机
，具体而言，涉及一种数据扫描方法及装置、电子设备、存储介质、程序产品。

技术介绍

[0002]存储系统中包括存储桶，存储桶中存储有对象(Object)，对象是对象存储的基本单元，可理解为任何格式类型的数据，例如，图片、文档音视频文件等。为便于用户管理存储桶中存储的对象，可以根据用户的配置扫描存储桶。相关技术中，在执行扫描存储桶的任务时，扫描速度慢，且任务失败率高。

技术实现思路

[0003]为解决上述技术问题，本申请的实施例提供了一种数据扫描方法及装置、电子设备、存储介质、程序产品。
[0004]根据本申请实施例的一个方面，提供了一种数据扫描方法，所述方法包括：
[0005]对扫描任务进行解析，以在存储系统中确定所述扫描任务对应的待扫描存储桶；其中，存储桶包括对象存储的载体；
[0006]将所述待扫描存储桶的存储区域划分为多个待扫描子区域，并根据划分得到的多个待扫描子区域将所述扫描任务拆分为多个扫描子任务；
[0007]执行拆分得到的扫描子任务，以从对应的待扫描子区域中查询目标对象。
[0008]根据本申请实施例的一个方面，提供了一种数据扫描装置，所述装置包括：
[0009]解析模块，配置为对扫描任务进行解析，以在存储系统中确定所述扫描任务对应的待扫描存储桶；其中，存储桶包括对象存储的载体；
[0010]拆分模块，配置为将所述待扫描存储桶的存储区域划分为多个待扫描子区域，并根据划分得到的多个待扫描子区域将所述扫描任务拆分为多个扫描子任务；
[0011]执行模块，配置为执行拆分得到的扫描子任务，以从对应的待扫描子区域中查询目标对象。
[0012]根据本申请实施例的一个方面，提供了一种电子设备，包括：
[0013]一个或多个处理器；
[0014]存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如前所述的数据扫描方法。
[0015]根据本申请实施例的一个方面，提供了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被电子设备的处理器执行时，使电子设备执行如前所述的数据扫描方法。
[0016]根据本申请实施例的一个方面，提供了一种计算机程序产品，包括计算机程序，所述计算机指令被处理器执行时实现如前所述的数据扫描方法。
[0017]在本申请的实施例所提供的技术方案中，一方面，将扫描任务拆分为多个扫描子
任务，并执行各扫描子任务，从而提升了扫描速度和成功率；另一方面，将待扫描存储桶的存储区域划分为多个待扫描子区域，执行扫描子任务时扫描对应的待扫描子区域，可以避免重复扫描的情况。
[0018]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0019]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0020]图1是本申请涉及的一种实施环境的示意图；
[0021]图2是本申请的一示例性实施例示出的数据扫描方法的流程图；
[0022]图3是本申请的一示例性实施例示出的全局索引表的示意图；
[0023]图4是本申请的一示例性实施例示出的扫描任务的拆分过程示意图；
[0024]图5是图2所示实施例中的步骤S130在一示例性实施例中的流程图；
[0025]图6是图2所示实施例中的步骤S130在一示例性实施例中的流程图；
[0026]图7是图6所示实施例中的步骤S320在一示例性实施例中的流程图；
[0027]图8是本申请的一示例性实施例示出的数据扫描过程的框图；
[0028]图9是本申请的一示例性实施例示出的子任务调度过程的流程图；
[0029]图10是本申请的一示例性实施例示出的数据扫描装置的结构示意图；
[0030]图11示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
[0031]这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0032]附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0033]附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
[0034]还需要说明的是：在本申请中提及的“多个”是指两个或者两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
[0035]存储系统中包括存储桶，存储桶中存储有对象，为便于用户管理存储桶中存储的对象，可以根据用户的配置扫描存储桶。相关技术中，在执行扫描存储桶的任务时，将所有
存储桶的扫描任务当做整体进行处理，而存储桶中存储的数据量较大，使得扫描速度慢，且任务失败率高。基于此，本申请的实施例提供了一种数据扫描方法及装置、电子设备、存储介质、程序产品，可以提升扫描速度，降低失败率。
[0036]请参阅图1，图1是本申请涉及的一种实施环境的示意图。该实施环境包括数据扫描装置100和存储系统200，存储系统200中包括多个存储桶，数据扫描装置100和存储系统200之间通过有线或者无线网络进行通信。
[0037]应该理解，图1中的数据扫描装置100、存储系统200以及存储桶的数目仅仅是示意性的。根据实际需要，可以具有任意数目的数据扫描装置100、存储系统200以及存储桶。
[0038]数据扫描装置100可以是服务器或其他设备。服务器可以是提供各种服务的服务器，其可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)以及大数据和人工智能平台等基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据扫描方法，其特征在于，所述方法包括：对扫描任务进行解析，以在存储系统中确定所述扫描任务对应的待扫描存储桶；其中，存储桶包括对象存储的载体；将所述待扫描存储桶的存储区域划分为多个待扫描子区域，并根据划分得到的多个待扫描子区域将所述扫描任务拆分为多个扫描子任务；执行拆分得到的扫描子任务，以从对应的待扫描子区域中查询目标对象。2.如权利要求1所述的方法，其特征在于，所述扫描任务的数量包括多个；所述执行拆分得到的扫描子任务，包括：从多个扫描任务对应的扫描子任务中获取正在执行的扫描子任务的总数；若获取到的总数小于第一阈值，则从所述多个扫描任务对应的扫描子任务中提取未执行的扫描子任务，并执行提取到的扫描子任务。3.如权利要求2所述的方法，其特征在于，所述从所述多个扫描任务对应的扫描子任务中提取未执行的扫描子任务，包括：获取所述多个扫描任务的排列顺序，并确定最新提取的扫描子任务对应的第一扫描任务；根据所述排列顺序将排序位置位于所述第一扫描任务后一位的扫描任务作为第二扫描任务；从所述第二扫描任务对应的扫描子任务中提取一个未执行的扫描子任务。4.如权利要求3所述的方法，其特征在于，所述从所述第二扫描任务对应的扫描子任务中提取一个未执行的扫描子任务，包括：从所述第二扫描任务对应的扫描子任务中获取正在执行的扫描子任务的数量；若获取到的正在执行的扫描子任务的数量小于第二阈值，则从所述第二扫描任务对应的扫描子任务中提取一个未执行的扫描子任务；若获取到的正在执行的扫描子任务的数量大于等于第二阈值，则从排序位置位于所述第二扫描任务后的扫描任务中提取一个未执行的扫描子任务。5.如权利要求1所述的方法，其特征在于，在所述执行拆分得到的扫描子任务之后，所述方法还包括：在所述多个扫描子任务中的目标扫描子任务执行完成后，获取所述目标扫描子任务对应的扫描结果；输出所述目标扫描子任务对应的扫描结果，并对所述目标扫描子任务对应的扫描结果进行处理。6.如权利要求1所述的方法，其特征在于，所述扫描任务包括预存扫描任务和实时扫描任务中的至少一种，所述执行拆分得到的扫描子任务，包括：若待执行的扫描子任务包括...

【专利技术属性】
技术研发人员：刘斌，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：