数据加载方法、装置、设备及计算机存储介质制造方法及图纸

本申请实施例公开了一种数据加载方法、装置、设备及计算机存储介质，将本申请实施例应用于云存储技术中，可以有效提升数据加载的效率。其中，方法包括：接收对业务数据的数据加载请求，数据加载请求包括业务数据所在数据存储空间的存储类型；当存储类型包括云存储时，从本地缓存空间中查询业务数据的存储路径；本地缓存空间中的存储路径，是通过从数据存储空间中确定业务数据的存储位置，并预先将用于指示存储位置的存储路径，缓存至本地缓存空间得到的；若成功查询到业务数据的存储路径，则基于查询到的存储路径，从数据存储空间中加载业务数据。数据。数据。

【技术实现步骤摘要】
数据加载方法、装置、设备及计算机存储介质


[0001]本申请涉及计算机
，尤其涉及一种数据加载方法、装置、设备及计算机存储介质。

技术介绍

[0002]计算机
中，数据加载是指：从存储空间内读取数据的过程。在具体应用场景下，数据加载至少涉及一种存储类型的存储空间，而不同存储类型的存储空间，对数据加载效率所带来的影响也有所不同。
[0003]在传统的数据加载方法中，当业务数据被分散存储至多个本地存储空间时，数据加载设备需要基于多个存储目录才能实现业务数据的加载，使得整体的数据加载的效率较低。当业务数据被存储于云存储空间时，数据加载设备通常需要消耗较长时间从该云存储空间中确定业务数据的存储路径，以基于读取的存储路径实现业务数据的加载，进而导致数据加载效率低下。有鉴于此，如何使得数据加载效率得到有效提升便成为了当下的研究热点。

技术实现思路

[0004]本申请实施例提供了一种数据加载方法、装置、设备及计算机存储介质，可有效提升数据加载的效率。
[0005]一方面，本申请实施例提供了一种数据加载方法，包括：
[0006]接收对业务数据的数据加载请求，所述数据加载请求包括所述业务数据所在数据存储空间的存储类型；
[0007]当所述存储类型包括云存储时，从本地缓存空间中查询所述业务数据的存储路径；所述本地缓存空间中的存储路径，是通过从所述数据存储空间中确定所述业务数据的存储位置，并预先将用于指示所述存储位置的存储路径，缓存至所述本地缓存空间得到的；
[0008]若成功查询到所述业务数据的存储路径，则基于查询到的存储路径，从所述数据存储空间中加载所述业务数据。
[0009]再一方面，本申请实施例提供了又一种数据加载方法，包括：
[0010]接收对业务数据的数据加载请求，所述数据加载请求包括所述业务数据所在数据存储空间的存储类型；
[0011]当所述存储类型包括本地存储时，从本地缓存空间中查询所述业务数据的存储目录，所述存储目录用于指示所述业务数据所在的多个数据存储空间所映射的逻辑存储空间；其中，一个存储目录用于指示一个逻辑存储空间，一个逻辑存储空间映射至少两个数据存储空间；
[0012]若成功查询到所述业务数据的存储目录，则从所述存储目录指示的逻辑存储空间所映射的多个数据存储空间中，加载所述业务数据的数据片段；
[0013]对加载的各个数据片段进行组合，得到所述业务数据。
[0014]再一方面，本申请实施例提供了一种数据加载装置，包括：
[0015]第一接收单元，用于接收对业务数据的数据加载请求，所述数据加载请求包括所述业务数据所在数据存储空间的存储类型；
[0016]第一查询单元，用于当所述存储类型包括云存储时，从本地缓存空间中查询所述业务数据的存储路径；所述本地缓存空间中的存储路径，是通过从所述数据存储空间中确定所述业务数据的存储位置，并预先将用于指示所述存储位置的存储路径，缓存至所述本地缓存空间得到的；
[0017]第一加载单元，用于若成功查询到所述业务数据的存储路径，则基于查询到的存储路径，从所述数据存储空间中加载所述业务数据。
[0018]再一方面，本申请实施例还提供了又一种数据加载装置，包括：
[0019]第二接收单元，用于接收对业务数据的数据加载请求，所述数据加载请求包括所述业务数据所在数据存储空间的存储类型；
[0020]第二查询单元，用于当所述存储类型包括本地存储时，从本地缓存空间中查询所述业务数据的存储目录，所述存储目录用于指示所述业务数据所在的多个数据存储空间所映射的逻辑存储空间；其中，一个存储目录用于指示一个逻辑存储空间，一个逻辑存储空间映射至少两个数据存储空间；
[0021]第二加载单元，用于若成功查询到所述业务数据的存储目录，则从所述存储目录指示的逻辑存储空间所映射的多个数据存储空间中，加载所述业务数据的数据片段；
[0022]数据组合单元，用于对加载的各个数据片段进行组合，得到所述业务数据。
[0023]再一方面，本申请实施例还提供了一种数据加载设备，包括：
[0024]处理器，所述处理器用于实现一条或多条计算机程序；
[0025]计算机存储介质，所述计算机存储介质存储有一条或多条计算机程序，所述一条或多条计算机程序适于由所述处理器加载并实现如第一方面的数据加载方法，或第二方面的数据加载方法。
[0026]再一方面，本申请实施例还提供了一种计算机存储介质，所述计算机存储介质存储有一条或多条计算机程序，所述一条或多条计算机程序适于由处理器加载并实现如第一方面的数据加载方法，或第二方面的数据加载方法。
[0027]再一方面，本申请实施例提供了一种程序产品，该程序产品包括计算机程序，所述计算机程序适于由处理器加载并执行如第一方面的数据加载方法，或第二方面的数据加载方法。
[0028]本申请实施例中，当数据加载设备从云存储空间加载业务数据时，业务数据在云存储空间中的存储路径已被预先缓存至本地缓存空间。因此，数据加载设备在接收到数据加载请求时，可以从本地缓存空间中读取存储路径，而无需通过构建与云存储空间之间的网络连接实现从云存储空间中确定业务数据的存储路径。由于从本地缓存空间中读取存储路径的复杂度通常低于从云存储空间确定存储路径的复杂度，因此本申请实施例可以在一定程度上通过降低存储路径的查询复杂度，节省业务数据的存储路径的查询时长，进而提升数据加载的效率。当数据加载设备从本地存储空间加载业务数据时，数据加载设备从本地缓存空间中查询到的业务数据的存储目录，用于指示一个逻辑存储空间，而该逻辑存储空间与多个本地存储空间具有映射关系，使得数据加载设备可以通过一个存储目录实现从
多个本地存储空间中加载业务数据。也就是说，在本申请实施例中，若业务数据划分成数据片段分散存储在多个本地存储空间，数据加载设备在加载该业务数据时，只需要获取一个整合后的存储目录，而无需从多个本地存储空间中分别获取相关数据片段的存储目录，可以减少数据加载的时间复杂度，从而提升数据加载的效率，同时在一定程度上降低数据加载设备对业务数据的存储目录的管理难度和使用难度。
附图说明
[0029]为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0030]图1a是本申请实施例提供的一种数据加载方案的原理示意图；
[0031]图1b是本申请实施例提供的一种数据加载方案的应用逻辑示意图；
[0032]图2是本申请实施例提供的一种数据加载方法的示意流程图；
[0033]图3是本申请实施例提供的一种更新存储路径的原理示意图；
[0034]图4是本申请实施例提供的一种应用不同数据淘汰策略的效果对比示意图；
[0035]图5是本申本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据加载方法，其特征在于，包括：接收对业务数据的数据加载请求，所述数据加载请求包括所述业务数据所在数据存储空间的存储类型；当所述存储类型包括云存储时，从本地缓存空间中查询所述业务数据的存储路径；所述本地缓存空间中的存储路径，是通过从所述数据存储空间中确定所述业务数据的存储位置，并预先将用于指示所述存储位置的存储路径，缓存至所述本地缓存空间得到的；若成功查询到所述业务数据的存储路径，则基于查询到的存储路径，从所述数据存储空间中加载所述业务数据。2.根据权利要求1所述的方法，其特征在于，所述业务数据包括对数据处理模型进行第i轮模型优化采用的训练数据，i为大于1的整数；所述数据加载请求还包括所述业务数据的存储路径；所述方法还包括：在对数据处理模型进行第i
‑
1轮模型优化后，获取对所述数据处理模型进行第i
‑
1轮模型优化所采用的多个训练数据；遍历所述多个训练数据，并获取当前遍历的目标训练数据的数据量；当所述目标训练数据的数据量，大于所述数据存储空间的剩余存储容量时，将所述数据存储空间中存储时间最晚的训练数据删除，并将所述目标训练数据存储至所述数据存储空间；当所述目标训练数据的数据量，小于或等于所述数据存储空间的剩余存储容量时，将所述目标训练数据存储至所述数据存储空间；所述基于查询到的存储路径，从所述数据存储空间中加载所述业务数据，包括：基于所述查询到的存储路径，从所述数据存储空间中确定除所述多个训练数据以外的其他训练数据；从确定出的其他训练数据中，选取一个或多个训练数据；将选取出的一个或多个训练数据作为所述业务数据，并加载所述业务数据。3.根据权利要求1所述的方法，其特征在于，从所述数据存储空间中加载所述业务数据的方式包括：获取所述业务数据的属性信息，所述属性信息包括数据量及数据类型中的至少一种；根据所述属性信息对所述业务数据进行资源消耗量预估，得到对所述业务数据进行数据加载时所消耗的参考资源量；为所述业务数据分配数据处理资源，并采用分配的数据处理资源，从所述数据存储空间中加载所述业务数据；其中，所述数据处理资源的资源量为所述参考资源量。4.根据权利要求1所述的方法，其特征在于，将所述业务数据的存储路径缓存至所述本地缓存空间的方式包括：获取所述业务数据的数据共享类型；若所述数据共享类型指示所述业务数据为私有数据，则对所述本地缓存空间所属的处理设备进行权限验证处理；若对所述处理设备的权限验证通过，则从所述数据存储空间中确定所述业务数据的存储位置；获取用于指示所述存储位置的存储路径，并将获取到的存储路径缓存至所述本地缓存
空间。5.一种数据加载方法，其特征在于，包括：接收对业务数据的数据加载请求，所述数据加载请求包括所述业务数据所在数据存储空间的存储类型；当所述存储类型包括本地存储时，从本地缓存空间中查询所述业务数据的存储目录，所述存储目录用于指示所述业务数据所在的多个数据存储空间所映射的逻辑存储空间；其中，一个存储目录用于指示一个逻辑存储空间，一个逻辑存储空间映射至少两个数据存储空间；若成功查询到所述业务数据的存储目录，则从所述存储目录指示的逻辑存储空间所映射的多个数据存储空间中，加载所述业务数据的数据片段；对加载的各个数据片段进行组合，得到所述业务数据。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：响应于所述业务数据的数据存储请求，获取所述业务数据的数据量，以及N个数据存储空间中每个数据存储空间的剩余存储容量，N为大于1的整数；若所述业务数据的数据量大于所述每个数据存储空间的剩余存储容量，则从所述N个数据存储空间中选取多个数据存储空间；其中，选取的多个数据存储空间的剩余存储容量总和大于或者等于所述业务数据的数据量；将选取的多个数据存储空间进行存储资源整合，得到所述选取的多个数据存储空间所映射的逻辑存储空间；对所述业务数据进行分片，得到所述业务数据的多个数据片段，并将所述多个数据片段存储至所述选取的多个数据...

【专利技术属性】
技术研发人员：查冲，
申请(专利权)人：深圳市腾讯计算机系统有限公司，
类型：发明
国别省市：