一种数据处理方法、装置、设备和可读存储介质制造方法及图纸

本公开提供一种数据处理方法、装置、设备和可读存储介质，其中该数据处理方法包括：基于预设分类条件，对待处理数据集合的每个待处理数据进行分类，得到由分类相同的第一数据组成的第一数据集合；对每个所述第一数据的依赖数据进行去重，得到由去重后的第二数据组成的第二数据集合；对所述每个第一数据进行信息聚合，得到由信息聚合后的第三数据组成的第三数据集合，其中，所述第三数据映射所述第一数据的加载信息和预览信息；将所述第一数据集合、所述第二数据集合和所述第三数据集合进行压缩，得到包括多个可单独加载的区块的聚合文件，其中，每个所述区块与所述每个第一数据相对应。本公开能够提升数据上传效率和加载速度，降低加载资源消耗。降低加载资源消耗。降低加载资源消耗。

【技术实现步骤摘要】
一种数据处理方法、装置、设备和可读存储介质


[0001]本申请涉及计算机
，具体涉及一种数据处理方法、装置、设备和可读存储介质。

技术介绍

[0002]在UGC内容创作场景中，用户可以将制作好的素材文件上传至平台的云端服务器进行展示，其他用户可以在平台中下载该资源。
[0003]然而，用户上传的素材文件一般会包括多个数据，用户需要将每个分散的数据逐一上传至平台，使得对于量级大的素材文件，存在上传效率较低、后续加载消耗计算资源较大等问题。

技术实现思路

[0004]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种数据处理方法、装置、设备及介质，能够提升数据上传效率和加载速度，降低加载资源消耗。
[0005]根据本公开的一方面，提供了一种数据处理方法，所述方法包括：基于预设分类条件，对待处理数据集合的每个待处理数据进行分类，得到由分类相同的第一数据组成的第一数据集合；对每个所述第一数据的依赖数据进行去重，得到由去重后的第二数据组成的第二数据集合；对所述每个第一数据进行信息聚合，得到由信息聚合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：基于预设分类条件，对待处理数据集合的每个待处理数据进行分类，得到由分类相同的第一数据组成的第一数据集合；对每个所述第一数据的依赖数据进行去重，得到由去重后的第二数据组成的第二数据集合；对所述每个第一数据进行信息聚合，得到由信息聚合后的第三数据组成的第三数据集合，其中，所述第三数据映射所述第一数据的加载信息和预览信息；将所述第一数据集合、所述第二数据集合和所述第三数据集合进行压缩，得到包括多个可单独加载的区块的聚合文件，其中，每个所述区块与所述每个第一数据相对应。2.根据权利要求1所述的数据处理方法，其特征在于，对所述每个第一数据进行信息聚合，得到由信息聚合后的第三数据组成的第三数据集合，包括：对所述第一数据的名称进行去后缀处理，得到第一名称；配置所述第一数据的加载信息，并将所述加载信息映射至所述第一名称，得到第一映射结果；配置所述第一数据的预览信息，并将所述预览信息映射至所述第一名称，得到所述第二映射结果；将所述第一映射结果和所述第二映射结果写入目标文件，得到所述第三数据；针对所述每个第一数据重复执行以上步骤，将每个所述第三数据写入所述目标文件，得到所述第三数据集合。3.根据权利要求2所述的数据处理方法，其特征在于，配置所述第一数据的加载信息，并将所述加载信息映射至所述第一名称，得到第一映射结果，包括：获取所述第一数据的加载路径，以及所述第一数据的名称；拼接所述加载路径和所述第一数据的名称，得到所述加载信息；建立所述加载信息与所述第一名称之间的映射关系，得到第一映射结果。4.根据权利要求2所述的数据处理方法，其特征在于，配置所述第一数据的预览信息，并将所述预览信息映射至所述第一名称，得到所述第二映射结果，包括：获取所述第一数据的预览路径，以及所述第一数据的预览图；拼接所述预览路径和所述预览图的名称，得到所述预览信息；建立所述预览信息与所述第一名称之间的映射关系，得到第二映射结果。5.根据权利要求1所述的数据处理方法，其特征在于，在得到包括多个可单独加载的区块的聚合文件之后，所述方法包...

【专利技术属性】
技术研发人员：马文泽，
申请(专利权)人：北京新唐思创教育科技有限公司，
类型：发明
国别省市：