【技术实现步骤摘要】
数据处理方法、装置、设备和存储介质
本申请涉及计算机
，特别是涉及一种数据处理方法和装置、一种电子设备、一种存储介质和一种数据仓库。
技术介绍
随着数据量及数据复杂度的增加，给传统的数据库带来巨大的压力；以及数据库技术的更新迭代，数据仓库应运而生。数据仓库在软硬件领域、Internet和企业内部网解决方案以及数据库方面提供了许多经济高效的计算资源，可以保存极大量的数据供分析使用，且允许使用多种数据访问技术数据仓库；这使得数据仓库受到越来越多的用户青睐。目前，数据仓库采用的读写方式是：写入过程中，按照固定的块大小将用户写入的数据上传至对象存储后返回，导致写入数据的响应时间长；读取过程中，不仅需要从对象存储中拉取数据，且还需要确定待查询数据所在块，查询效率低。
技术实现思路
本申请实施例提供了一种数据处理方法，以实现数据快速写入和查询。相应的，本申请实施例还提供了一种数据处理装置、一种电子设备、一种存储介质，用以保证上述方法的实现及应用。为了解决上述问题，本申请实施例公开了一种数据处理方法，应用于数据仓库中，所述方法包括：在接收到写请求时，基于固定分区的方式将所述写请求对应的数据写入至对应的工作节点；在满足预设条件时，以非固定分区的方式上传所述工作节点中存储的数据。可选地，所述基于固定分区的方式将所述写请求对应的数据写入至对应的工作节点，包括：确定所述写请求对应用户预先指定的分片数量和用户标识；依据所述用户标识和分片数量确定对应的存储空间，并将所述写请求对...
【技术保护点】
1.一种数据处理方法，应用于数据仓库中，包括：/n在接收到写请求时，基于固定分区的方式将所述写请求对应的数据写入至对应的工作节点；/n在满足预设条件时，以非固定分区的方式上传所述工作节点中存储的数据。/n
【技术特征摘要】
1.一种数据处理方法，应用于数据仓库中，包括：
在接收到写请求时，基于固定分区的方式将所述写请求对应的数据写入至对应的工作节点；
在满足预设条件时，以非固定分区的方式上传所述工作节点中存储的数据。
2.根据权利要求1所述的方法，所述基于固定分区的方式将所述写请求对应的数据写入至对应的工作节点，包括：
确定所述写请求对应用户预先指定的分片数量和用户标识；
依据所述用户标识和分片数量确定对应的存储空间，并将所述写请求对应的数据写入所述存储空间对应工作节点。
3.根据权利要求2所述的方法，所述将所述写请求对应的数据写入所述存储空间对应工作节点，包括：
确定所述存储空间对应的工作节点组，所述工作节点组由多个工作节点组成；
将所述写请求对应的数据，写入所述存储空间对应工作节点组所包含的至少部分工作节点。
4.根据权利要求1所述的方法，所述的方法还包括判断所述工作节点的存储状态信息是否满足预设条件的步骤：
判断所述工作节点的数据存储量是否达到预设存储量阈值；和/或，判断所述工作节点的数据存储时长是否达到预设存储时长；
若所述工作节点的数据存储量达到预设存储量阈值，和/或所述工作节点的数据存储时长达到预设存储时长，则确定所述工作节点的存储状态信息满足预设条件。
5.根据权利要求1所述的方法，所述以非固定分区的方式上传所述工作节点中存储的数据，包括：
为所述工作节点中存储的数据构建用户分区，并确定所述用户分区对应的用户分区数据；
构建所述用户分区数据对应的用户分区目录信息，并上传所述用户分区数据。
6.根据权利要求5所述的方法，所述的方法还包括：
确定过期用户和所述过期用户对应的过期用户分区；
将上传的用户分区数据中所述过期用户分区对应的用户分区数据删除，并删除所述用户分区目录信息中所述过期用户对应的用户分区目录信息。
7.一种数据处理方法，应用于数据仓库中，包括：
在接收到查询请求时：
从基于固定分区写入工作节点的数据中，获取所述查询请求对应的第一目标查询数据；和/或，从基于非固定分区的方式上传的数据中，下载所述查询请求对应的第二目标查询数据；
返回所述第一目标查询数据和第二目标查询数据。
8.根据权利要求7所述的方法，所述从基于固定分区写入工作节点的数据中，获取所述查询请求对应的第一目标查询数据，包括：
确定所述查询请求对应第一目标查询数据所在的目标工作节点；
从基于固定分区写入目标工作节点的数据中，查找所述查询请求对应第一目标查询数据。
9.根据权利要求7所述的方法，所述的方法还包括：
依据用户分区目录信息，确定所述查询请求对应的目标用户分区元数据；所述用户分区目录信息与以非固定分区的方式上传的数据对应；
所述从基于非固定分区的方式上传的数据中，下载所述查询请求对应的第二目标查询数据，包括：
确定多个空闲工作节点；
调用所述多个空闲工作节点从基于非固定分区的方式上传的数据中，依据所述目标用户分区元数据并行下载所述查询请求对应的第二目标查询数据。
10.根据权利要求9所述的方法，所述用户分区目录信息包括：用户分区统计信息和用户分区元数据目录；
所述依据用户分区目录信息，确定所述查询请求对应的目标用户分区元数据，包括：
从所述查询请求中提取查询条件，并根据查询条件确定候选用户分区；
依据所述用户分区统计信息对所述候选用户分区进行剪枝，确定目标查询用户分区；
依据所述用户分区元数据目录，确定目标查询用户分区对应的目标用户分区元数据。
11.根据权利要求7所述的方法，所述返回所述第一目标查询数据和第二目标查询数据，包括：
将所述第一目标查询数据和第二目标查询数据合并，并对合并的数据去重后返回。
12.根据权利要求9所述的方法，所述的方法还包括：
确定过期用户和所述过期用户对应的过期用户分区；
将上传的用户分区数据中所述过期用户分区对应的用户分区数据删除，并删除所述用户分区目录信息中所述过期用户对应的用户分区目录信息。
13.一种数据处理方法，应用于数据仓库中，包括：
确定待进行计费的目标计费用户，以及所述目标计费用户对应的目标计费用户分区；
基于所述目标计费用户分区查询用户分区目录信息，确定所述目标计费用户对应用户分区数据的占用信息；所述用户分区目录信息与以非固定分区的方式上传的数据对应；
依据所述目标计费用户对应的用户分区数据的占用信息，对所述目标计费用户存储的数据进行计费。
14.一种数据处理方法，应用于审计日志数据仓库中，包括：
在接收到写审计日志请求时，基于固定分区的方式将所述写审计日志请求对应的审计日志写入至对应的工作节点；
在满足预设条件时，以非固定分区的方式上传所述工作节点中存储的审计日志。
15.一种数据处理方法，应用于审计日志数据仓库中，包括：
在接收到审计日志查询请求时：
从基于固定分区写入工作节点的审计日志中，获取所述查询请求对应的第一目标审计日志；和/或，从基于非固定分区的方式上传的审计日志中，下载所述查询请求对应的第二目标审计日志；
返回所述第一目标审计日志和第二目标审计日志。
16.一种数据处理方法，应用于审计日志数据仓库中，包括：
确定待进行审计日志计费的目标计费用户，以及所述目标计费用户对应的目标计费用户分区；
基于所述目标计费用户分区查询用户分区目录信息，确定所述目标计费用户对应用户分区数据的占用信息；所述用户分区目录信息与以非固定分区的方式上传的审计日志对应；
依据所述目标计费用户对应的用户分区数据的占用信息，对所述目标计费用户存储的审计日志进行计费。
17.一种数据处理装置，应用于数据仓库中，所述的装置包括：
写数据模块，用于在接收到写请求时，基于固定分区的方式将所述写请求对应的数据写入至对应的工作节点；
上传模块，用于在满足预设条件时，以非...
【专利技术属性】
技术研发人员：赵帅，酆晓杰，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。