【技术实现步骤摘要】
数据处理方法、装置、设备及存储介质
本申请涉及大数据
，尤其涉及一种数据处理方法、数据处理装置、数据处理设备以及计算机可读存储介质。
技术介绍
随着互联网技术的飞速发展，业务系统需要处理的数据量也呈指数级增长，如何高效处理日益增长的海量数据成为了关注的焦点。对于海量的数据，仅依赖在线业务系统进行处理，会导致严重的性能问题。在一种技术方案中，通过离线处理平台对数据进行处理，将处理后的离线数据回写到在线数据库。然而，在这种技术方案中，随着离线数据量的增大，在线数据库的存储占用也会越来越大，造成在线数据库的操作性能下降。
技术实现思路
本申请实施例的目的是提供一种数据处理方法、数据处理装置、数据处理设备以及计算机可读存储介质，以解决随着离线数据量的增大造成在线数据库的操作性能下降的问题。为解决上述技术问题，本申请实施例是这样实现的：根据本申请实施例的第一方面，提供了一种数据处理方法，包括：对于离线处理的目标周期的目标字段对应的数据，确定所述目标周期的上一周期的数据中是否存在所述目标字段；若所述目标周期的上一周期的数据中不存在所述目标字段，则将所述目标周期的所述目标字段...
【技术保护点】
1.一种数据处理方法，其特征在于，包括：对于离线处理的目标周期的目标字段对应的数据，确定所述目标周期的上一周期的数据中是否存在所述目标字段；若所述目标周期的上一周期的数据中不存在所述目标字段，则将所述目标周期的所述目标字段对应的数据回写至在线数据库；若所述目标周期的上一周期的数据中存在所述目标字段，则确定在所述目标周期与所述上一周期中所述目标字段对应的数据是否相同；若不相同，则将所述目标周期的所述目标字段对应的数据回写至所述在线数据库。
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：对于离线处理的目标周期的目标字段对应的数据，确定所述目标周期的上一周期的数据中是否存在所述目标字段；若所述目标周期的上一周期的数据中不存在所述目标字段，则将所述目标周期的所述目标字段对应的数据回写至在线数据库；若所述目标周期的上一周期的数据中存在所述目标字段，则确定在所述目标周期与所述上一周期中所述目标字段对应的数据是否相同；若不相同，则将所述目标周期的所述目标字段对应的数据回写至所述在线数据库。2.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：若确定在所述目标周期与所述上一周期中所述目标字段对应的数据相同，则增加所述目标周期的所述目标字段对应的数据的未回写周期；判断增加后的所述目标字段对应的数据的未回写周期是否大于等于预定阈值；若大于等于所述预定阈值，则将所述目标周期的所述目标字段对应的数据回写至所述在线数据库。3.根据权利要求2所述的数据处理方法，其特征在于，所述数据处理方法还包括：在将所述目标周期的所述目标字段对应的数据回写至所述在线数据库之前，将所述目标周期的所述目标字段对应的数据的未回写周期重置为零。4.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：若从所述在线数据库查询预定周期的所述目标字段对应的数据，则确定在所述预定周期是否回写了所述目标字段对应的数据；若未回写所述目标字段对应的数据，则将所述预定周期之前最近周期的已回写的所述目标字段对应的数据作为所述预定周期的所述目标字段对应的数据。5.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：若从所述在线数据库查询预定时间区间的所述目标字段对应的数据，则基于查询到的周期的所述目标字段对应的数据来补齐未查询到的周期的所述目标字段对应的数据。6.根据权利要求1所述的数据处理方法，其特征在于，确定所述目标周期的上一周期的数据中是否存在所述目标字段，包括：判断所述目标周期的上一周期对应的数据表中是否存在所述目标字段对应的主键；若存在所述目标字段对应的主键，则确定所述目标周期的上一周期的数据中存在所述目标字段。7.根据权利要求1至6中任一项所述的数据处理方法，其特征在于，所述目标字段为数据表的主键。8.一种数据处理装置，其特征在于，包括：字段确定模块，用于对于离线处理的目标周期的目标字段对应的数据，确定所述目标周期的上一周期的数据中是否存在所述目标字段；第一回写模块，用于若所述目标周期的上一周期的数据中不存在所述目标字段，则将所述目标周期的所述目标字段对应的...
【专利技术属性】
技术研发人员：吴磊，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。