数据处理方法、装置、设备及存储介质制造方法及图纸

本申请实施例提供了一种数据处理方法、装置、设备及存储介质，涉及大数据技术领域。该方法包括：对于离线处理的目标周期的目标字段对应的数据，确定目标周期的上一周期的数据中是否存在该目标字段；若目标周期的上一周期的数据中不存在该目标字段，则将目标周期的该目标字段对应的数据回写至在线数据库；若目标周期的上一周期的数据中存在该目标字段，则确定在目标周期与目标周期的上一周期中该目标字段对应的数据是否相同；若不相同，则将目标周期的该目标字段对应的数据回写至该在线数据库。本申请实施例的技术方案能够显著减少向在线数据库写入的数据量，提高在线数据库的操作性能。

Data Processing Method, Device, Equipment and Storage Media

【技术实现步骤摘要】
数据处理方法、装置、设备及存储介质
本申请涉及大数据
，尤其涉及一种数据处理方法、数据处理装置、数据处理设备以及计算机可读存储介质。
技术介绍
随着互联网技术的飞速发展，业务系统需要处理的数据量也呈指数级增长，如何高效处理日益增长的海量数据成为了关注的焦点。对于海量的数据，仅依赖在线业务系统进行处理，会导致严重的性能问题。在一种技术方案中，通过离线处理平台对数据进行处理，将处理后的离线数据回写到在线数据库。然而，在这种技术方案中，随着离线数据量的增大，在线数据库的存储占用也会越来越大，造成在线数据库的操作性能下降。
技术实现思路
本申请实施例的目的是提供一种数据处理方法、数据处理装置、数据处理设备以及计算机可读存储介质，以解决随着离线数据量的增大造成在线数据库的操作性能下降的问题。为解决上述技术问题，本申请实施例是这样实现的：根据本申请实施例的第一方面，提供了一种数据处理方法，包括：对于离线处理的目标周期的目标字段对应的数据，确定所述目标周期的上一周期的数据中是否存在所述目标字段；若所述目标周期的上一周期的数据中不存在所述目标字段，则将所述目标周期的所述目标字段对应的数据回写至在线数据库；若所述目标周期的上一周期的数据中存在所述目标字段，则确定在所述目标周期与所述上一周期中所述目标字段对应的数据是否相同；若不相同，则将所述目标周期的所述目标字段对应的数据回写至所述在线数据库。在本申请的一些实施例中，基于上述方案，所述数据处理方法还包括：若确定在所述目标周期与所述上一周期中所述目标字段对应的数据相同，则增加所述目标周期的所述目标字段对应的数据的未回写周期；判断增加后的所述目标字段对应的数据的未回写周期是否大于等于预定阈值；若大于等于所述预定阈值，则将所述目标周期的所述目标字段对应的数据回写至所述在线数据库。在本申请的一些实施例中，基于上述方案，所述数据处理方法还包括：在将所述目标周期的所述目标字段对应的数据回写至所述在线数据库之前，将所述目标周期的所述目标字段对应的数据的未回写周期重置为零。在本申请的一些实施例中，基于上述方案，所述数据处理方法还包括：若从所述在线数据库查询预定周期的所述目标字段对应的数据，则确定在所述预定周期是否回写了所述目标字段对应的数据；若未回写所述目标字段对应的数据，则将所述预定周期之前最近周期的已回写的所述目标字段对应的数据作为所述预定周期的所述目标字段对应的数据。在本申请的一些实施例中，基于上述方案，所述数据处理方法还包括：若从所述在线数据库查询预定时间区间的所述目标字段对应的数据，则基于查询到的周期的所述目标字段对应的数据来补齐未查询到的周期的所述目标字段对应的数据。在本申请的一些实施例中，基于上述方案，确定所述目标周期的上一周期的数据中是否存在所述目标字段，包括：判断所述目标周期的上一周期对应的数据表中是否存在所述目标字段对应的主键；若存在所述目标字段对应的主键，则确定所述目标周期的上一周期的数据中存在所述目标字段。在本申请的一些实施例中，基于上述方案，所述目标字段为数据表的主键。根据本申请示例的第二方面，提供了一种数据处理装置，包括：字段确定模块，用于对于离线处理的目标周期的目标字段对应的数据，确定所述目标周期的上一周期的数据中是否存在所述目标字段；第一回写模块，用于若所述目标周期的上一周期的数据中不存在所述目标字段，则将所述目标周期的所述目标字段对应的数据回写至在线数据库；数据确定模块，用于若所述目标周期的上一周期的数据中存在所述目标字段，则确定在所述目标周期与所述上一周期中所述目标字段对应的数据是否相同；第二回写模块，用于若不相同，则将所述目标周期的所述目标字段对应的数据回写至所述在线数据库。在本申请的一些实施例中，基于上述方案，所述数据处理装置还包括：周期增加模块，用于若确定在所述目标周期与所述上一周期中所述目标字段对应的数据相同，则增加所述目标周期的所述目标字段对应的数据的未回写周期；周期判断模块，用于判断增加后的所述目标字段对应的数据的未回写周期是否大于等于预定阈值；第三回写模块，用于若大于等于所述预定阈值，则将所述目标周期的所述目标字段对应的数据回写至所述在线数据库。在本申请的一些实施例中，基于上述方案，所述数据处理装置还包括：重置模块，用于在将所述目标周期的所述目标字段对应的数据回写至所述在线数据库之前，将所述目标周期的所述目标字段对应的数据的未回写周期重置为零。在本申请的一些实施例中，基于上述方案，所述数据处理装置还包括：查询确定模块，用于若从所述在线数据库查询预定周期的所述目标字段对应的数据，则确定在所述预定周期是否回写了所述目标字段对应的数据；替换模块，用于若未回写所述目标字段对应的数据，则将所述预定周期之前最近周期的已回写的所述目标字段对应的数据作为所述预定周期的所述目标字段对应的数据。在本申请的一些实施例中，基于上述方案，所述数据处理装置还包括：补齐模块，用于若从所述在线数据库查询预定时间区间的所述目标字段对应的数据，则基于查询到的周期的所述目标字段对应的数据来补齐未查询到的周期的所述目标字段对应的数据。在本申请的一些实施例中，基于上述方案，所述字段确定模块包括：主键确定单元，用于判断所述目标周期的上一周期对应的数据表中是否存在所述目标字段对应的主键；存在确定单元，用于若存在所述目标字段对应的主键，则确定所述目标周期的上一周期的数据中存在所述目标字段。在本申请的一些实施例中，基于上述方案，所述目标字段为数据表的主键。根据本申请实施例的第三方面，提供了一种数据处理设备，包括：处理器；以及被配置成存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器实现上述第一方面中任一项所述的数据处理方法的步骤。根据本申请实施例的第四方面，提供了一种存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被执行时实现上述第一方面中任一项所述的数据处理方法的步骤。通过本申请实施例中的技术方案，在离线数据处理时，仅向在线数据库回写上一周期中不存在的数据或当前周期发生变更的数据，能够显著减少向在线数据库写入的数据量，从而能够显著减少在线数据库中存储的数据量，提高在线数据库的操作性能。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1示出了根据本申请的一些实施例提供的数据处理方法的应用场景的示意框图；图2示出了根据本申请的一些实施例提供的数据处理方法的流程示意图；图3示出了根据本申请的一些实施例提供的将数据回写至在线数据库的流程示意图；图4示出了根据本申请的一些实施例提供的离线数据表和在线数据表的结构映射的示意图；图5示出了根据本申请的一些实施例提供的从在线数据库查询数据的流程示意图；图6示出了根据本申请的另一些实施例提供的数据处理方法的流程示意图；图7示出了根据本申请的一些实施例提供的数据处理装置的示意框图；图8示出了根据本申请的另一些实施例提供的数据处理装置的示意框图；以及图9示出了根据本申请的一些实施例提供的本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：对于离线处理的目标周期的目标字段对应的数据，确定所述目标周期的上一周期的数据中是否存在所述目标字段；若所述目标周期的上一周期的数据中不存在所述目标字段，则将所述目标周期的所述目标字段对应的数据回写至在线数据库；若所述目标周期的上一周期的数据中存在所述目标字段，则确定在所述目标周期与所述上一周期中所述目标字段对应的数据是否相同；若不相同，则将所述目标周期的所述目标字段对应的数据回写至所述在线数据库。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：对于离线处理的目标周期的目标字段对应的数据，确定所述目标周期的上一周期的数据中是否存在所述目标字段；若所述目标周期的上一周期的数据中不存在所述目标字段，则将所述目标周期的所述目标字段对应的数据回写至在线数据库；若所述目标周期的上一周期的数据中存在所述目标字段，则确定在所述目标周期与所述上一周期中所述目标字段对应的数据是否相同；若不相同，则将所述目标周期的所述目标字段对应的数据回写至所述在线数据库。2.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：若确定在所述目标周期与所述上一周期中所述目标字段对应的数据相同，则增加所述目标周期的所述目标字段对应的数据的未回写周期；判断增加后的所述目标字段对应的数据的未回写周期是否大于等于预定阈值；若大于等于所述预定阈值，则将所述目标周期的所述目标字段对应的数据回写至所述在线数据库。3.根据权利要求2所述的数据处理方法，其特征在于，所述数据处理方法还包括：在将所述目标周期的所述目标字段对应的数据回写至所述在线数据库之前，将所述目标周期的所述目标字段对应的数据的未回写周期重置为零。4.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：若从所述在线数据库查询预定周期的所述目标字段对应的数据，则确定在所述预定周期是否回写了所述目标字段对应的数据；若未回写所述目标字段对应的数据，则将所述预定周期之前最近周期的已回写的所述目标字段对应的数据作为所述预定周期的所述目标字段对应的数据。5.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：若从所述在线数据库查询预定时间区间的所述目标字段对应的数据，则基于查询到的周期的所述目标字段对应的数据来补齐未查询到的周期的所述目标字段对应的数据。6.根据权利要求1所述的数据处理方法，其特征在于，确定所述目标周期的上一周期的数据中是否存在所述目标字段，包括：判断所述目标周期的上一周期对应的数据表中是否存在所述目标字段对应的主键；若存在所述目标字段对应的主键，则确定所述目标周期的上一周期的数据中存在所述目标字段。7.根据权利要求1至6中任一项所述的数据处理方法，其特征在于，所述目标字段为数据表的主键。8.一种数据处理装置，其特征在于，包括：字段确定模块，用于对于离线处理的目标周期的目标字段对应的数据，确定所述目标周期的上一周期的数据中是否存在所述目标字段；第一回写模块，用于若所述目标周期的上一周期的数据中不存在所述目标字段，则将所述目标周期的所述目标字段对应的...

【专利技术属性】
技术研发人员：吴磊，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY